Открытый TurboPairFormer ускорил дообучение OpenFold3 до 1,73 раза
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Биологические модели можно дообучать быстрее и воспроизводимее на существующих GPU — на том же оборудовании учёные проверят больше гипотез.
Lambda, Stevens Institute of Technology и команда OpenFold опубликовали TurboPairFormer — открытые GPU-ядра для операций треугольного внимания и умножения в моделях предсказания биомолекулярных структур. На 16 Nvidia H100 при размере фрагмента 768 токенов обучение OpenFold3 стало до 1,73 раза быстрее исходного Triton-бэкенда. Компенсация округления BF16 снизила среднюю ошибку градиентов на 28–47% в контролируемых экспериментах, а фиксированный порядок накопления обеспечил побитово одинаковые градиенты во всех 600 тестах с повторными запусками. Пакет доступен через PyPI и поддерживает H100 и H200; ускорение позволяет чаще дообучать модели для белков, нуклеиновых кислот и поиска лекарств на тех же GPU.
Источники 1