Все новости

Открытый TurboPairFormer ускорил дообучение OpenFold3 до 1,73 раза

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Биологические модели можно дообучать быстрее и воспроизводимее на существующих GPU — на том же оборудовании учёные проверят больше гипотез.

Lambda, Stevens Institute of Technology и команда OpenFold опубликовали TurboPairFormer — открытые GPU-ядра для операций треугольного внимания и умножения в моделях предсказания биомолекулярных структур. На 16 Nvidia H100 при размере фрагмента 768 токенов обучение OpenFold3 стало до 1,73 раза быстрее исходного Triton-бэкенда. Компенсация округления BF16 снизила среднюю ошибку градиентов на 28–47% в контролируемых экспериментах, а фиксированный порядок накопления обеспечил побитово одинаковые градиенты во всех 600 тестах с повторными запусками. Пакет доступен через PyPI и поддерживает H100 и H200; ускорение позволяет чаще дообучать модели для белков, нуклеиновых кислот и поиска лекарств на тех же GPU.

Источники 1