Meta рассказала о суперкластере Prometheus мощностью около гигаватта в Огайо, на котором обучала модели Muse
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Обучение передовых моделей уже требует отдельных гигаваттных площадок, и главным вопросом становится надёжность таких систем.
По описанию Meta, площадка в Нью-Олбани (Огайо), два года назад обслуживавшая веб-трафик, перестроена под обучение передовых моделей. Первая очередь готова и использовалась для обучения моделей Muse, включая Muse Wonder; строительство ведётся фазами. Meta сообщает, что при обучении Muse Wonder достигла более 85% полезной нагрузки (goodput) на предобучении и более 90% на обучении с подкреплением; среднее время между сбоями составило около 47 тыс. GPU-часов, а после исправлений прошивок — более 54 тыс. Все цифры — собственные данные компании.
Источники 1