Стартовало обучение открытой модели Marin на 535 млрд параметров — самый крупный «прозрачный» прогон в истории
Большие модели можно строить не только за закрытыми дверями корпораций — открытые проекты дают всем возможность видеть и повторять, как рождается ИИ.
Некоммерческая Open Athena (проект Marin начался в Стэнфорде в 2024 году) обучает MoE-модель с 535 млрд параметров, из которых 23 млрд активны, на 18 трлн токенов с упором на агентные, программистские и научные данные; завершение запланировано на 1 декабря. Вычисления подарил фонд Дженсена и Лори Хуанг (сумма не раскрыта). Код, веса, промежуточные чекпоинты и детали инфраструктуры публикуются в открытую, а сам прогон идёт «вживую».
Источники 1