Все новости

Baidu открыла базовую модель ERNIE 5.5 Flash Base с 280 млрд параметров и контекстом до миллиона токенов

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Открытая базовая модель позволит исследователям строить собственные рассуждающие системы и агентов, не оплачивая предобучение на 33,5 трлн токенов.

ERNIE 5.5 Flash Base — разрежённая MoE-модель с 280 млрд общих и 14 млрд активных параметров на токен. Она предобучена с нуля на 33,5 трлн токенов; обучение шло с контекстом до 128 тысяч, а дообучение и инференс поддерживают до миллиона. Baidu опубликовала именно базовый чекпойнт без последующего обучения, чтобы разработчики могли сами проводить адаптацию к предметной области, instruction tuning и обучение с подкреплением. Для снижения стоимости длинного контекста большинство слоёв сжимает каждые 128 токенов в одну запись кэша, а шесть слоёв сохраняют детальный доступ к отдельным позициям. В собственных сопоставимых тестах Baidu модель в целом опережает открытые базовые DeepSeek V4 Flash, Hy3 Preview и MiMo V2.5; это результаты разработчика. Веса доступны в FP8 и BF16 под отдельной лицензией ERNIE.

Источники 2

История

Разработка модели Baidu ERNIE 5.5 Flash

2 события
  1. Baidu представила ERNIE Evolve — систему, которая сама проводит эксперименты по улучшению ИИ
  2. Baidu открыла базовую модель ERNIE 5.5 Flash Base с 280 млрд параметров и контекстом до миллиона токеновОткрыто сейчас