Ai2 опубликовала в Nature метод превращения языковых моделей в работающие с байтами
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Модели учатся читать «сырые» байты, а не готовые кусочки слов, — это шаг к единому языку для текста, звука и картинок.
Институт Ai2 опубликовал в Nature работу о «байтификации»: готовую модель на субсловных токенах за короткое дообучение превращают в байтовую, не обучая заново. Выпущены Bolmo 1B и 7B (на основе Olmo), Bwen 8B (из Qwen 3 8B) и Blama 8B (из Llama 3 8B); по данным Ai2, Bwen 8B — сильнейшая из байтифицированных моделей. Байтовые модели лучше справляются с опечатками, редкими словами и разными языками; контрольные точки и методика открыты.
Источники 2