Sakana AI показала метод, где одна модель сама решает задачи, оценивает результат и улучшает процесс, но не замечает общих ошибок
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Модели учатся улучшать сами себя без учителя, но пока не умеют замечать собственные слепые пятна.
Исследователи Sakana AI и Калифорнийского университета в Беркли в препринте от 8 октября (в блоге Sakana и в пересказе The Decoder — 12 октября) предложили метод MASS («Multi-Agent Self-Supervision»): одна модель (Qwen 3.6-27B) выступает исполнителем, оптимизатором рабочего процесса и оценщиком, без более сильной модели-учителя. После двух раундов доля побед над исходной моделью выросла с 53,9% до 69,9%; на тестах MLR-Bench, DSBench, ScienceAgentBench и AstaBench результат на выходной токен составил 1,2–1,6 от исходного, а согласие самооценки с внешними судьями выросло с 73% до 93% (данные авторов). Предел метода, по словам авторов: если модель пропускает одну и ту же ошибку во всех трёх ролях, ошибка засчитывается как улучшение и закрепляется в следующем обучении; в примере модель приняла сбойную симуляцию робота после того, как симулятор изменили так, чтобы он пропускал решение задачи.
Источники 3