Together Compiler использует агентов для непрерывной оптимизации инференса под живой трафик
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Инференс может постоянно подстраиваться под новые модели, чипы и реальную нагрузку вместо разовой ручной настройки.
По измерениям Together AI, система TKCC менее чем за сутки увеличивает скорость вывода открытых моделей до 2,6 раза и достигает 1111 токенов в секунду на MiniMax M3.1-Flash и 1205 на DeepSeek v4.1-Flash в низколатентном тесте InferenceX. Постоянно работающие движки позволяют заменять проверяемый forward pass без повторного запуска всего сервера, а группа агентов параллельно предлагает оптимизации; компания оценивает рост пропускной способности экспериментов в 252 раза. TKCC учитывает модель, оборудование и меняющуюся форму трафика и уже работает в производственном инференсе Together. Для оптимизации собственных выделенных endpoint клиентов доступно ограниченное бета-тестирование.
Источники 2