«Т1» протестировала более 20 ИИ-моделей на китайских ускорителях
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Подбор ускорителя под конкретную задачу может заметно удешевить работу ИИ, хотя для скорости и дообучения больших моделей преимущества разных платформ различаются.
По данным компании, в её лаборатории проведено более тысячи прогонов на GPU разных производителей. В задачах работы с документами и поиска по базам знаний китайские ускорители позволили снизить стоимость инференса в 2–2,5 раза при сопоставимом качестве ответов. Для дообучения крупных моделей «Т1» предлагает распределять нагрузку: оставлять Nvidia для обучения и самых больших моделей, а подходящие сервисы переносить на альтернативные чипы. В компьютерном зрении китайские решения оказались конкурентоспособны по цене, но уступили Nvidia по скорости. Компания также оценила замену недозагруженной H100 на одну карту C550 в облаке экономией более 2 млн рублей в год; это результат её собственных испытаний и конкретной конфигурации.
Источники 1