ИИ дороже для языков, отличных от английского: исследование нашло разницу до 5 раз по числу токенов
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Пользователи редких языков платят за ИИ больше и получают его медленнее — неравенство заложено в устройстве моделей.
Исследование Coalition for Language Equity in AI Research, опубликованное в сентябре, показало, что один и тот же текст требует от ИИ-моделей разного числа токенов в зависимости от языка. Среди 20 самых популярных языков интернета самый «дорогой» использует в 1,5–5 раз больше токенов, чем самый «дешёвый»; при расширении набора до 200 языков разрыв в одной из моделей вырос в 17 раз. Авторы называют это «налогом токенайзера»: рост числа токенов означает не только более высокую цену, но и большую задержку и меньший эффективный контекст.
Источники 1