Google представила TPU 8tx для конфиденциальных вычислений и двухчиповый TPU 8i Max
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
У облачного ИИ появляются более специализированные вычислители: агенты с огромным контекстом и закрытыми данными смогут работать эффективнее без привязки только к GPU Nvidia.
Google расширила восьмое поколение TPU сразу двумя системами. TPU 8tx использует кристаллы TPU 8t и процессоры AMD EPYC пятого поколения: данные и веса моделей остаются зашифрованными и изолированными даже во время обработки. Сеть Boardfly снижает задержку до двух раз по сравнению с TPU 8t, а одна система может выполнять конфиденциальный инференс, дообучение и обучение агентов с подкреплением. TPU 8i Max объединяет два чипа TPU 8i в одном корпусе и удваивает вычислительную мощность, объём SRAM и пропускную способность HBM для работы с длинным контекстом. Это новые конфигурации систем, а не новые кристаллы: модульная архитектура позволила Google представить четыре TPU-системы за один год. Одновременно компания открыла инструменты для переноса PyTorch-кода и моделей Hugging Face на TPU, а TPU Sync объединяет память чипов, хостов и хранилища; по данным Google, это сокращает задержку передачи KV-кэша и время до первого токена более чем на 90%.
Источники 2