AWS предложила три проверки для поиска скрытых ошибок GPU при обучении моделей
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Длинные обучения моделей получат способ остановить редкую ошибку одного GPU до того, как она незаметно испортит всю модель и потратит недели вычислений.
Скрытое повреждение данных возникает, когда GPU возвращает правдоподобный, но неверный результат без аппаратной ошибки; в распределённом обучении он попадает в градиенты и веса всех реплик. AWS добавила в цикл PyTorch DistributedDataParallel проверку нечисловых градиентов, перекрёстное повторение микробатча на GPU другого узла со сравнением потерь и отпечатков градиентов, а также сравнение отпечатков весов после шага оптимизатора. При срабатывании система определяет подозрительный узел, не применяет повреждённый шаг, откатывается к контрольной точке и передаёт узел SageMaker HyperPod для замены. Метод проверен с программно внесёнными ошибками на кластере из 32 Nvidia H100 и повторён на минимальной конфигурации из трёх инстансов. Код опубликован на GitHub.
Источники 1