Все новости

В Nature показали фрактальную причину неустранимой невоспроизводимости обучения нейросетей

Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .

Даже детерминированное обучение может иметь фундаментальный предел повторяемости — это важно учитывать при проверке и сравнении будущих моделей.

Эндрю Ли и Пулин Гонг связали непредсказуемость результатов обучения с «изрезанными» бассейнами притяжения: инициализации, ведущие к разным решениям, переплетены так, что сколь угодно близкая точка может привести к другому исходу. Поэтому повышение точности начальных параметров не устраняет различия даже при контролируемых случайных факторах. Авторы подтвердили механизм на минимальной модели и затем обучили около 500 тысяч небольших сетей, включая конфигурации VGGNet, ResNet и BERT на MNIST, CIFAR-10 и IMDB. В показательном эксперименте снижение ошибки неопределённости вдвое потребовало бы уменьшить возмущение почти на 24 порядка; на функциональном уровне различие предсказаний стабилизировалось около 2,9% независимо от дальнейшего повышения точности. Работа предлагает измерять этот предел, а не считать любую невоспроизводимость следствием случайного шума или ошибки вычислений.

Источники 1