Sakana AI обучила нейросеть в 1000 слоёв без обратного распространения ошибки — как, возможно, учится мозг
Появляется реальная альтернатива главному способу обучения нейросетей — шаг к ИИ, который учится локально, как мозг, и мог бы работать на совсем другом железе.
Обратное распространение требует глобального прохода по всей сети, чего в мозге, насколько известно, нет. Метод PC-ALM дополняет «предиктивное кодирование» множителями Лагранжа: каждый слой учится только на локальных сигналах соседей. Сети глубиной до 1000 слоёв отстают от обычного обучения на MNIST лишь примерно на 2 процентных пункта, сходство градиентов с обратным распространением выросло с 0,60 до 0,91. Код на JAX открыт под лицензией MIT, проверен пока только на небольших наборах данных.
Источники 2