MIT научил роботов находить и исправлять ошибочные описания предметов в собственной памяти
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Робот получает практический способ замечать сомнительные воспоминания и уточнять их на ходу, вместо того чтобы уверенно действовать на основании ошибки.
Система UQ-DAAAM оценивает не только уверенность зрительно-языковой модели в описании объекта, но и согласованность описаний, полученных с разных ракурсов. Если неопределённость высока, робот выбирает дополнительные кадры, которые должны лучше всего её снизить, а языковая модель объединяет подписи в исправленную запись в трёхмерной карте памяти. Математически выведенное правило выбора кадров не требует повторно запускать зрительно-языковую модель и позволяет обновлять память движущегося робота за доли секунды. В экспериментах система разрешила неоднозначность примерно для 92% объектов, используя в среднем лишь две дополнительные подписи на объект, и повысила точность описаний на 5% относительно современного базового метода. Работу представят на NeurIPS.
Источники 1