Bloomberg: чрезмерное доверие к ИИ-системе Palantir Maven стало одной из причин удара США по иранской школе, где погибли 123 ребёнка
ИИ уже ускоряет выбор военных целей с часов до минут — и цена ошибки при такой скорости огромна, если люди перестают проверять, что именно им выдала машина.
Расследование Bloomberg опирается на неопубликованный внутренний разбор Пентагона: в первый день войны с Ираном в феврале две ракеты Tomahawk попали в начальную школу в Минабе, погибли более 150 человек, из них минимум 123 ребёнка. Разбор называет цепочку ошибок: объект годами числился военным, хотя спутниковые снимки 2017–2018 годов показывали школу; целеуказание, занимавшее часы, с Maven сжали до минут на фоне более 1000 целей за первые сутки; команда по снижению вреда для мирных в CENTCOM сокращена с 10 человек до одного, и цель никто не перепроверил. Военные ожидали, что Maven сам отметит устаревшие данные, хотя такой функции у системы не было. Palantir заявила, что не отвечает за исходные разведданные, и после удара добавила перепроверку признаков, исключающих цель.
Источники 3