Стартап Circuit Breaker Labs проверяет ИИ-чаты на вред для психики, имитируя тысячи разных пользователей
Появляются сервисы, которые заранее проверяют ИИ-собеседников на безопасность, и это делает такие продукты надёжнее.
Стартап использует симулированных пользователей разного возраста, языков и культур, чтобы до запуска находить в ИИ-системах опасные ответы и психологический вред; основной фокус — приложения для психической поддержки, коучинга и дневников. Основали компанию брат и сестра Ширали (CEO) и Арул Нигам после истории Сьюэлла Сетцера, 14-летнего подростка, погибшего после общения с чат-ботом Character.AI. В команде пять человек, клиентов не раскрывают; стартап вышел в финал Startup Battlefield 200 на TechCrunch Disrupt (13–15 октября, Сан-Франциско).
Источники 1