Показывать только баннеры дня

Наделла поддержал «осознанное замедление» ИИ и пообещал открыть свод правил для моделей Microsoft

К призыву притормозить присоединился крупнейший облачный провайдер — но с оговоркой, что правила не должны писать несколько избранных лабораторий; спор теперь не о том, нужны ли правила, а о том, кто их будет писать.

В воскресном посте в X глава Microsoft Сатья Наделла ответил на эссе Амодеи: компания приветствует «исследования, фокус и осознанное замедление», нужные, чтобы сделать согласование ИИ с интересами людей целью разработки, и идею встроенных внешних оценщиков. Он же оговорился, что такие усилия «не могут контролироваться горсткой компаний». Наделла объявил, что на следующий день Microsoft выложит на публичное обсуждение «Кодекс поведения» для своих моделей MAI: по нему модели не должны сопротивляться отключению, скрывать рассуждения от аудиторов и ставить себе собственные цели. «Любое стремление к сверхинтеллекту должно исходить из принципа: если ИИ не помогает человечеству и не под контролем человека, его не стоит создавать».

Источники 2

Путь от найденной ошибки в библиотеке до доступа к коду одной из главных ИИ-лабораторий мира ИИ сжал до трёх суток — и тот же инструмент теперь есть у защитников, которые могут находить такие дыры раньше атакующих.

Исследователи с помощью Claude за 72 часа взломали форум OpenAI и добрались до её внутреннего кода

Путь от найденной ошибки в библиотеке до доступа к коду одной из главных ИИ-лабораторий мира ИИ сжал до трёх суток — и тот же инструмент теперь есть у защитников, которые могут находить такие дыры раньше атакующих.

Трое исследователей стартапа Hacktron AI опубликовали разбор июльской атаки: форум OpenAI на движке Discourse передавал загружаемые HEIC-картинки в библиотеку libheif, где осталась неисправленная уязвимость переполнения буфера. Claude Opus 4.8 нашёл уязвимость, но не смог написать надёжный эксплойт; вышедший 25 июля Opus 5 собрал рабочий эксплойт за 3 часа. Дальше исследователи получили удалённое выполнение кода, захватили аккаунты сотрудников в ChatGPT/Codex и через интеграцию с GitHub создали пулл-реквест во внутреннем репозитории OpenAI. OpenAI закрыла дыру в тот же день и 1 сентября выплатила баунти $6500.

Источники 1

Изнутри лабораторий говорят, что «выключатель» для ИИ скоро может перестать работать, — и при этом просят не спешить с жёсткими законами: право устаревает быстрее, чем выходят новые модели.

Ушедший из Anthropic исследователь Коксон на NBC: «аварийный выключатель» для ИИ скоро может перестать работать

Изнутри лабораторий говорят, что «выключатель» для ИИ скоро может перестать работать, — и при этом просят не спешить с жёсткими законами: право устаревает быстрее, чем выходят новые модели.

Джейкоб Коксон, уволившийся из Anthropic с предупреждением о самоулучшающемся ИИ, в эфире Meet the Press предложил Конгрессу пока позволить ведущим лабораториям регулировать себя самим, считая их руководителей «совершенно искренними» в желании замедлиться. Выключатель, по его словам, сработает на нынешних моделях, пока они работают в централизованных дата-центрах, но «очень скоро» может оказаться бесполезным, если рой агентов разойдётся по интернету. «Люди, которые строят ИИ, искренне верят, что он может убить нас всех к концу десятилетия. Это не маркетинговый ход».

ИИ окончательно становится предвыборной темой в США: вопрос о том, как и насколько его ограничивать, теперь будут решать партийные программы, а не только инженеры и компании.

Обама призвал демократов сделать ИИ центральной темой и выработать «очень чёткий план» защитных мер

ИИ окончательно становится предвыборной темой в США: вопрос о том, как и насколько его ограничивать, теперь будут решать партийные программы, а не только инженеры и компании.

На мероприятии по сбору средств для Демократической партии Барак Обама сказал, что партии нужен «очень чёткий план» по экономическим последствиям и безопасности ИИ и публичная рамка регулирования, когда демократы вернут контроль над Палатой представителей. Технология, по его словам, «очень быстро развивается в частных руках»; ИИ может ускорить создание лекарств, но без надзора «может быть опасен». Обама назвал себя «собеседником», к которому обращаются главы ИИ-компаний.

Источники 1

ИИ превращает миллионы бытовых жалоб в интернете в медицинские данные — сигналы о лекарствах, которые раньше терялись, теперь можно заметить за дни, а не за годы.

Нейросети прочитали 400 тысяч постов на Reddit и нашли у Оземпика побочные эффекты, которых почти нет в клинических испытаниях

ИИ превращает миллионы бытовых жалоб в интернете в медицинские данные — сигналы о лекарствах, которые раньше терялись, теперь можно заметить за дни, а не за годы.

Команда Пенсильванского университета с помощью языковых моделей GPT и Gemini перевела пять лет разговорных постов почти 70 тысяч пользователей семаглутида и тирзепатида (Оземпик, Вегови, Монджаро, Зепбаунд) в стандартную медицинскую терминологию MedDRA. 44% писали хотя бы об одном побочном эффекте; около 4% — о нарушениях менструального цикла, часто упоминались озноб и приливы, а усталость оказалась второй по частоте жалобой, хотя в испытаниях почти не фигурирует. Работа опубликована в Nature Health; авторы подчёркивают, что это корреляции, а не доказанная причинность.

Подписаться в Telegram