OpenAI представила BioBasicsBench из 100 задач на анализ реальных лабораторных данных
Материал подготовлен Sintelligent с помощью ИИ. Опубликовано в SI: . Обновлено: .
Новый тест измеряет не впечатляющие ответы по готовым графикам, а способность агента проверять контроли и не делать выводы сильнее реальных экспериментальных данных.
По описанию OpenAI в пересказе Unite.AI, бенчмарк разработан с компанией Ligo и проверяет интерпретацию сырых данных повседневных экспериментов: снимков гелей и микроскопии, чтений секвенирования, таблиц приборов, фотографий и видео протоколов. Задачи охватывают белковые методы, визуализацию, цитометрию, количественные анализы, работу с нуклеиновыми кислотами и молекулярное клонирование. Агент должен измерять показатели, замечать ошибки и распознавать случаи, когда доказательства не поддерживают вывод. Семь моделей проверялись в 37 конфигурациях, по пять попыток на задачу — всего 18 500 оценённых ответов. На максимальном общем уровне рассуждения GPT-6 Astra получила 66,7% доступных баллов против 43,8% у GPT-5.6 Sol. При этом OpenAI приводит ошибки Astra: неверный выбор дорожек при колониальной ПЦР, противоречие между собственными наблюдениями и выводом о клеточных вакуолях, а также завышение числа колоний примерно на 12%. Результат показывает улучшение анализа, но не надёжное самостоятельное лабораторное суждение.
Источники 2