MedChemBench: OpenAI проверила точность языковых моделей в химии

Способны ли ИИ-модели безошибочно считывать молекулярные структуры, интерпретировать результаты лабораторных тестов и отбирать перспективных кандидатов в лекарственные препараты?
OpenAI представила MedChemBench — бенчмарк, созданный для оценки того, как большие языковые модели справляются со сложными задачами рассуждения в области медицинской химии. Бенчмарк измеряет возможности систем на 99 задачах, взятых из опубликованных исследований, охватывающих 117 научных статей и патентов, а также 761 уникальную молекулярную структуру. В рамках этих задач системы получают реальный контекст разработки — включая биологические мишени, исследовательские цели, ранее изученные соединения и результаты избранных экспериментов. Цель теста — определить, способны ли нейросети выйти за рамки маркетинговых обещаний и показать измеримую пользу в реальной лаборатории. Ключевой операционный вопрос для исследовательских команд заключается в том, могут ли текущие архитектуры моделей учитывать биохимические компромиссы или же они остаются ненадежными при расчете физических свойств.
Четыре столпа химической оценки
Чтобы сформировать объективную базовую линию, MedChemBench разделяет решение химических задач на четыре компонента: молекулярные структуры, научные рассуждения, ранжирование и отбор, а также прогнозирование свойств. Оценка работы со структурами требует сборки молекул по графическим схемам и химическим группам с сохранением корректных связей между атомами и стереохимии. Рассуждения проверяются на базе объяснений, подкрепленных эмпирическими данными — например, обоснования, почему одно соединение заслуживает дальнейшей разработки вместо другого. Ранжирование и отбор тестируют выбор кандидатов с учетом проектных ограничений, а блок прогнозирования оценивает, насколько точно числовые ответы модели совпадают с зафиксированными метриками.
«Одна из главных трудностей этой работы заключается в том, что улучшение одного свойства молекулы часто ухудшает другое».
В разработке лекарств молекула может демонстрировать мощное связывание с белком-мишенью, но оказаться непригодной из-за низкой абсорбции или быстрого распада в тканях организма. Чтобы автоматизированные системы приносили практическую пользу, они должны связывать структурные модификации напрямую с поведением вещества в эксперименте, а не оптимизировать отдельные переменные в изоляции. Как передовые модели справляются с задачей, когда приходится балансировать между конфликтующими биологическими параметрами?
Один из практических кейсов бенчмарка демонстрирует эту проблему на примере ингибиторов PRMT5 — валидированной белковой мишени в онкологии. Модели получают исходные структуры и данные, после чего должны спрогнозировать три одновременных свойства родственных соединений: клеточное ингибирование PRMT5, проницаемость клеточных барьеров и скорость метаболического распада под действием ферментов печени. В экспериментальных данных, скрытых на время теста, соединение 23 блокировало PRMT5 при более низкой концентрации, тогда как соединение 24 легче проходило сквозь клеточные барьеры и медленнее расщеплялось в тестах с ферментами печени. Способность удерживать баланс между несколькими параметрами показывает, понимает ли модель реальные молекулярные взаимодействия.
Результаты бенчмарка и архитектурные ограничения
При одинаковой настройке глубины рассуждений xhigh среди одиннадцати протестированных систем GPT-6.2 Astra набрала 84,5% возможных баллов, GPT-6 Astra — 83,3%, GPT-6.1 Sol — 82,0%, а GPT-5.6 Sol — только 58,2%. Хотя увеличение вычислительных ресурсов на рассуждения улучшило показатели всех участников, между семействами моделей сохранился значительный разрыв.
Корректное представление структуры остается базовым барьером, на котором спотыкаются старые архитектуры. В задаче на сборку 18-членного кольца из центрального ядра и двух функциональных групп GPT-6 Astra успешно справилась во всех десяти прогонах на уровне xhigh, получив 95,4% баллов за структурные компоненты. Напротив, GPT-5.6 Sol и GPT-5.6 Luna провалили все десять попыток: GPT-5.6 Sol собрала ошибочное 15-членное кольцо, а GPT-5.6 Luna раздробила молекулу на несвязанные фрагменты. Ошибки в топологии межатомных связей делают невалидным любой последующий анализ еще до начала оценки физических свойств.
Хотя GPT-6 Astra показала наилучшие результаты в реконструкции молекулярных конфигураций и анализе эмпирических данных, выбор оптимальных соединений и расчет численных значений остаются узким местом. Современные архитектуры рассуждений демонстрируют высокую точность при разборе химической литературы и работе со структурами, однако точный расчет свойств наталкивается на фундаментальные технические ограничения. Стандартизированная валидация на многопараметрических бенчмарках становится главным фильтром, отделяющим реальное планирование синтеза от спекулятивных заявлений.
Что не сходится
Риск спустить бюджет на неработающие в лаборатории молекулы снижается: OpenAI выкатила бенчмарк MedChemBench, проверяющий рассуждения моделей на реальных статьях и патентах. За абстрактными процентами скрывается сугубо прикладная развилка — машина либо умеет держать баланс между несовместимыми параметрами вроде проницаемости клеток и распада в печени, либо сыпется на физике. Старшие системы явно прибавили в тяжелой биохимии, причем даже капризные кольцевые структуры перестали быть непреодолимым барьером. По данным компании, если GPT-5.6 Sol осилила лишь 58,2% баллов, то флагманская GPT-6.2 Astra на максимуме рассуждений взяла 84,5%.
Источник: OpenAI Blog