|
В прошлом месяце я писал о новом тесте Mercor, который оценивает возможности агентов ИИ в решении профессиональных задач, таких как юриспруденция и корпоративный анализ. В то время результаты были довольно плачевными: каждая крупная лаборатория набрала менее 25% баллов, поэтому мы пришли к выводу, что юристам не грозит вытеснение ИИ, по крайней мере, на данный момент.
Но возможности ИИ могут сильно измениться за пару недель.
Выход на этой неделе Opus 4.6 от Anthropic всколыхнул рейтинги лидеров: новая модель Anthropic набрала всего 30% очков в одиночных испытаниях, а в среднем это составляет 45%, если дать еще несколько советов по решению проблемы. Примечательно, что релиз включал в себя множество новых функций агента, включая “рои агентов”, которые, возможно, помогли в такого рода многоступенчатом решении проблем.
Как бы то ни было, результат - это огромный скачок по сравнению с предыдущим уровнем техники и признак того, что прогресс в разработке базовых моделей не замедляется. Генеральный директор Mercor Брендан Фуди, на которого это произвело особое впечатление, сказал: “Скачок с 18,4% до 29,8% за несколько месяцев - это безумие”.
Тридцать процентов - это все еще далеко от 100%, так что юристам не стоит беспокоиться о том, что на следующей неделе их заменят машинами. Но они должны быть гораздо менее уверены в себе, чем в прошлом месяце!
