|
OpenAI распустила команду, которая сосредоточилась на том, чтобы, как описала сама компания , обеспечить, чтобы ее системы искусственного интеллекта были “безопасными, заслуживающими доверия и последовательно соответствовали общечеловеческим ценностям”. В то же время бывшему руководителю команды была предоставлена новая должность “главного футуролога компании”.
OpenAI подтвердила AGI_LOG, что члены команды теперь назначены на другие должности. Новость была впервые опубликована компанией Platformer.
Расформированная команда, о которой идет речь, которая, по-видимому, была сформирована в сентябре 2024 года , была внутренним подразделением стартапа, занимавшимся согласованием. Это широкая область интересов в отрасли, которая стремится обеспечить, чтобы ИИ действовал в соответствии с интересами человека.
“Мы хотим, чтобы эти системы последовательно следовали намерениям человека в сложных реальных сценариях и враждебных условиях, избегали катастрофического поведения и оставались управляемыми, проверяемыми и соответствовали человеческим ценностям”, - говорится в сообщении из блога исследований соответствия OpenAI. заявляет.
В объявлении о вакансии OpenAI для команды Alignment говорится, что компания занимается исследованиями в области искусственного интеллекта, которые направлены на “разработку методологий, позволяющих ИИ надежно следовать намерениям человека в широком спектре сценариев, включая те, которые связаны с противостоянием или высокими ставками.”
В сообщении в блоге, опубликованном в среду, Джош Ачиам, бывший глава команды разработчиков OpenAI, объяснил свою новую роль главного футуролога компании. “Моя цель — поддержать миссию OpenAI — обеспечить, чтобы искусственный интеллект приносил пользу всему человечеству, - изучая, как изменится мир в ответ на развитие искусственного интеллекта, УЧИ и не только”, - написал Ачиам.
Ачиам отметил, что в своей новой роли он будет сотрудничать с Джейсоном Пруэтом, физиком из технического персонала OpenAI.
Представитель OpenAI сообщил, что остальная часть команды по согласованию — группа из шести или семи человек — впоследствии была переведена в другие подразделения компании. Представитель не смог сказать, куда именно были назначены члены команды, но сказал, что они выполняли аналогичную работу на этих должностях. Также было неясно, будет ли у Ачиама новая команда в рамках его роли “футуриста”.
Пресс-секретарь объяснил расформирование команды рутинными реорганизациями, которые происходят в быстро развивающейся компании.
Ранее в OpenAI была так называемая “команда суперсвязи”, которая была сформирована в 2023 году и занималась изучением долгосрочных экзистенциальных угроз, исходящих от искусственного интеллекта, но эта команда была расформирована в 2024 году .
На персональном веб-сайте Ачиама он по-прежнему числится главой отдела согласования миссий в OpenAI и описывает его как человека, заинтересованного в том, чтобы “долгосрочное будущее человечества было хорошим”. Его профиль в LinkedIn показывает, что он занимал должность главы отдела согласования миссий с сентября 2024 года.
