|
В пятницу днем, как раз в тот момент, когда начиналось это интервью, на экране моего компьютера появилось сообщение о том, что администрация Трампа разрывает связи с Anthropic, компанией по искусственному интеллекту из Сан-Франциско, основанной в 2021 году Дарио Амодеем и другими бывшими исследователями OpenAI, которые ушли из-за проблем с безопасностью. Министр обороны Пит Хегсет сослался на закон о национальной безопасности, разработанный для противодействия угрозам в цепочках поставок из—за рубежа, чтобы запретить компании вести бизнес с Пентагоном после того, как Amodei отказалась разрешить использовать технологию Anthropic для массовой слежки за американскими компаниями. граждан или для автономных вооруженных беспилотных летательных аппаратов, которые могли бы выбирать и уничтожать цели без участия человека.
Это был потрясающий эпизод. Компания Anthropic теперь может потерять контракт на сумму до 200 миллионов долларов, а также ей будет запрещено работать с другими оборонными подрядчиками после того, как президент Трамп опубликовал в социальной сети Truth указание всем федеральным агентствам “немедленно прекратить всякое использование технологий Anthropic”. (С тех пор Anthropic заявила, что оспорит решение Пентагона в суде , назвав определение рисков цепочки поставок юридически необоснованным и “никогда ранее публично не применявшимся к американской компании”.)
Макс Тегмарк потратил большую часть десятилетия на предупреждение о том, что гонка за созданием все более мощных систем искусственного интеллекта опережает возможности всего мира управлять ими. Шведско-американский физик и профессор Массачусетского технологического института основал Институт будущего жизни в 2014 году. В 2023 году он, как известно, помог организовать открытое письмо, которое в конечном итоге подписали более 33 000 человек, включая Илона Маска, с призывом приостановить разработку передовых технологий искусственного интеллекта.
Его взгляд на антропный кризис беспощаден: компания, как и ее конкуренты, сама посеяла семена своего затруднительного положения. Аргумент Тегмарка основан не на Пентагоне, а на решении, принятом много лет назад, — выборе, который разделяют представители отрасли, - сопротивляться обязательному регулированию. Anthropic, OpenAI, Google DeepMind и другие давно обещали ответственно относиться к своему управлению. Ранее на этой неделе Anthropic даже отказалась от основного принципа своего собственного обязательства по обеспечению безопасности — своего обещания не выпускать все более мощные системы искусственного интеллекта, пока компания не будет уверена, что они не причинят вреда.
Сейчас, в отсутствие правил, защитить этих игроков практически невозможно, говорит Тегмарк. Вот еще выдержки из этого интервью, отредактированные для большей полноты и наглядности. Вы можете услышать полный текст беседы на следующей неделе в подкасте AGI_LOG , который можно скачать только через VC.
Когда вы только что увидели эту новость об Anthropic, какой была ваша первая реакция?
Благими намерениями вымощена дорога в ад. Так интересно вспомнить, что было десять лет назад, когда люди были в восторге от того, как мы собираемся создать искусственный интеллект для лечения рака, повышения благосостояния в Америке и усиления Америки. И вот теперь мы подошли к тому моменту, когда правительство США разозлилось на эту компанию за то, что она не хочет, чтобы искусственный интеллект использовался для массовой слежки за американцами внутри страны, а также не хочет иметь роботов—убийц, которые могут автономно — вообще без участия человека - решать, кого убивать.
Компания Anthropic сделала ставку на то, чтобы быть компанией, ориентированной на безопасность ИИ, и, тем не менее, она сотрудничала с оборонными и разведывательными службами [по крайней мере, с 2024 года]. Как вы думаете, это противоречиво?
Это противоречиво. Если я могу немного цинично отнестись к этому, то да, компания Anthropic очень хорошо продвигает себя в сфере безопасности. Но если вы действительно посмотрите на факты, а не на заявления, то увидите, что Anthropic, OpenAI, Google DeepMind и xAI много говорили о том, как они заботятся о безопасности. Ни одна из них не выступила в поддержку обязательного регулирования безопасности, как это было в других отраслях. И все четыре эти компании теперь нарушили свои собственные обещания. Сначала у нас был Google — главный лозунг "Не будь злым". Затем они отказались от него. Затем они отказались от другого более длительного обязательства, в котором, по сути, говорилось, что они обещали не причинять вреда с помощью ИИ. Они отказались от этого, чтобы продавать искусственный интеллект для наблюдения и производства оружия. OpenAI просто убрала слово "безопасность" из своего заявления о миссии. xAI уволила всю свою команду по безопасности. А теперь, в начале недели, компания Anthropic отказалась от своего самого важного обязательства по обеспечению безопасности — обещания не выпускать мощные системы искусственного интеллекта, пока они не будут уверены, что они не причинят вреда.
Как компании, которые взяли на себя такие серьезные обязательства по обеспечению безопасности, оказались в таком положении?
Все эти компании, особенно OpenAI и Google DeepMind, но в какой-то степени и Anthropic, настойчиво выступали против регулирования ИИ, говоря: "Просто поверьте нам, мы будем регулировать сами". И они успешно лоббировали это. Так что сейчас в Америке системы искусственного интеллекта регулируются меньше, чем сэндвичи. Знаете, если вы захотите открыть магазин сэндвичей, а санитарный инспектор обнаружит на кухне 15 крыс, он не разрешит вам продавать сэндвичи, пока вы это не исправите. Но если вы скажете: "Не волнуйтесь, я не собираюсь продавать сэндвичи, я собираюсь продавать подружек с искусственным интеллектом для 11-летних, и в прошлом они были связаны с самоубийствами, а затем я собираюсь выпустить нечто под названием "суперинтеллект", которое может свергнуть правительство США, но у меня хорошее предчувствие насчет моего", — инспектор должен сказать: "Хорошо, продолжайте, только не продавайте сэндвичи’.
Существует регулирование безопасности пищевых продуктов, но нет регулирования в области искусственного интеллекта. И, как мне кажется, все эти компании действительно разделяют вину за это. Потому что, если бы они взяли на себя все эти обещания, которые они давали в свое время, о том, что они будут такими безопасными и добропорядочными, и собрались вместе, а затем пошли бы к правительству и сказали: "Пожалуйста, примите наши добровольные обязательства и превратите их в закон США, который обязывает даже самых неаккуратных из нас выполнять их". конкуренты — это произошло бы вместо них. Мы находимся в полном нормативном вакууме. И мы знаем, что происходит, когда объявляется полная корпоративная амнистия: вы получаете талидомид, табачные компании навязывают сигареты детям, асбест вызывает рак легких. Так что есть некоторая ирония в том, что их собственное сопротивление принятию законов, в которых говорится, что можно, а что нельзя делать с ИИ, теперь возвращается и наносит им удар.
Сейчас нет закона, запрещающего создавать ИИ для убийства американцев, поэтому правительство может просто внезапно попросить об этом. Если бы сами компании выступили раньше и сказали: "Мы хотим этот закон", они бы не оказались в таком затруднительном положении. На самом деле они сами себя подставили.
Контраргументом компаний всегда является конкуренция с Китаем - если американские компании этого не сделают, это сделает Пекин. Этот аргумент верен?
Давайте проанализируем это. Наиболее распространенная точка зрения лоббистов компаний, занимающихся ИИ, — они сейчас лучше финансируются и их число превышает число лоббистов из индустрии ископаемого топлива, фармацевтической промышленности и военно-промышленного комплекса, вместе взятых, — заключается в том, что всякий раз, когда кто-либо предлагает какое-либо регулирование, они говорят: "Но Китай’. Итак, давайте посмотрим на это. Китай находится в процессе полного запрета на ИИ-подружек. Речь идет не только о возрастных ограничениях — они рассматривают возможность запрета всего антропоморфного ИИ. Почему? Не потому, что они хотят угодить Америке, а потому, что считают, что это вредит китайской молодежи и ослабляет Китай. Очевидно, что это также ослабляет американскую молодежь.
И когда люди говорят, что мы должны наперегонки создавать сверхразум, чтобы победить Китай, — хотя на самом деле мы не знаем, как управлять сверхразумом, и в результате человечество по умолчанию уступает контроль над Землей инопланетным машинам, — угадайте, что? Коммунистическая партия Китая действительно любит контроль. Кто в здравом уме думает, что Си Цзиньпин будет мириться с тем, что какая-то китайская ИИ-компания строит что-то, что свергает китайское правительство? Ни за что. Очевидно, что для американского правительства тоже будет очень плохо, если оно будет свергнуто в результате государственного переворота первой американской компанией, создавшей сверхразум. Это угроза национальной безопасности.
Это убедительная формулировка — сверхразум как угроза национальной безопасности, а не как преимущество. Вы видите, что эта точка зрения набирает силу в Вашингтоне?
Я думаю, если люди из сообщества национальной безопасности послушают, как Дарио Амодей описывает свое видение — он произнес знаменитую речь, в которой говорит, что скоро у нас будет страна гениев в центре обработки данных — они могут начать думать: подождите, неужели Дарио только что употребил слово "страна’? Может быть, мне стоит внести эту страну гениев в центр обработки данных в тот же список угроз, за которым я слежу, потому что это звучит угрожающе для правительства США. И я думаю, что довольно скоро достаточное количество людей в сообществе национальной безопасности США осознают, что неконтролируемый сверхразум - это угроза, а не инструмент. Это полностью аналогично холодной войне. Шла борьба за господство — экономическое и военное — над Советским Союзом. Мы, американцы, выиграли эту гонку, даже не вступив во вторую гонку, которая заключалась в том, чтобы выяснить, кто сможет оставить больше ядерных воронок в другой сверхдержаве. Люди поняли, что это просто самоубийство. Никто не выигрывает. Здесь применима та же логика.
Что все это означает для темпов развития искусственного интеллекта в целом? Как вы думаете, насколько мы близки к системам, которые вы описываете?
Шесть лет назад почти все эксперты в области ИИ, которых я знал, предсказывали, что до появления ИИ, способного овладеть языком и знаниями на человеческом уровне, еще десятилетия — возможно, к 2040 или 2050 году. Все они ошибались, потому что сейчас у нас это уже есть. Мы наблюдаем, как ИИ довольно быстро продвигается от уровня средней школы к уровню колледжа, от уровня доктора философии до уровня университетского профессора в некоторых областях. В прошлом году ИИ завоевал золотую медаль на Международной олимпиаде по математике, которая является одной из самых сложных задач, которые могут быть решены человеком. Я написал статью вместе с Йошуа Бенгио , Дэном Хендриксом и другими ведущими исследователями искусственного интеллекта, которые только что несколько месяцев назад было дано строгое определение AGI. Согласно этим данным, GPT-4 был пройден на 27%. GPT-5 был пройден на 57%. Итак, мы еще не достигли этого, но переход от 27% к 57% позволяет предположить, что это не так уж и долго.
Когда я вчера читал лекцию своим студентам в Массачусетском технологическом институте, я сказал им, что даже если на это уйдет четыре года, это означает, что, когда они закончат учебу, они, возможно, больше не смогут найти работу. Конечно, начинать готовиться к этому еще не рано.
Anthropic теперь занесен в черный список. Мне любопытно посмотреть, что произойдет дальше — поддержат ли их другие гиганты ИИ и скажут, что мы тоже не будем этого делать? Или кто-то вроде xAI поднимет руку и скажет, что Anthropic не нужен этот контракт, мы его примем? [Примечание редактора: Спустя несколько часов после интервью OpenAI объявила о своей собственной сделке с Пентагоном.]
Вчера вечером Сэм Альтман заявил, что он солидарен с Anthropic и придерживается тех же взглядов, что и мы. Я восхищаюсь его смелостью сказать это. На момент начала нашего интервью Google ничего не сказал. Если они просто будут молчать, я думаю, это будет невероятно неприятно для них как для компании, и многие из их сотрудников будут чувствовать то же самое. Мы тоже пока ничего не слышали от xAI. Так что будет интересно посмотреть. По сути, наступает момент, когда каждый должен показать свое истинное лицо.
Есть ли вариант, в котором результат действительно хорош?
Да, и именно поэтому я, как ни странно, настроен оптимистично. Здесь есть такая очевидная альтернатива. Если мы просто начнем относиться к компаниям, работающим с ИИ, как к любым другим компаниям — откажемся от корпоративной амнистии, — им, очевидно, придется провести что-то вроде клинических испытаний, прежде чем выпускать что-то настолько мощное, и продемонстрировать независимым экспертам, что они знают, как это контролировать. Тогда нас ждет золотой век со всеми преимуществами искусственного интеллекта, без экзистенциальной тоски. Сейчас мы идем не по этому пути. Но это могло бы быть.
