|
В последние месяцы появилось множество интересных лабораторий, специализирующихся на исследованиях в области искусственного интеллекта , и летающие самолеты - одна из самых интересных. Движимая своими молодыми и любознательными основателями, компания Flapping Airplanes сосредоточена на поиске менее требовательных к данным способов обучения искусственного интеллекта. Это может кардинально изменить экономику и возможности моделей искусственного интеллекта, и с начальным финансированием в размере 180 миллионов долларов у них будет достаточно возможностей, чтобы разобраться в этом.
На прошлой неделе я поговорил с тремя соучредителями лаборатории - братьями Беном и Ашером Спекторами и Эйданом Смитом — о том, почему это волнующий момент для создания новой лаборатории искусственного интеллекта и почему они продолжают возвращаться к идеям о человеческом мозге.
Я хочу начать с вопроса, почему именно сейчас? Такие лаборатории, как OpenAI и DeepMind, потратили так много средств на масштабирование своих моделей. Я уверен, что конкуренция кажется сложной. Почему мне показалось, что это подходящий момент для создания компании по созданию моделей foundation?
Бен: Нам так много предстоит сделать. Итак, достижения, которых мы достигли за последние пять-десять лет, впечатляют. Нам нравятся инструменты. Мы используем их каждый день. Но вопрос в том, является ли это целым рядом вещей, которые должны произойти? Мы очень тщательно все обдумали и пришли к выводу, что нам предстоит еще многое сделать. В нашем случае мы подумали, что проблема эффективности обработки данных - это действительно ключевая проблема, на которую стоит обратить внимание. Современные модели frontier основаны на совокупности человеческих знаний, и люди, очевидно, могут обойтись гораздо меньшим. Таким образом, здесь есть большой пробел, и это стоит понять.
То, что мы делаем, на самом деле сосредоточено на трех вещах. Можно поспорить, что проблема эффективности обработки данных - это самое важное, чем нужно заниматься. Это действительно новое направление, и вы можете добиться прогресса в нем. Держу пари, что это будет очень выгодно с коммерческой точки зрения и сделает мир лучше, если мы сможем это сделать. И можно поспорить, что для этого подойдет именно та команда, которая творчески и даже в некотором смысле неопытна, которая сможет еще раз взглянуть на эти проблемы с нуля.
Эйдан: Да, безусловно. На самом деле мы не считаем себя конкурирующими с другими лабораториями, потому что считаем, что мы просто рассматриваем совершенно другой набор проблем. Если вы посмотрите на человеческий разум, то увидите, что он обучается совершенно по-другому, чем трансформеры. И это не значит, что он лучше, просто очень отличается. Таким образом, мы видим различные компромиссы. Магистры обладают невероятной способностью запоминать и использовать обширные знания, но они не могут быстро осваивать новые навыки. Для адаптации требуется огромное количество данных. И когда вы заглядываете внутрь мозга, вы видите, что алгоритмы, которые он использует, в корне отличаются от градиентного спуска и некоторых методов, которые люди используют для обучения искусственного интеллекта сегодня. Вот почему мы набираем новую команду исследователей, чтобы как-то решить эти проблемы и по-другому взглянуть на сферу искусственного интеллекта.
Ашер: Этот вопрос очень интересен с научной точки зрения: почему созданные нами интеллектуальные системы так сильно отличаются от того, что делают люди? Откуда берется это различие? Как мы можем использовать знания об этом различии для создания более совершенных систем? Но в то же время я также считаю, что это на самом деле очень выгодно с коммерческой точки зрения и очень полезно для всего мира. Многие действительно важные режимы, такие как робототехника или научные открытия, также сильно ограничены в объеме данных. Даже в корпоративных приложениях модель, которая в миллион раз эффективнее с точки зрения обработки данных, вероятно, в миллион раз проще внедрить в экономику. Поэтому для нас было очень интересно по-новому взглянуть на эти подходы и подумать: если бы у нас действительно была модель, значительно более эффективная с точки зрения обработки данных, что мы могли бы с ней сделать?
Это относится к моему следующему вопросу, который также связан с названием "Хлопающие самолеты". В области искусственного интеллекта есть философский вопрос о том, насколько сильно мы пытаемся воссоздать то, что происходит в мозге человека, по сравнению с созданием некоего более абстрактного интеллекта, который использует совершенно другой путь. Эйдан работает в компании Neuralink, которая занимается изучением человеческого мозга. Считаете ли вы себя сторонником более нейроморфного взгляда на искусственный интеллект?
Эйдан: Я смотрю на мозг как на доказательство его существования. Мы рассматриваем это как доказательство того, что существуют и другие алгоритмы. Существует не только один общепринятый подход. И у мозга есть некоторые сумасшедшие ограничения. Если взглянуть на аппаратную часть, лежащую в ее основе, то можно увидеть некоторые сумасшедшие вещи. Для запуска потенциала действия требуется миллисекунда. За это время ваш компьютер может выполнить очень-очень много операций. И если говорить реалистично, то, вероятно, существует подход, который на самом деле намного лучше, чем использование мозга, а также сильно отличается от использования трансформатора. Итак, нас очень вдохновляют некоторые вещи, которые делает мозг, но мы не считаем, что это нас связывает.
Бен: Просто добавлю к этому. в нашем названии очень много от машущих самолетов. Представьте, что современные системы - это большие самолеты Boeing 787. Мы не пытаемся создавать птиц. Это уже слишком. Мы пытаемся построить что-то вроде летающего самолета. Моя точка зрения на компьютерные системы заключается в том, что ограничения, накладываемые мозгом и кремнием, достаточно сильно отличаются друг от друга, и мы не должны ожидать, что эти системы в конечном итоге будут выглядеть одинаково. Когда основа настолько разная и у вас действительно очень разные компромиссы в отношении стоимости вычислений, стоимости локализации и перемещения данных, вы на самом деле ожидаете, что эти системы будут выглядеть немного по-другому. Но то, что они будут выглядеть несколько иначе, не означает, что мы не должны черпать вдохновение из мозга и пытаться использовать те части, которые кажутся нам интересными, для улучшения наших собственных систем.
Кажется, что теперь у лабораторий больше свободы сосредоточиться на исследованиях, а не только на разработке продуктов. Для нынешнего поколения лабораторий это большая разница. Есть лаборатории, которые полностью сосредоточены на исследованиях, и есть лаборатории, которые “пока сосредоточены на исследованиях”. Как выглядит этот разговор в рамках "летающих самолетов"?
Ашер: Хотелось бы, чтобы я мог рассказать вам о сроках. Хотел бы я сказать, что через три года мы решим исследовательскую проблему. Вот как мы собираемся внедрять это в производство. Я не могу. Мы не знаем ответов. Мы ищем истину. Тем не менее, я думаю, что у нас есть опыт работы в коммерческой сфере. Я потратил много времени на разработку технологий для компаний, которые принесли этим компаниям разумную сумму денег. Бен создал несколько стартапов, которые имеют опыт работы в коммерческой сфере, и мы действительно рады коммерциализации. Мы считаем, что для всего мира полезно взять созданную вами ценность и передать ее в руки людей, которые могут ее использовать. Поэтому я не думаю, что мы против этого. Нам просто нужно начать с проведения исследований, потому что, если мы начнем с подписания крупных корпоративных контрактов, мы будем отвлекаться и не проведем ценное исследование.
Эйдан: Да, мы хотим попробовать действительно радикально отличающиеся друг от друга вещи, и иногда даже радикально отличающиеся вещи просто хуже, чем принято считать. Мы исследуем множество различных компромиссов. Мы надеемся, что в долгосрочной перспективе они будут отличаться.
Бен: Компании достигают наилучших результатов, когда они действительно сосредоточены на том, чтобы делать что-то хорошо, верно? Крупные компании могут позволить себе делать очень много разных вещей одновременно. Когда вы начинающий предприниматель, вам действительно нужно выбрать то, что является наиболее ценным, что вы можете сделать, и делать это до конца. И мы создаем наибольшую ценность, когда все мы в данный момент занимаемся решением фундаментальных проблем.
На самом деле я настроен оптимистично, полагая, что довольно скоро мы, возможно, добьемся достаточного прогресса, чтобы начать работать в реальном мире. И вы многому учитесь, получая обратную связь от реального мира. Удивительная особенность этого мира в том, что он постоянно учит вас чему-то, не так ли? Это огромная сокровищница истины, в которую вы можете заглянуть, когда захотите. Я думаю, что главное, что, на мой взгляд, стало возможным благодаря недавним изменениям в экономике и финансировании этих структур, - это возможность позволить компаниям по-настоящему сосредоточиться на том, в чем они хороши, на более длительные периоды времени. Я думаю, что эта сосредоточенность, то, что меня больше всего волнует, позволит нам выполнять действительно дифференцированную работу.
Чтобы пояснить, о чем, по-моему, вы говорите: вокруг царит такой ажиотаж, и возможности для инвесторов настолько очевидны, что они готовы выделить 180 миллионов долларов на начальное финансирование совершенно новой компании, в которой работают не только очень умные, но и очень молодые люди, которые не просто обналичили свои деньги. PayPal или что-нибудь еще. Насколько это было увлекательно для вас? Когда вы приступали к работе, вы знали, что у вас есть такой аппетит, или это было что-то вроде того, что вы обнаружили, что на самом деле мы можем добиться большего, чем мы думали.
Бен: Я бы сказал, что это было сочетание того и другого. На данный момент рынок находится на подъеме уже много месяцев. Поэтому ни для кого не секрет, что крупных раундов не было. Но вы никогда не знаете, как среда сбора средств отреагирует на ваши конкретные представления о мире. Это, опять же, место, где вы должны позволить миру дать вам обратную связь о том, что вы делаете. Даже в ходе нашего сбора средств мы многому научились и фактически изменили наши идеи. И мы уточнили наше мнение о том, чему мы должны уделять приоритетное внимание, а также о том, какие сроки являются подходящими для коммерциализации.
Я думаю, мы были несколько удивлены тем, насколько наш посыл нашел отклик, потому что для нас это было совершенно ясно, но никогда не знаешь, окажутся ли твои идеи тем, во что поверят и другие люди, или все остальные сочтут тебя сумасшедшим. Нам невероятно повезло, что мы нашли группу замечательных инвесторов, которым наше сообщение действительно понравилось, и они сказали: “Да, это именно то, что мы искали”. И это было потрясающе. Это было, знаете ли, удивительно и чудесно.
Эйдан: Да, тяга к эпохе исследований уже некоторое время как бы витает в воздухе. И все чаще и чаще мы оказываемся в положении игроков, стремящихся следовать эпохе исследований и по-настоящему опробовать эти радикальные идеи.
По крайней мере, для компаний, ориентированных на масштабирование, ввод базовых моделей сопряжен с огромными затратами. Само по себе создание модели такого масштаба требует невероятно больших вычислительных затрат. Исследования находятся на промежуточном этапе, когда, по-видимому, вы создаете базовые модели, но если вы делаете это с меньшим объемом данных и не так ориентируетесь на масштаб, возможно, вы добьетесь некоторого прогресса. Насколько, по вашему мнению, вычислительные затраты будут ограничивать вашу взлетно-посадочную полосу?
Бен: Одно из преимуществ проведения глубоких фундаментальных исследований заключается в том, что, как это ни парадоксально, гораздо дешевле воплощать действительно безумные, радикальные идеи, чем выполнять поэтапную работу. Потому что, когда вы проводите поэтапную работу, чтобы выяснить, работает она или нет, вам нужно подняться очень высоко по карьерной лестнице. Многие мероприятия, которые выглядят хорошо в небольших масштабах, на самом деле не сохраняются в больших масштабах. В результате, такая работа обходится очень дорого. В то же время, если у вас есть какая-то безумная идея о каком-то новом оптимизаторе архитектуры, она, вероятно, просто провалится при первом запуске, верно? Так что вам не нужно продвигать ее по служебной лестнице. Он уже сломан. Это здорово.
Это не значит, что масштабирование не имеет для нас значения. На самом деле масштабирование - важный инструмент в арсенале всех ваших действий. Возможность масштабировать наши идеи, безусловно, важна для нашей компании. Поэтому я бы не стал называть нас полной противоположностью масштабу, но я думаю, что это замечательный аспект той работы, которой мы занимаемся, - то, что мы можем опробовать многие из наших идей в очень малых масштабах, прежде чем нам даже придется задуматься о реализации их в больших масштабах.
Ашер: Да, вы должны уметь пользоваться всем Интернетом. Но в этом не должно быть необходимости. Мы находим очень, очень странным, что вам нужно использовать весь Интернет, чтобы по-настоящему развить интеллект на человеческом уровне.
Итак, что станет возможным, если вы сможете более эффективно работать с данными, не так ли? Предположительно, модель будет более мощной и интеллектуальной. Но есть ли у вас конкретные идеи о том, к чему это приведет? Мы рассматриваем более распространенные обобщения, или мы рассматриваем модели, которые лучше справляются с конкретной задачей при меньшем опыте?
Ашер: Итак, во-первых, мы занимаемся наукой, поэтому я не знаю ответа, но могу предложить вам три гипотезы. Итак, моя первая гипотеза заключается в том, что существует широкий диапазон между простым поиском статистических закономерностей и чем-то, что требует действительно глубокого понимания. И я думаю, что современные модели находятся где-то в этом диапазоне. Я не думаю, что они полностью подходят для глубокого понимания, но также очевидно, что они не просто выполняют статистическое сопоставление с образцом. И возможно, что по мере того, как вы обучаете модели на меньшем количестве данных, вы действительно заставляете модель невероятно глубоко понимать все, что она видит. И по мере того, как вы это делаете, модель может становиться более интеллектуальной в очень интересных отношениях. Она может знать меньше фактов, но лучше рассуждать. Итак, это одна из возможных гипотез.
Другая гипотеза аналогична той, что вы сказали, заключается в том, что на данный момент обучение моделей новым возможностям обходится очень дорого, как в операционном плане, так и в чисто денежном выражении, потому что для обучения их этим вещам требуется очень много данных. Возможно, что одним из результатов того, что мы делаем, является повышение эффективности последующего обучения, поэтому, используя всего пару примеров, вы действительно сможете перенести модель в новую область.
И, возможно, это просто откроет новые возможности для ИИ. Например, существуют определенные виды робототехники, в которых по какой-либо причине мы не можем получить те возможности, которые действительно делают их коммерчески жизнеспособными. Я считаю, что это проблема ограниченных данных, а не аппаратных средств. Тот факт, что вы можете дистанционно управлять роботами для выполнения различных задач, является доказательством того, что аппаратное обеспечение достаточно хорошее. Но существует множество областей, подобных этой, например, научные открытия.
Бен: Я также хотел бы подчеркнуть одну вещь: когда мы думаем о влиянии, которое ИИ может оказать на мир, у вас может возникнуть мнение, что это дефляционная технология. То есть роль ИИ заключается в автоматизации множества рабочих мест, в том, чтобы взять эту работу на себя и удешевить ее выполнение, чтобы вы могли убрать работу из экономики и вместо нее выполнять ее роботами. И я уверен, что это произойдет. Но, на мой взгляд, это не самое захватывающее видение ИИ. Самое захватывающее видение ИИ заключается в том, что мы можем создавать всевозможные новые научные разработки и технологии, которые люди не настолько умны, чтобы придумать, но другие системы могут.
Что касается этого аспекта, я думаю, что первая ось, о которой говорил Эшер, - это выбор между истинным обобщением и запоминанием или интерполяцией данных. Я думаю, что эта ось чрезвычайно важна для получения глубоких знаний, которые приведут к новым достижениям в медицине и науке. Важно, чтобы модели были в значительной степени креативны. И вот, одна из причин, по которой я так радуюсь нашей работе, заключается в том, что, как мне кажется, даже помимо индивидуальных экономических последствий, я также искренне ориентирован на решение вопроса о том, можем ли мы на самом деле заставить ИИ делать то, что, по сути, не под силу людям что было раньше? И это нечто большее, чем просто “Давайте уволим кучу людей с их работы”.
Абсолютно. Относит ли это вас к определенной группе, например, к разговору об УЧИ, или к разговору о распределении, обобщении?
Ашер: Я действительно не совсем понимаю, что означает AGI. Очевидно, что возможности развиваются очень быстро. Очевидно, что создается огромная экономическая ценность. Я не думаю, что мы очень близки к "Богу в футляре". Я не думаю, что в течение двух месяцев или даже двух лет наступит сингулярность, когда люди внезапно полностью устареют. Я в принципе согласен с тем, что Бен сказал в начале, а именно, что это действительно большой мир. Предстоит проделать еще много работы. Проделывается много потрясающей работы, и мы рады внести свой вклад
Что ж, идея о мозге и его нейроморфной части действительно кажется актуальной. Вы говорите, что на самом деле LLMS уместнее сравнивать с человеческим мозгом, чем с Mechanical Turk или детерминированными компьютерами, которые были раньше.
Эйдан: Я подчеркну, что мозг - это не потолок, верно? Мозг, во многих отношениях, - это пол. Честно говоря, я не вижу доказательств того, что мозг не является познаваемой системой, которая следует физическим законам. На самом деле, мы знаем, что он подвержен многим ограничениям. И поэтому мы ожидаем, что сможем создать возможности, которые в долгосрочной перспективе будут намного интереснее, разнообразнее и потенциально лучше, чем у мозга. И поэтому мы рады внести свой вклад в это будущее, будь то AGI или что-то еще.
Ашер: И я действительно считаю, что мозг - это подходящее сравнение, просто потому, что мозг помогает нам понять, насколько велико пространство. Например, легко увидеть весь прогресс, которого мы достигли, и подумать: "Ого, нам нравится, у нас есть ответ". Мы почти закончили. Но если вы немного присмотритесь и попытаетесь взглянуть на вещи с другой стороны, то обнаружите, что мы многого не знаем.
Бен: Мы не пытаемся быть лучше как таковые. Мы пытаемся отличаться, верно? Это ключевая вещь, на которую я действительно хочу обратить внимание. Все эти системы почти наверняка будут иметь разные преимущества. Где-то вы получите преимущество, а где-то это обойдется вам дорого. И мир вокруг огромен. Существует так много различных областей, которые имеют так много различных компромиссов, что наличие большей системы и более фундаментальных технологий, которые могут работать в этих различных областях, скорее всего, позволит ИИ более эффективно и быстрее распространяться по миру.
Одним из отличительных признаков вашего подхода к найму является то, что вы привлекаете очень-очень молодых людей, в некоторых случаях еще учащихся колледжа или средней школы. Что привлекает вас, когда вы разговариваете с кем-то, и заставляет задуматься: "Я хочу, чтобы этот человек работал с нами над этими исследовательскими проблемами"?
Эйдан: Это когда ты разговариваешь с кем-то, и он просто поражает тебя, у него столько новых идей, и он думает о вещах так, как многие известные исследователи просто не могут, потому что они не были загрязнены контекстом тысяч и тысяч статей. На самом деле, главное, что мы ищем, - это креативность. Наша команда работает исключительно творчески, и я чувствую, что мне очень повезло, что каждый день я могу обсуждать с людьми действительно радикальные решения некоторых серьезных проблем в области искусственного интеллекта и мечтать о совершенно ином будущем.
Бен: Наверное, главный сигнал, который я лично ищу, это то, учат ли они меня чему-то новому, когда я провожу с ними время? Если они учат меня чему-то новому, то вероятность того, что они научат нас чему-то новому в том, над чем мы работаем, также довольно высока. Когда вы занимаетесь исследованиями, креативные, новые идеи действительно имеют первостепенное значение.
Во время учебы в аспирантуре и получения докторской степени я помогал создавать инкубатор под названием Prod, который работал с несколькими компаниями, которые оказались успешными. И я думаю, что одним из выводов, который мы из этого сделали, было то, что молодые люди, безусловно, могут конкурировать в самых высоких эшелонах индустрии. Честно говоря, большая часть успеха заключается в том, чтобы просто осознать: "Да, я могу этим заниматься". Вы, безусловно, можете внести свой вклад на самом высоком уровне.
Конечно, мы признаем ценность опыта. Люди, которые работали над крупномасштабными системами, великолепны, мы наняли некоторых из них, и мы рады работать с самыми разными людьми. И я думаю, что наша миссия нашла отклик и у опытных сотрудников. Я просто думаю, что главное для нас - это то, что нам нужны люди, которые не боятся менять парадигму и могут попытаться представить новую систему того, как все могло бы работать.
Один из вопросов, который меня озадачил, заключается в том, насколько, по вашему мнению, будут отличаться системы искусственного интеллекта, которые появятся в результате. Мне легко представить что-то вроде Claude Opus, которое работает на 20% лучше и может выполнять на 20% больше задач. Но если это что-то совершенно новое, трудно представить, к чему это приведет и как будет выглядеть конечный результат.
Ашер: Я не знаю, доводилось ли вам когда-либо иметь дело с базовой моделью GPT-4, но у нее появилось множество действительно странных возможностей. Например, вы могли бы взять фрагмент вашего ненаписанного поста в блоге и спросить, кто, по вашему мнению, написал это, и это позволило бы идентифицировать его.
Существует множество возможностей, подобных этой, в которых модели настолько умны, что мы не можем себе представить. А будущие модели станут еще более интеллектуальными в самых неожиданных аспектах. Я думаю, нам следует ожидать, что будущее будет действительно странным, а архитектуры - еще более странными. Мы стремимся к 1000-кратному повышению эффективности обработки данных. Мы не пытаемся вносить постепенные изменения. И поэтому нам следует ожидать таких же непознаваемых, чуждых изменений и возможностей на пределе возможностей.
Бен: Я в целом согласен с этим. Я, вероятно, немного более уверен в том, как эти вещи в конечном итоге будут восприниматься миром, точно так же, как базовая модель GPT-4 была представлена OpenAI. Вы хотите придать вещам такие формы, при которых вы, как потребитель, не будете заглядывать в бездну. Я думаю, это важно. Но я в целом согласен с тем, что наша исследовательская программа направлена на создание возможностей, которые на самом деле в корне отличаются от того, что можно сделать прямо сейчас.
Фантастика! Есть ли способы, которыми люди могут взаимодействовать с летающими самолетами? Не слишком ли рано для этого? Или же им следует просто следить за новостями, ожидая, когда результаты исследований и модели окажутся успешными.
Ашер: Итак, у нас есть Hi@flappingairplanes.com. Если вы просто хотите поздороваться, у нас тоже есть disagree@flappingairplanes.com если вы не согласны с нами. На самом деле, у нас было несколько действительно интересных бесед, в ходе которых люди присылали нам очень длинные эссе о том, почему, по их мнению, невозможно делать то, что делаем мы. И мы рады этому.
Бен: Но они нас еще не убедили. Никто нас еще не убедил.
Ашер: Во-вторых, вы знаете, мы ищем выдающихся людей, которые пытаются изменить сферу деятельности и мир. Так что, если вам интересно, вам следует обратиться к нам.
Бен: И если у вас есть другое неортодоксальное образование, ничего страшного. Вам не нужны две степени доктора философии. Мы действительно ищем людей, которые мыслят по-другому.
