|
Шон Шен считает, что ИИ должен будет запоминать то, что он видит, чтобы добиться успеха в физическом мире. Компания Shen Memories.ai использует инструменты искусственного интеллекта Nvidia для создания инфраструктуры для носимых устройств и робототехники, позволяющей запоминать визуальные образы.
Memories.ai Компания Nvidia объявила о сотрудничестве с полупроводниковым гигантом Nvidia на своей конференции GTC в понедельник. В рамках этого партнерства компания Memories.ai использует Cosmos Reason 2 от Nvidia, модель языка визуальных рассуждений, и Nvidia Metropolis, приложение для поиска и обобщения видео, для дальнейшего развития своей технологии визуальной памяти.
Шен (на фото вверху слева) рассказал AGI_LOG, что у него и его соучредителя и технического директора Бена Чжоу (на фото вверху справа) возникла идея для компании, когда они создавали систему искусственного интеллекта для очков RayBan от Meta. Создание очков с искусственным интеллектом заставило их задуматься о том, как люди могли бы использовать эту технологию в реальной жизни, если бы пользователи не могли вспомнить видеоданные, которые они записывали.
Они огляделись, чтобы узнать, могут ли они найти кого-нибудь, кто уже разрабатывает подобное решение для визуальной памяти для ИИ. Когда у них это не получилось, они решили отказаться от Meta и создать его самостоятельно.
“ИИ уже хорошо зарекомендовал себя в цифровом мире, что же говорить о физическом мире?” - сказал Шен. “Носимым устройствам ИИ, робототехнике также нужны воспоминания. … В конечном счете, ИИ нужен для того, чтобы обладать зрительной памятью. Мы верим в это будущее”.
Способность систем ИИ к запоминанию, в целом, является относительно новой. OpenAI обновил ChatGPT, чтобы начать запоминать прошлые чаты в 2024 году и доработал эту функцию в 2025 году . xAI Илона Маска и Google Gemini также запустили свои собственные инструменты для работы с памятью за последние два года.
Но, по словам Шена, эти достижения в основном были сосредоточены на текстовой памяти. Текстовая память гораздо более структурирована и ее легче индексировать, но она не так полезна для физических приложений искусственного интеллекта, которые в основном взаимодействуют с миром посредством зрения и визуальных эффектов.
Memories.ai был запущен в 2024 году и к настоящему времени собрал 16 миллионов долларов благодаря стартовому раунду стоимостью 8 миллионов долларов в июле 2025 года и продлению на 8 миллионов долларов. Раунд проводился компанией Susa Ventures и включал, в частности, Seedcamp, Fusion Fund и Crane Venture Partners.
Шен сказал, что для успешного создания этого уровня визуальной памяти необходимы две вещи: создание инфраструктуры, необходимой для встраивания и индексации видео в формат данных, который можно сохранять и вызывать, и сбор данных, необходимых для обучения модели делать именно это.
Компания запустила свою модель большой визуальной памяти (LVMM) в июле 2025 года . Шен сказал, что это можно сравнить с уменьшенной версией Gemini Embedding 2, мультимодальной моделью индексации и извлечения данных, которая была выпущена ранее в этом месяце.
Для сбора данных компания создала LUCI - аппаратное устройство, которое используют “сборщики данных” компании и которое записывает видео, используемое для обучения модели. Шен сказал, что они не планируют становиться компанией, производящей оборудование, и продавать эти устройства, но, скорее, они создали свои собственные, потому что их не устраивали готовые видеомагнитофоны, которые были ориентированы на видеоформаты высокой четкости и потребляющие много энергии.
Компания выпустила второе поколение этого LVMM и подписала партнерское соглашение с Qualcomm, которое будет работать на процессорах Qualcomm, начиная с конца этого года.
Memories.ai По словам Шена, он также уже работает с некоторыми крупными компаниями, производящими носимые устройства, но отказался сообщить, с какими именно. Несмотря на некоторый спрос в настоящее время, Shen видит еще большие возможности в области носимых устройств и робототехники в будущем.
“Что касается коммерциализации, то мы больше сосредоточены на модели и инфраструктуре, потому что в конечном счете, мы думаем, рынок носимых устройств и робототехники придет, но, вероятно, это произойдет не сейчас”, - сказал Шен.
