Создатели проекта с открытым исходным кодом vLLM объявили, что они преобразовали популярный инструмент в стартап Inferact, финансируемый венчурным капиталом, привлекая начальное финансирование в размере 150 миллионов долларов при оценке в 800 миллионов долларов.
Раунд проводился совместно Андреессеном Горовицем и Lightspeed Venture Partners, что подтверждает ранее опубликованный AGI_LOG отчет о том, что vLLM привлекла капитал от a16z.
Дебют Inferact отражает недавнюю коммерциализацию проекта SGLang под названием RadixArk, который, как сообщили нам источники, привлек капитал в размере 400 миллионов долларов под руководством Accel, как мы сообщали в среду.
Поскольку акцент в ИИ смещается с обучающих моделей на их внедрение в приложения, процесс, известный как логический вывод, такие технологии, как vLLM и SGLang, которые ускоряют работу этих инструментов ИИ и делают их более доступными, привлекают внимание инвесторов.
И vLLM, и SGLang были разработаны в 2023 году в лаборатории Калифорнийского университета в Беркли соучредителем Databricks Ионом Стойкой.
Генеральный директор Inferact Саймон Мо, один из первоначальных создателей проекта, рассказал Bloomberg, что среди существующих пользователей vLLM - облачный сервис Amazon и приложение для покупок.