Meta** и Qualcomm объединяются для запуска больших моделей ИИ на телефонах

Qualcomm

и Мета

позволит новой крупноязыковой модели социальной сети Llama 2 работать на чипах Qualcomm на телефонах и ПК, начиная с 2024 года, объявили сегодня компании.

До сих пор LLM в основном работали на больших фермах серверов на графических процессорах Nvidia из-за огромных потребностей технологии в вычислительной мощности и данных, что привело к росту акций Nvidia, которые в этом году выросли более чем на 220%. Но бум ИИ в значительной степени не затронул компании, которые производят передовые процессоры для телефонов и ПК, такие как Qualcomm. Его акции выросли примерно на 10% в 2023 году, уступив приросту NASDAQ на 36%.

Объявление во вторник предполагает, что Qualcomm хочет позиционировать свои процессоры как хорошо подходящие для ИИ, но «на периферии» или на устройстве, а не «в облаке». Если большие языковые модели смогут работать на телефонах, а не в крупных центрах обработки данных, это может значительно снизить затраты на запуск моделей ИИ и привести к созданию более качественных и быстрых голосовых помощников и других приложений.

Qualcomm сделает модели Meta** Llama 2 с открытым исходным кодом доступными на устройствах Qualcomm, которые, по ее мнению, позволят использовать такие приложения, как интеллектуальные виртуальные помощники. Llama 2 от Meta** может делать многое из того же, что и ChatGPT, но его можно упаковать в меньшую программу, что позволяет запускать его на телефоне.

Чипы Qualcomm включают в себя «тензорный процессор», или TPU, который хорошо подходит для вычислений, необходимых для моделей ИИ. Однако количество вычислительной мощности, доступной на мобильном устройстве, меркнет по сравнению с центром обработки данных, оснащенным передовыми графическими процессорами.

Llama от Meta** примечательна тем, что Meta** опубликовала свои «веса» — набор чисел, которые помогают управлять тем, как работает конкретная модель ИИ. Это позволит исследователям и, в конечном итоге, коммерческим предприятиям использовать модели ИИ на своих компьютерах, не спрашивая разрешения и не платя. Другие известные LLM, такие как GPT-4 от OpenAI или Bard от Google, имеют закрытый исходный код, и их вес держится в строжайшем секрете.

В прошлом Qualcomm тесно сотрудничала с Meta**, особенно над чипами для своих устройств виртуальной реальности Quest. Он также продемонстрировал некоторые модели ИИ, медленно работающие на своих чипах, такие как генератор изображений с открытым исходным кодом Stable Diffusion.