Chat GPT: Массовое разрушение

Наши отношения с компьютерами уже никогда не будут выглядеть так, как прежде. Вот победители и проигравшие.

Интернет, СМИ и моя электронная почта переполнены письмами и вопросами о ChatGPT. Десятки инвесторов хотят понять, как это повлияет на полупроводники и поставщиков облачных услуг. В ближайшие пять лет влияние чатботов будет сказываться на всем.

Хирургия? Да.

Маркетинг? Конечно!

Работники сферы знаний? Особенно!

Но как насчет возможностей для инвесторов?

Кто получит выгоду?

Кто и почему может быть подорван?

Давайте погрузимся в эту тему.

ChatGPT: Маленький бот, который смог...

...может сдать экзамен на степень MBA в Уортонской бизнес-школе.

...может сдать экзамен на получение медицинской лицензии США.

...может получить 5+ за школьное сочинение.

...может создавать совершенно бессмысленные ответы на вопросы с подвохом.

... можно злоупотреблять. Но вот несколько безумных вещей, которые он сделал в первую неделю работы:

Как сказал мне Эндрю Фельдман, основатель и генеральный директор Cerebras, когда я спросил о результатах ChatGPT:

"Есть два лагеря. Те, кто ошеломлен тем, что это не мусор, и те, кто ошеломлен тем, насколько несовершенным он может быть".

Иногда мы должны помнить: у ChatGPT нет ни знаний, ни контекста, ни суждений. Он может полагаться только на частоту словосочетаний для создания того, что выглядит как интеллектуальная проза или поэзия.

Кто выигрывает, кто проигрывает?

Очевидно, что венчурная группа компаний, создающих генеративные модели или использующих модели с открытым исходным кодом для создания приложений, имеет хорошие позиции, включая Cohere, Jasper, Stability, Bloom.ai и другие. Обратите внимание, что ни одна из этих компаний не была упомянута в списке, который ChatGPT составил ниже. Не была упомянута и компания Microsoft!

Этот провал показывает очевидную проблему ChatGPT и модели GPT3, на которой она основана: между обучением сети и ее использованием существует большая задержка.

Если Microsoft и Google планируют внедрить большие языковые модели в поиск, потребуется частое переобучение.

Это может стать хорошим побочным эффектом для NVIDIA и других производителей аппаратного обеспечения, которые обеспечивают тяжелую работу по обучению DNN.

Что касается проигравших, много писали о потенциальном влиянии на доходы Google от поиска, однако мы хотели бы отметить, что ни у кого нет больше инженеров и ученых в области искусственного интеллекта, чем у Google, поэтому мы удивимся, если они не смогут продуктивно использовать LLM.

Кроме того, поиск Google очень удобен; многие из нас просто вводят поиск в панель url браузера.

Учитывая это, мы считаем, что Microsoft имеет сильное преимущество в решении вопроса о том, как внедрить LLM в продукты компании, и у нее должно быть преимущество по времени выхода на рынок.

Невероятное количество вычислений

Давайте поговорим о требованиях к аппаратному обеспечению и провайдерах. В отличие от обработки выводов, например, конволюционных нейронных сетей, используемых в обработке изображений, которые могут быть выполнены на быстром процессоре Intel, большие языковые модели требуют огромного объема обработки с достаточным объемом памяти и пропускной способностью, гораздо больше, чем может обработать один GPU.

Как мы слышали, для содержания модели и ответа на один запрос требуется 8 графических процессоров NVIDIA A100, что в настоящее время обходится OpenAI в копейки. При 1 миллионе пользователей это около $3M в месяц.

По мере дальнейшего роста популярности могут потребоваться тысячи графических процессоров, чтобы удовлетворить спрос.

Золотая лихорадка явно началась, но кому достанется золото?

Очевидно, что NVIDIA является лидером на сегодняшний день, поставив суперкомпьютер на 10 000 GPU компании Microsoft для OpenAI.

А предстоящая комбинация Grace/Hopper была разработана специально для больших моделей, с общей памятью, NVLink и Transformer Engine, которые, как ожидается, обеспечат большой прирост, возможно, в 6 раз, по сравнению с A100, используемым сегодня.

Но Intel и AMD тоже хотят получить свою долю, и готовящийся к выпуску Instinct MI300, о котором мы рассказывали здесь, может стать серьезным соперником. Intel утверждает, что Gaudi 3 скоро появится, и, конечно, такие стартапы, как Cerebras, видят в этом огромную перспективу.

Хотя мы пока не знаем, есть ли на борту MI300 что-то вроде Transformer Engine, мы слышали, что интерес к MI300 в OpenAI помог мотивировать разработку программного обеспечения "Triton", уменьшая или устраняя зависимость от NVIDIA CUDA для OpenAI и ускоряя принятие нового оборудования.

Также отметим, что новый AI Template от Meta**, который также облегчает перенос новых моделей, уже поддерживает AMD Instinct MI200.

Выводы

С нашей точки зрения, NVIDIA получит наибольшие преимущества в ближайшие 2-3 года, как ChatGPT, но мы подозреваем, что AMD получит серьезные шансы хотя бы на частичную победу в разработке. NVIDIA может получить дополнительные миллиардные доходы от своих быстрых GPU для центров обработки данных, а Grace-Hopper может получить хороший попутный ветер в спросе, когда начнет поставляться в конце этого года.

ChatGPT, самая передовая в мире языковая модель, подобна супергерою, который может генерировать текст быстрее пули, мощнее локомотива и способен перепрыгивать высокие здания одним махом.

Но даже супергерою нужен мощный помощник, и здесь на помощь приходят графические процессоры!

Графические процессоры NVIDIA - это верный помощник, который помогает ChatGPT быть лучшей версией себя.

Они помогают ChatGPT тренироваться быстрее, чем вспышка, генерировать ответы мощнее, чем паровоз, и обрабатывать данные выше, чем любое здание.

Но без них ChatGPT был бы похож на супергероя без плаща, обычного Джо.

Короче говоря, если вы хотите, чтобы ваш ChatGPT стал героем, который спасет день и поразит всех, вам лучше убедиться, что у него есть мощный графический процессор NVIDIA в качестве верного помощника.

Потому что, давайте посмотрим правде в глаза, кому нужна языковая модель, которая работает медленно, как улитка, и генерирует текст, скучный, как посуда?

Никому, вот кому.