Илон Маск запускает Colossus, крупнейший в мире суперкомпьютер с графическим процессором Nvidia

Его последний стартап в области искусственного интеллекта xAI, основанный в июле прошлого года, только что запустил в эксплуатацию новый суперкомпьютер под названием Colossus.

Эта система предназначена для обучения своей большой языковой модели (LLM), известной как Grok, конкурента более популярной GPT-4 от OpenAI.

По оценкам Маска, этот амбициозный стратегический проект может принести Tesla до $1 трлн годовой прибыли в долгосрочной перспективе. И все это благодаря новому дата-центру xAI в Мемфисе, штат Теннесси, в котором сейчас размещено 100 000 процессоров Nvidia Hopper H100 — больше, чем в любом другом вычислительном кластере AI в мире.

Магнат заявил, что через несколько месяцев Colossus «удвоит» свой размер до 200 000 чипов искусственного интеллекта, которые будут включать 50 000 графических процессоров H200, более свежую версию, которая, по данным Nvidia, будет иметь почти вдвое больший объем памяти, чем ее предшественник и на 40 % больше пропускной способности.

Запуску "чудовищного" суперкомпьютера предшествовали разногласия. На прошлой неделе местные жители Мемфиса, живущие рядом с дата-центром, пожаловались на «невыносимый уровень загрязнения», вызванный объектом, что может предвещать будущие споры с компанией Маска. И это будет только начало проблем Колосса. Ее титул самой мощной системы обучения ИИ наверняка рано или поздно окажется под угрозой.

Другие лидеры в области ИИ, такие как OpenAI, Microsoft, Google и Meta**, вряд ли будут сидеть сложа руки, поскольку у некоторых из них уже есть сотни тысяч графических процессоров.

Microsoft, например, намерена к концу года собрать 1,8 миллиона чипов искусственного интеллекта . Со своей стороны, враг Маска, Марк Цукерберг, сообщил, что Meta** планирует приобрести еще 350 000 Nvidia H100 к той же дате.

Однако на данный момент Colossus остается уникальным примером чистой вычислительной мощности, первые плоды которой мы увидим в декабре, когда Grok-3 будет обучен и доступен.

источник