В событии, вызвавшем волны в мирах информатики и искусственного интеллекта, исследователи достигли революционного нового способа умножения матриц гораздо более эффективно, чем прежде. Результаты, опубликованные в двух научных статьях, представляют собой крупнейший прогресс в алгоритмах матричного умножения более чем за десятилетие и могут разблокировать новые уровни производительности для систем ИИ.
В основе современного ИИ лежит матричное умножение - процесс умножения больших прямоугольных массивов чисел. Эта фундаментальная операция лежит в основе вычислительных нагрузок моделей машинного обучения, таких как крупные языковые модели, системы распознавания изображений и генеративный ИИ. Повышение ее эффективности является сложной задачей, которая может подтолкнуть возможности ИИ вперед.
"Матричное умножение образует математический фундамент практически каждой модели ИИ, используемой сегодня, - сказала д-р Элизабет Клейн, профессор информатики в Массачусетском технологическом институте. - Его ускорение подобно усилению двигателя, питающего сам искусственный интеллект".
Новые алгоритмы, разработанные командами в Университете Цинхуа, Калифорнийском университете в Беркли и МТИ, достигают так называемой более низкой вычислительной сложности для матричного умножения для всех размеров матриц. Предыдущие прорывы были сосредоточены на оптимизации для определенных размеров матриц, но эта работа решает более общую проблему.
В своей основе это достижение опирается на распознавание и устранение малоизвестной неэффективности, которая сохранялась десятилетиями в процедурах матричного умножения. Реструктурируя порядок операций, исследователи разблокировали экспоненциальное ускорение.
"Это похоже на то, как инженеры-транспортники поняли, что каждый съезд с шоссе имеет ненужный разворот, который приходилось проезжать автомобилям, - пояснила Клейн. - Избавление от этой накапливающейся неэффективности внезапно позволяет трафику течь гораздо быстрее по всей дорожной сети".
Для компаний, таких как OpenAI, Google и Anthropic, работающих с очень крупными моделями ИИ, последствия могут быть далеко идущими. Более эффективная матричная математика может позволить обучать большие модели за меньшее время и с меньшими вычислительными затратами. Она также может обеспечить более высокую производительность существующих моделей, работающих на таком оборудовании, как GPU и акселераторы ИИ.Далеко идущие последствия
Хотя фундаментальный характер этого открытия в матричном умножении делает его влияние широко распространенным, самые громкие волны, вероятно, будут ощущаться в индустрии искусственного интеллекта. Современные крупномасштабные языковые модели, такие как GPT-3 от OpenAI и LamDA от Google, уже требуют колоссальных вычислительных ресурсов для обучения и запуска. Более эффективные алгоритмы матричного умножения могут ускорить этот процесс и снизить затраты.
"Матричные операции настолько неотъемлемы для современных моделей ИИ, что любое повышение их эффективности будет иметь каскадный эффект для всей экосистемы ИИ", - говорит Джейсон Бейтман, аналитик из фирмы Gartner, специализирующейся на технологиях ИИ. "Это откроет путь к более крупным и мощным моделям, которые сегодня просто недоступны из-за вычислительных ограничений".
За пределами самих моделей ИИ, более эффективные матричные операции могут повысить производительность систем, использующих выводы моделей ИИ. Области, такие как компьютерное зрение, обработка естественного языка и рекомендательные системы, могут получить преимущества от более быстрых вычислений и обработки данных.
Бейтман также отметил потенциальные выгоды для разработки и внедрения специализированных аппаратных платформ ИИ, оптимизированных для эффективного выполнения матричных операций. "Это может привести к более энергоэффективным чипам ИИ, способным запускать большие рабочие нагрузки при меньшем энергопотреблении", - сказал он.
Споры и проблемы
Несмотря на блестящие перспективы, открытие также породило некоторые споры в научных кругах. Исследователи из команды Тsinghua University и MIT вели ожесточенную гонку, чтобы опубликовать первыми результаты о более эффективных алгоритмах матричного умножения.
"Было заметное соперничество между двумя группами, и возникли некоторые вопросы об академической этике и приоритете", - сказал бывший коллега одной из исследовательских групп, пожелавший остаться неназванным.
Кроме того, полное внедрение достижений потребует обширных усилий по обновлению и оптимизации существующих библиотек линейной алгебры, широко используемых в индустрии программного обеспечения и ИИ.
"Несмотря на теоретическую новизну, практическое внедрение займет время и усилия", - отметила д-р Кристина Ли, эксперт по оптимизации программного обеспечения. "Библиотеки с оптимизированными алгоритмами матричных операций должны быть переписаны, проверены и приняты отраслевыми стандартами. Это долгий путь".
Тем не менее, потенциальные выгоды от этого фундаментального открытия слишком велики, чтобы их игнорировать. Возможность разблокировать новые горизонты производительности как для ИИ, так и для более широких вычислительных задач, неизбежно приведет к интенсивным усилиям по реализации на практике этих новых методов матричных вычислений. Прорыв в матричном умножении может в конечном итоге открыть новую эпоху продвижения вперед в областях ИИ и вычислительной техники. В ретроспективе
Когда отрасль оглянется через десятилетие, этот прорыв в алгоритмах матричного умножения, вероятно, будет рассматриваться как определяющий момент для расширения границ возможного с искусственным интеллектом. Подобно тому, как совершенствование алгоритмов вычисления в былые времена высвободило вычислительную мощность для ранних цифровых компьютеров, этот теоретический прорыв в матричной математике снимает долгосрочные оковы с текущих и будущих систем ИИ.
"Мы стремимся сделать искусственный интеллект более мощным, доступным и масштабируемым," говорит Грег Брокман, генеральный директор Anthropic, компании по разработке ИИ следующего поколения. "Этот прорыв не только убирает барьер для более масштабных моделей, но и открывает дверь к совершенно новым архитектурам и подходам, которые до сих пор считались нецелесообразными из-за вычислительных ограничений."
В то время как первичные усилия по коммерциализации нового подхода к матричным вычислениям будут сосредоточены на моделях обработки естественного языка и цифровых ассистентах уровня ChatGPT, долгосрочное влияние распространится гораздо шире. Компьютерное зрение, имитация физики, проектирование лекарств и материаловедение - все эти области испытывают растущую нужду в масштабируемых вычислительных мощностях для ИИ. Повышение эффективности матричных операций поможет отпереть массивные новые возможности.
"Это подобно тому, как изобретение калькулятора в 17 веке преобразовало науку и математику того времени", - комментирует Брокман. "Внезапная доступность более мощных вычислительных инструментов высвобождает креативность и амбиции на совершенно новом уровне."
В конечном счете, полный масштаб влияния этого нового подхода к матричному умножению еще предстоит оценить. Но одно можно сказать наверняка - пока математики и компьютерные ученые продвигаются вперед по новому пути, открытому этими новаторскими алгоритмами, способности искусственного интеллекта продолжат расти экспоненциально, меняя бесчисленные индустрии на своем пути. Прорыв в сердце теории матриц может оказаться толчком к целой новой эре вычислительного интеллекта.
