Здравствуйте, дорогие друзья, мои любимые подписчики!
С момента своего создания в 2015 году исследовательская лаборатория OpenAI - инициатива Илона Маска, направленная на создание удобного для человека искусственного интеллекта - разработала серию мощных `` языковых моделей '', последней из которых является GPT-3 (Генеративная предварительная версия третьего поколения).-обученный трансформатор).
Языковая модель - это компьютерная программа, имитирующая человеческий язык. Как и другие симуляции, он колеблется между редуктивным (реальность более беспорядочная и непредсказуемая) и призрачным (моделировать - значит создавать параллельный мир, который иногда может делать точные прогнозы относительно реального мира). Такие языковые модели лежат в основе прогнозных предложений для электронных писем и текстовых сообщений.
Умный ввод Gmail может завершить фразу "Надеюсь, это…" с помощью "… электронной почты".находит вас здоровым ». Количество примеров автоматизированной журналистики (например, спортивных новостей и финансовых отчетов) растет, в то время как объяснения преимуществ страховых компаний и маркетинговых материалов также основываются на технологии машинного письма. Мы можем представить себе ближайшее будущее, в котором машины будут играть еще большую роль в весьма традиционных видах письма, но также и более творческую роль в творческих жанрах (романы, стихи, пьесы), даже в самом компьютерном коде.
Сегодняшним языковым моделям предоставляется огромное количество существующей письменной информации, на которой можно усвоить и извлечь уроки. GPT-3 обучено примерно 500 миллиардам слов. Эти модели используют ИИ, чтобы узнать, какие слова имеют тенденцию следовать за заданным набором слов, и попутно собирать информацию о значении и синтаксисе. Они оценивают вероятность (вероятность появления слова после предыдущего прохождения слов) для каждого слова в своем словаре, поэтому их иногда также называют вероятностными языковыми моделями. Учитывая подсказку «Суп был…», языковая модель знает, что «… вкусно», «… принесено » или «… лучшее в меню» с большей вероятностью последуют, чем «… угрюмый» или «… блузка». '.
За недавними предположениями, такими как статья Стивена Марке в The New Yorker , о том, что студенческие эссе никогда не будут прежними после GPT-3 или что программа раз и навсегда вылечит писательский кризис, является более скромным фактом. Главное техническое нововведение GPT-3 не в том, что он отличный писатель, а в том, что модель адаптируется для решения ряда конкретных задач. OpenAI опубликовал результаты производительности GPT-3 в серии тестов, чтобы увидеть, как он работает по сравнению с другими языковыми моделями, настроенными для таких задач, как исправление грамматики, ответы на викторины или перевод.
Как универсальная модель, GPT-3 работает так же хорошо, как и другие модели, или даже лучше, особенно если это подсказано несколькими поучительными примерами. Если «морская выдра» - это « loutre de mer », а «перечная мята» - « menthe poivrée », то «сыр» по-французски означает…? Универсальность помогает GPT-3 создавать правдоподобные тексты. Он принимает даже вымышленные слова, которых раньше не видел. Когда ему говорят, что «кричать» что-то значит «размахивать мечом», и просят использовать это слово в предложении, компьютер дает респектабельный ответ: «Мы орали друг на друга несколько минут, а затем вышли на улицу и поели. Мороженое.'
Реакция на этот GPT-3 циркулировала как в технических кругах, так и в основных средствах массовой информации. Есть опасения по поводу наборов данных, на которых была обучена модель. Большая часть полтриллиона слов, обеспечивающих владение GPT-3, - это интернет-письмо, которое «сканировалось» и архивировалось ботами, при этом относительно небольшая часть приходилась на книги. В результате машины могут выводить ненавистный язык, копируя тот вид письма, на котором они выучились. Другая линия критики указывает на то, что такие модели не обладают фактическим знанием мира, поэтому языковая модель, обладая большим объемом информации о вероятностях последовательности слов, может писать нелогичные предложения.
Это может означать, что если вы мужчина, которому нужно явиться в суд, но ваш костюм грязный, вам следует вместо этого надеть купальный костюм. Или, хотя он знает, что сыр по-французски старый, он не знает, что сыры обычно не тают в холодильнике. Такого рода знания, на которых проверяются языковые модели, называют «физикой здравого смысла». Это звучит оксюморонично, но уместно, если учесть, что внутренняя работа этих моделей, основанных на глубоком обучении, хотя и базовая, также кажется совершенно загадочной.
Затем есть тест Тьюринга. В какой степени машинное письмо теперь может звучать как человеческое письмо в целом или имитировать конкретного автора или вид письма, как если бы он был зачислен для участия в партийной игре Ex Libris? Оказывается, неплохо. Люди-оценщики не могут догадаться, являются ли некоторые из сфабрикованных компьютером новостных статей работой человека или машины в более чем 50 % случаев, то есть не намного лучше, чем случайность. И что звучит более человечно, чем размахивать мечом в кого-то - `` крикнуть '' на них по-настоящему хорошо - прежде чем подумать об этом и помириться с мороженым, с надвигающейся вероятностью, что мечи снова будут подняты липкими руками, и перемирие приостановлено?
Благодарю за просмотр! Буду рад лайкам и дизлайкам.
С уважением,Алексей Васильевич
8.9М
