В Алисе второй GPT!

Гонка нейросетей набирает обороты. Несколько месяцев назад несколько крупнейших IT-компаний России представили свои собственные нейросети. Неделю назад компания Яндекс выпустила обновление для голосового помощника Алисы, в рамках которого была внедрена новая версия Yandex GPT. Пользователи активно отмечают, что ответы на их запросы стали качественнее по сравнению с предыдущей версией. Разработчики приложили огромные усилия для улучшения каждого этапа обучения языковой модели, особое внимание уделяя претрейну.

Однако для сравнения эффективности работы двух языковых моделей пользовательские отзывы недостаточны. Чтобы получить объективную оценку, сотрудники Яндекса разработали огромный список запросов и задач для нейросети. Задания были разделены на группы, включая мозговой штурм, анализ и пересказ текста, генерацию текста и другие. Каждому заданию было предложено две версии искусственного интеллекта, а результаты были оценены независимыми специалистами. Итоги тестирования оказались обнадеживающими: модель Yandex GPT 2 показала лучшие результаты в более чем 60% заданий по сравнению с предыдущей версией. Компания опубликовала результаты проведенного тестирования:

-Ответы на пользовательские запросы: Yandex GPT-2 победила в 62% заданий;

-Мозговой штурм (генерация идей): 66%;

-Анализ и пересказ текста: 68%;

-Стилизация текста по заданным параметрам: 62%;

-Генерация текста: 69%.

Во второй версии модели был изменен процесс обучения, который включает два этапа: претрейн и файнтюн. На претрейне искусственный интеллект собирает фактическую информацию по запросу, а на файнтюне выбирает формат и стиль ответа для пользователя. Разработчики отмечают, что на первом этапе модель Yandex GPT собирает большое количество полезных знаний, которые собираются в общий массив, называемый "датасет". Именно поэтому обучение языковой модели с нуля происходит нечасто, так как это требует больших ресурсов и затрат. Компания предпочитает накопить значительный объем критически важных обновлений датасета и только потом начать процесс обучения заново. Интересно, что оба этапа обучения независимы друг от друга, поэтому ошибки, допущенные на одном из них, нельзя исправить на другом.

Заметно, как российские компании стремятся повторить успех ChatGPT от OpenAI, но пока что только Яндекс продемонстрировал стремительные темпы роста своего продукта. А что скажете вы? Довольны ли вы обновленной моделью и используете ли вы помощь Алисы во время работы или учебы?