Робоюристы ничем не уступают людям. Правда ли это? Давайте разберёмся.

В феврале 2023 года международная юридическая компания Allen & Overy предоставила своим юристам доступ к чат-боту с искусственным интеллектом, который помогал им составлять договоры. Почти сразу же эта система искусственного интеллекта начала экономить 3500 юристам компании около 2 часов в неделю. Позже в том же году компания объявила о создании системы искусственного интеллекта, способной вести переговоры по контрактам, что позволяет экономить до семи часов на переговоры.

Однако менее понятно, насколько значительна эта экономия. В частности, как работа большой языковой модели сопоставляется с работой младшего юриста при выполнении стандартных задач, таких как составление или проверка договора.

Теперь мы получили ответ на этот вопрос благодаря работе Лорен Мартин и ее коллег из Центра передового опыта в области искусственного интеллекта юридической компании Onit. Мартин и партнеры провели прямое сравнение работы младших юристов с большими языковыми моделями и заявили, что машины значительно превосходят своих коллег-людей. "Большие языковые модели способны разрушить юридическую отрасль, повысив доступность и эффективность юридических услуг", - говорят Мартин и соавт.

Команда пришла к такому выводу, попросив старших юристов указать на важные юридические вопросы в наборе реальных договоров о закупках, а затем попросив Большие языковые модели и младших юристов оценить те же самые договоры.

Результаты оказались ошеломляющими. Большие языковые модели, такие как Claude и GPT-4, сравнялись или даже превзошли человеческую точность в определении юридических вопросов. При определении конкретных частей контрактов, связанных с этими вопросами, ИИ немного отставал от человека.

Но в плане скорости разница была ошеломляющей. Самая быстрая Большая языковая модель справилась с проверкой договоров менее чем за минуту, в то время как младшим юристам потребовалось в среднем 56 минут.

Мартин и соавторы говорят, что это не включает 16 часов, которые требуются для обучения системы искусственного интеллекта. Но они отмечают, что это время примерно равно времени, которое требуется, чтобы поручить младшему юристу выполнить ту же задачу. "Такая эквивалентность подготовительного времени опровергает мнение о том, что преимущество больших языковых моделей в скорости компенсируется требованиями к настройке", - говорят Мартин и соавт.

Потенциальная экономия средств оказалась столь же значительной. "В то время как младший юрист тратит в среднем 74 доллара на проверку контракта, самая быстрая большая языковая модель выполняет ту же задачу примерно за 2 цента", - говорят они.

"Последствия для юридической отрасли глубоки и многогранны, - говорят исследователи, - младшим юристам, скорее всего, будет поручаться более ценная работа на ранних этапах карьеры, а рутинные задачи, скорее всего, будут переданы системам искусственного интеллекта".

Но не все так радужно. Авторы анализа предупреждают, что ИИ все еще не может сравниться с человеком в понимании тонкостей права. Модели также могут "галлюцинировать", поднимая несуществующие вопросы в договорах. Поэтому контроль со стороны опытных юристов остается крайне важным.

Предстоит еще много работы по оценке больших языковых моделей в большем количестве юрисдикций и по большему числу типов договоров. Но исследование ясно показывает перспективность ИИ для решения основных юридических задач. Право быстро меняется, что уже доказали специалисты Allen & Overy. Данное исследование, финансируемое юридической технологической фирмой Onit, позволяет увидеть еще несколько цифр. Эра роботов-юристов явно наступила.