Некоторые люди могут научиться лучше прогнозировать будущее, чем другие. Это их методы.
ПРИМЕРНО в 2011 году, когда работа Уоррена Хэтча заключалась в перемещении денег на Уолл-стрит, он прочитал книгу, которая запомнилась ему. Называется Экспертное политическое суждение: Насколько это хорошо? Откуда нам знать?, это было написано психологом Филом Тетлоком, который тогда работал профессором бизнеса в Калифорнийском университете в Беркли.
Книге было несколько лет, и Хэтчу стало любопытно, чем занимался Тетлок с тех пор, поэтому он зашел на сайт академика. На странице, к своему удивлению, он обнаружил приглашение. Тетлок искал людей, которые хотели бы прогнозировать геополитические события. Хотел ли он получить шанс попытаться предсказать будущее? Хэтч говорит, что помнит, как подумал: "А кто бы этого не сделал?"
Хэтч сразу же зарегистрировался и вскоре присоединился к виртуальной команде людей, которые пытались предсказать вероятность различных гипотетических будущих глобальных событий. Они давали основанные на вероятности ответы на такие вопросы, как: объявит ли страна А или страна В войну друг другу в течение следующих шести месяцев? Или: освободит ли X пост президента страны Y до 10 мая года Z? Ответы будут принимать такую форму: существует 75-процентная вероятность того, что ответ на вопрос будет утвердительным, и 25-процентная вероятность того, что он будет отрицательным.
“Я просто подумал, что это интересный способ скоротать время”, - говорит Хэтч.
Возможно, для Хэтча это было забавой, но для разведывательного сообщества США это был серьезный бизнес, чье подразделение исследований и разработок — Intelligence Advanced Research Projects Activity (IARPA) — спонсировало проект. Тетлок вместе с группой ученых был участником программы шпионского агентства по оценке совокупного контингента, или ACE.
Цель программы ACE, как указано на странице описания, “значительно повысить точность, точность и своевременность прогнозов разведки”.
Тетлок возглавлял команду ACE вместе с коллегой Барбарой Меллерс, чтобы попытаться добиться такого значительного улучшения — и сделать это лучше, чем четыре другие конкурирующие команды. Секретный соус Тетлока оказался набором опытных прогнозистов, таких как Хэтч.
Стать суперфоркастером
Хэтч в то время мало что знал о грандиозном видении, которое имели в виду главные исследователи, или IARPA. Однако после того, как он некоторое время делал прогнозы для Тетлока, произошло нечто странное. “Некоторые из лучших членов команды исчезли”, - говорит Хэтч.
Это не было гнусностью: исследователи считали этих опытных предсказателей “суперпрогнозистами” из-за их неизменной точности. Позже Хэтч узнал, что эти предсказатели продвинулись вперед и были распределены в команды с другими людьми, которые были так же хороши, как и они.
Желая быть в их рядах, Хэтч начал подражать их поведению. Он начал проявлять большую активность в своих попытках, оставляя комментарии к своим прогнозам, чтобы объяснить свои рассуждения, пересматривая свои предсказания по мере поступления новой информации. “И через пару месяцев это сработало”, - говорит он. “Я начал понимать это”.
На втором курсе Хэтча пригласили стать Суперфоркастером.
Познакомьтесь с группой Здравого смысла
Команда, штаб-квартира которой тогда находилась в Университете Пенсильвании, называла себя Good Judgment. Это был удобный выигрышный туз. “Программа ACE началась с этой идеи мудрости толпы, и она искала способы выйти за рамки стандартной мудрости толпы”, - говорит Стивен Рибер, который руководил программой для IARPA.
Прогнозы команд должны были быть все более точными с каждым годом соревнований. К концу первого года Good Judgment уже достигла требуемого уровня точности своих прогнозов за последний год.
Ева Чен, постдок в одной из других (проигравших) команд ACE, с интересом наблюдала, как первый год перешел во второй. “Это скачки”, - говорит она. “Поэтому каждый раз, когда вопрос закрывается, вы можете видеть, как работает ваша команда”. Каждый раз она видела, как группа Здравого смысла побеждает как ее команду, так и толпу. Что они делают? Она вспоминает, как задавалась вопросом.
Группа Чен закрылась, как и остальные команды, за исключением Good Judgment, к которой она позже присоединилась. Эта группа была единственной, с кем IARPA продолжала работать. Чен поставила перед собой задачу выяснить, что они делают по-другому.
И вскоре она узнала: ее предыдущая команда сосредоточилась на разработке причудливых вычислительных алгоритмов — сложных математических вычислений на мудрости толпы, чтобы сделать ее мудрее. Здравый смысл, напротив, был сосредоточен на человеческой стороне. Он отслеживал точность своих прогнозов и определил группу, которая была неизменно лучше всех остальных: так называемые суперпрогнозы. Он также обучил своих прогнозистов, рассказав им о таких факторах, как когнитивные искажения. (Одной из наиболее известных таких ошибок является предвзятое отношение к подтверждению, которое заставляет людей искать и придавать большее значение доказательствам, подтверждающим их ранее существовавшие идеи, и отвергать или объяснять доказательства обратного.) И это объединило их в команды, так что они могли делиться как знаниями о темах, которые они прогнозировали, так и своими стратегиями рассуждений. И только затем, с помощью обученных, объединенных в команду, отслеживаемых прогнозов, он статистически объединил прогнозы своих участников с помощью алгоритмов машинного обучения.
Хотя этот процесс был важен для успеха Good Judgment, элемент Superforecaster (теперь термин, являющийся торговой маркой) привлекает наибольшее внимание. Но, что любопытно, суперпрогнозы — люди, неизменно лучше прогнозирующие будущее, чем даже эксперты в данной области, например аналитики разведки, — не были предполагаемым результатом исследования IARPA компании Good Judgment. “Я этого не ожидал, - говорит Рибер, - и не думаю, что кто-то ожидал”.
Эти прогнозисты лучше отчасти потому, что они используют то, что Рибер называет “активным непредубежденным мышлением”.
“Они склонны критически относиться не только к определенному мнению, которое приходит на ум, но и к тому, какие возражения или контрпримеры к мнению”, - говорит Рибер. Они также хорошо умеют пересматривать свои суждения перед лицом новых доказательств. По сути, они умеют объединять себя в группы, критиковать, оценивать и находить лазейки во всех идеях, включая свои собственные, - по сути, выступая в роли адвоката дьявола, независимо от того, откуда взялось это мнение.
Увидев знаки доллара в суперпрогнозах, команда Good Judgment ACE вскоре превратилась в Good Judgment Inc., выведя компанию из конкуренции, ориентированной на шпионов. С тех пор любопытные искатели удачи в таких секторах, как финансы, энергетика, логистика цепочек поставок, филантропия и, как всегда, оборона и разведка, были заинтересованы в том, чтобы платить за будущее, которое видят эти прогнозирующие элиты.
Чэнь остался и в конце концов стал главным научным сотрудником Good Judgment. В настоящее время у компании есть три основных источника дохода: консалтинг, обучающие семинары и предоставление доступа к Superforecasters. У него также есть веб-сайт под названием Good Judgment Open, где любой желающий может отправлять прогнозы на краудсорсинговые темы, для развлечения и для того, чтобы быть принятым на работу в качестве официального, одобренного компанией Superforecaster.
Не совсем магия
Но ни здравый смысл, ни суперпрогнозы не идеальны. “У нас нет хрустального шара”, - говорит Рибер. И их прогнозы полезны не во всех обстоятельствах: во-первых, они никогда не заявляют, что что-то произойдет, например, дерево обязательно упадет в лесу. Их прогнозы основаны на вероятности: существует 80-процентная вероятность того, что в этом лесу упадет дерево, и 20-процентная вероятность того, что этого не произойдет.
Хэтч признает, что прогнозы также мало что добавляют, когда уже есть много публичных прогнозов, основанных на вероятности, как в случае, скажем, с ценами на нефть, а также когда общедоступной информации мало, например, когда политические решения принимаются на основе секретных данных.
С точки зрения разведки (где собственные ультрапред-предсказатели разведывательного сообщества могут иметь доступ к указанной секретной информации), прогнозы, тем не менее, имеют другие ограничения. Во-первых, угадывание будущего - это только один аспект расчетов шпиона. Прогнозирование не может иметь дело с настоящим (есть ли у страны X программа создания ядерного оружия в данный конкретный момент?), Прошлым (что убило диктатора Z?) Или обоснованием событий (почему страны A и B вступят в войну?).
Во-вторых, вопросы с прогнозирующими ответами должны быть предельно конкретными. “Некоторые ключевые вопросы, которые волнуют политиков, не сформулированы точно”, - говорит Рибер. Например, по его словам, в оценке разведывательных угроз, подготовленной в этом году Офисом директора национальной разведки, говорится: “Мы ожидаем, что трения будут расти, поскольку Китай продолжает наращивать военную активность вокруг острова [Тайвань]”. Но трение - это туманное слово, а рост не поддается количественной оценке.
“Тем не менее, эта фраза имеет значение для политиков, и это то, что их волнует”, - говорит Рибер.
Этот процесс также обычно требует указания даты. Например, вместо того, чтобы спрашивать: “Обгонит ли новый вариант коронавируса Омикрон в США и составит более 70 процентов случаев заболевания?” На веб-сайте Good Judgment Open в настоящее время задается вопрос: “Будет ли до 16 апреля 2023 года вариант SARS-CoV-2, отличный от Омикрона, составлять более 70,0% от общего числа случаев COVID-19 в США?” Это не потому, что апрель имеет особое значение: это потому, что группе нужна дата истечения срока действия.
Обычно это не тот вопрос, который компания или разведывательное агентство выносят на здравый смысл. Чтобы получить ответ, который действительно нужен, компания работает над решением проблемы. “Мы работаем с ними, чтобы составить группу вопросов, - говорит Чен, - которые вместе могут дать ответ, который они ищут. Так, например, зоомагазин может захотеть узнать, станут ли кошки более популярными, чем собаки. Здравый смысл может разбить это на “Снизится ли популярность собак к февралю 2023 года?”, “Увеличится ли популярность кошек к февралю 2023 года?” и “Увеличится ли общественное одобрение кошек к февралю 2023 года, согласно опросам?” Зоомагазин может провести триангуляцию на основе этих ответов, чтобы оценить, как им следует инвестировать. Возможно.
И теперь IARPA и Rieber движутся в будущее прогнозирования с новой программой под названием REASON: поиск источников для быстрого анализа объяснений онлайн. РАЗУМ бросает взгляд в будущее в том направлении, в котором он, вероятно, всегда собирался идти: автоматизация. “Идея состоит в том, чтобы использовать недавние достижения в области искусственного интеллекта, чтобы делать мгновенные предложения аналитикам”, - говорит он.
В этом будущем silicon suggestions будут делать то, что делали люди-сверстники в ACE: объединяться с людьми, чтобы попытаться улучшить их рассуждения и, следовательно, их предположения о том, что будет дальше, чтобы они могли передавать свои, надеюсь, лучшие прогнозы другим людям: тем, кто принимает решения, которые помогают решить, что произойдет смир.
Посеять сомнение
Вне проекта исследователь Константинос Николопулос из бизнес-школы Даремского университета в Англии критиковал суперпрогноз не только за его точность, строгость которой, как он видел, другие проследили и подтвердили. Тем не менее, он говорит: “Что-то было не так”.
Его сомнения были связаны с полезностью. В реальном мире настоящие суперпрогнозы (исходя из самого здравого смысла) могут быть настолько полезны, потому что их так мало, и требуется так много времени, чтобы идентифицировать их в первую очередь. “В секретной комнате заперты некоторые суперпрогнозы, и их можно использовать по усмотрению того, кто имеет к ним доступ”, - говорит он.
Итак, Николопулос и его коллеги провели исследование, чтобы выяснить, можно ли применить общую идею здравого смысла — что некоторые люди намного лучше других предчувствуют будущее — к меньшему числу людей (314, а не 5000) за более короткий период времени (девять месяцев, а не несколько лет).
Среди их небольшой группы и усеченных временных рамок они нашли двух суперпрогнозов. Николопулос предполагает, что, основываясь на этом результате, любая организация малого и среднего бизнеса может спрогнозировать свое собственное будущее: провести собственный конкурс (с соответствующими наградами и поощрениями), определить своих сотрудников с лучшими прогнозами, а затем использовать их (выплачивая им компенсацию), чтобы помочь определить направление развития компании.. Лучшие просто должны быть лучше, чем средние прогнозисты.
“Существуют многообещающие эмпирические доказательства того, что это можно сделать в любой организации”, - говорит Николопулос. Это означает, что, хотя ему и не нравится это слово, выводы Good Judgment можно демократизировать.
Конечно, люди все еще могут заключать контракты с помощью Здравого смысла и его фирменных предсказателей. И компания действительно предлагает программу подбора персонала, которая помогает выявлять и обучать сотрудников клиентов делать то, что предлагает Николопулос. Но, тем не менее, он все еще проходит через эту компанию с одним именем-брендом. “Если вы можете себе это позволить, во что бы то ни стало сделайте это”, - говорит он. “Но я определенно верю, что это можно сделать собственными силами”.
Компания Good Judgment, конечно, хотела бы, чтобы вы посетили ее дом и заплатили за ее услуги, хотя она предлагает обучение для посторонних и стремится сделать его более доступным онлайн. В будущем компания также стремится лучше справляться с различными проблемами, например, с теми, которые связаны с экзистенциальным риском. “Такие вещи, которые полностью уничтожат человечество или уменьшат его настолько, что оно будет фактически уничтожено”, - говорит Хэтч. “Это могут быть такие вещи, как падение метеорита на планету. Так что это один из видов. А другой вид - это инопланетное вторжение”.
Что касается исследований, компания надеется улучшить свою способность видеть ранние свидетельства не “черных лебедей” — неожиданных, редких событий, — а “действительно, действительно темно-серых лебедей”, - говорит Хэтч. Вы знаете, такие события, как пандемии.
Будет ли Здравый Смысл успешным через пять лет в своей версии прогнозирования будущего? Время покажет.
