Есть прогнозы, которые убеждают сразу: данные сходятся, логика гладкая, автор спокоен. Позже выясняется, что реальность пошла другим путём, а прогноз был не точнее случайного. Термин «иллюзия валидности» связывают с работами Даниэля Канемана и Амоса Тверски; им описывают уверенность в прогнозе, не подкреплённую его точностью. Ниже вопросы, которые стоит задать себе о собственных и чужих прогнозах.

Откуда у прогноза берётся убедительность?

Что вы чувствуете, когда картина складывается стройно: что она верна или что она красива? Одно и то же ли это? Если сведений мало, но они согласуются между собой, возрастает уверенность или точность? Можно ли отличить прогноз, в котором уверен автор, от прогноза, который подтверждается? Обычно мы замечаем разницу только после того, как событие произошло, а тогда она уже ничего не меняет.

Чем измерять прогноз, если оценщик уверен?

Кто в вашей организации сверяет прогнозы с исходом и ведёт такой счёт? Знаете ли вы, как часто ошибался автор, который говорил твёрже всех? И что делать с прогнозами, исход которых так и не наступил или наступил слишком поздно? Если нет способа проверить, то на чём тогда основано доверие: на репутации или на чём-то ещё? Другой угол, опыт специалиста, а не прогноз, разбирается в статье Иллюзия компетентности.

Бывает ли предел, за которым прогноз невозможен?

Есть области, где предсказание принято считать делом хорошей аналитики. А что, если часть из них устроена так, что точный прогноз там недостижим для любого эксперта? Как отличить такие области от тех, где ошибка исправима? И что в этом случае вправе требовать от аналитика заказчик? В курсе, о котором пойдёт речь ниже, для разговора о прогнозах выделены два понятия: «объективное невежество» и «долина нормальности». Что стоит за ними, лучше услышать от автора курса.

Где искать ответы

Книга ШУМ. Тайна системной ошибки для тех, кто принимает решения рассматривает принятие решений как систему, которую можно сделать управляемой, а не как субъективную лотерею. Курс Ph.D. Олега Мальцева Тайна системной ошибки для тех, кто принимает решения включает тему об объективном невежестве и «долине нормальности» в прогнозах и опирается на аналитический разбор книги Канемана о шуме.

Начните с книги ШУМ. Тайна системной ошибки для тех, кто принимает решения: изучив её, вы сможете ответить себе, почему уверенность в прогнозе нельзя принимать за его точность.