Определение и связь с представительностью. [факт] «people often predict by selecting the outcome … that is most representative of the input … The confidence they have in their prediction depends primarily on the degree of representativeness … with little or no regard for the factors that limit predictive accuracy … The unwarranted confidence which is produced by a good fit between the predicted outcome and the input information may be called the illusion of validity» (Tversky & Kahneman 1974, далее TK74, с. 1126).
Устойчивость к собственному знанию об ограничениях. [факт] «This illusion persists even when the judge is aware of the factors that limit the accuracy of his predictions. It is a common observation that psychologists who conduct selection interviews often experience considerable confidence in their predictions, even when they know of the vast literature that shows selection interviews to be highly fallible. The continued reliance on the clinical interview for selection, despite repeated demonstrations of its inadequacy, amply attests to the strength of this effect» (TK74, с. 1126) — сама статья 1974 года уже называет отбор персонала по интервью хрестоматийным случаем этого искажения.
Редундантность входных данных усиливает уверенность без пользы для точности. [факт] «people express more confidence in predicting the final grade-point average of a student whose first-year record consists entirely of B's than … a student whose … record includes many A's and C's» — хотя формально «a prediction based on several such inputs can achieve higher accuracy when they are independent of each other than when they are redundant or correlated. Thus, redundancy among inputs decreases accuracy even as it increases confidence, and people are often confident in predictions that are quite likely to be off the mark» (TK74, с. 1126) — то есть однородный, «складный» набор фактов о кандидате повышает уверенность сильнее, чем разнородный, хотя разнородные независимые данные точнее.
Алгоритмы против клинического суждения — независимое подтверждение в 55 лет спустя. [факт] Kahneman & Klein 2009 (далее KK09) приводят мета-анализ Grove, Zald, Lebow, Snitz & Nelson (2000): «a meta-analysis of 136 studies that compared the accuracy of clinical and mechanical judgments … The preponderance of data favored the algorithms … which were superior in about half the studies (n=63). The other half … showed no difference (n=65), and only a few studies showed better performance by the clinical judgments (n=8)» (KK09, с. 523). Авторская оговорка против интерпретации как «глупости людей»: «Findings in which the performance of human judges is inferior to that of simple algorithms are often cited as evidence of cognitive ineptitude, but this conclusion is unwarranted. The correct conclusion is that people perform significantly more poorly than algorithms in low-validity environments» (KK09, с. 523) — то есть проигрыш суждения алгоритму — это не показатель некомпетентности человека, а следствие того, что среда сама зашумлена и алгоритм просто последовательнее (не «умнее»).
Структурированная процедура как контрмера — по вторичному источнику. [факт, по рецензии] Книга «Noise» (Kahneman, Sibony & Sunstein 2021) описывает структурированное поведенческое интервью как способ снизить именно этот эффект в найме: «The interviewers' task in structured behavioral interviews is not to decide whether they like a candidate overall; it is to collect data about each assessment in the evaluation structure and to assign scores. Interviewers are required to ask predetermined questions and score them against a predetermined rating scale» (цитата по книге, с. 308, гл. 24 — через рецензию Aldous, Mathematical Intelligencer 2022, сам текст книги не читан живьём — 🟡 по правилу проекта для книг).
Каноническая демонстрация: Tversky & Kahneman 1974 · определение через отбор персонала по клиническому интервью (без отдельного контролируемого эксперимента в этом фрагменте — иллюстрация на общеизвестном факте инвалидности отбора по интервью); теоретическая часть, не отдельный эксперимент · Science, 185(4157), с. 1126. Статус доказательности: 🟡 первичка (TK74) прочитана живьём и независимо подтверждена по смежному вопросу — точность клинического vs алгоритмического суждения (KK09, с. 523, через мета-анализ Grove et al. 2000, 136 исследований); отдельной репликации самого феномена «иллюзия валидности» как такового в проекте не найдено. Величина эффекта: как измерена — доля исследований (из 136 в мета-анализе Grove et al. 2000), где алгоритм точнее, равен или хуже клинического суждения: 63 / 65 / 8 соответственно · источник KK09, с. 523. Прямая величина самой иллюзии валидности (расхождение между уверенностью и точностью) в TK74 количественно не приведена — только качественное описание [не найдено]. Ось карты — стадия: сбор информации (главная). Координата «уровень»: индивид (эксперт/интервьюер); организация — практика отбора по интервью как институциональная привычка. Координата «механизм/таксономия»: эвристика (репрезентативность) — TK74 с. 1126. Цена для управленца: типовая ситуация — СИ-02 Сбор информации и оценка, наём и оценка людей (интервью как основной инструмент отбора несмотря на низкую предсказательную силу); что теряется — уверенные, но плохо предсказывающие решения о найме; кейс — «continued reliance on the clinical interview for selection, despite repeated demonstrations of its inadequacy» (TK74, с. 1126) как сам по себе управленческий кейс инерции. Противоядия: структурированное интервью с предопределёнными вопросами и шкалой оценки (книга Noise, с. 308, по рецензии — 🟡) и алгоритмические/линейные модели там, где они применимы (KK09, с. 523, мета-анализ 136 исследований) — оба снижают зависимость от субъективного «ощущения складности», но само по себе внедрение алгоритмов «evokes substantial resistance» (KK09, с. 523, по сводке Р-1). Термин: en illusion of validity · ru иллюзия валидности (устоявшийся перевод).
(б) Процедура. Прямого измеренного противоядия именно к иллюзии валидности как таковой в источниках проекта нет; ближайшее — заменить свободное клиническое суждение на структурированную процедуру (предопределённые вопросы и шкала — книга Noise, с. 308, 🟡 по вторичному источнику) или, где применимо, на простую алгоритмическую/линейную модель (KK09, с. 523: в 63 случаях из 136 алгоритм точнее клинициста, ещё в 65 — не хуже). Осведомлённости самой по себе недостаточно: TK74 прямо указывает, что иллюзия сохраняется у людей, знающих о ненадёжности интервью (с. 1126) — это единственное искажение в проекте, для которого проверка «awareness не спасает» дана в самой канонической демонстрации 1974 года. (в) Среда. Эффект сильнее в «зашумлённых» средах низкой валидности — там, где алгоритмы тоже ошибаются, просто реже человека (KK09, с. 523: «The forecasts made by the algorithms were often wrong, albeit less often than the clinical predictions»). Диагностика — не «доверяет ли эксперт своей интуиции», а есть ли у задачи вообще устойчивые статистические закономерности между признаками и исходом; при их отсутствии ни человек, ни простая модель не дадут высокой точности, но человек при этом будет чувствовать бо́льшую уверенность. (г) Организация. Внедрение структурированных процедур или алгоритмов встречает сопротивление на уровне организации: «is likely to evoke substantial resistance» (KK09, с. 523, по сводке Р-1_Первички) — то есть это не только вопрос знания метода, но и организационного решения ограничить свободу суждения интервьюера предопределённой формой, что требует явного распоряжения, а не просто рекомендации.
.txt2026-09-12
отвечено 0 из 3
1. Что, по TK74, определяет уверенность человека в собственном прогнозе — реальная точность или что-то другое?
2. Сохраняется ли иллюзия валидности, если человек знает о статистике, показывающей ненадёжность его метода (например, отборочного интервью)?
3. Что показал мета-анализ Grove et al. (2000), приведённый в KK09, о соотношении клинического суждения и алгоритмических моделей?