[факт] Overprecision — узкие доверительные интервалы, не соответствующие реальной частоте попадания: «Researchers examining overprecision typically ask their participants questions with numerical answers... and then have participants estimate 90% confidence intervals around their answers. Results show that these confidence intervals are too narrow... 90% confidence intervals contain the correct answer less than 50% of the time» (Moore & Healy 2008 [MH08], с. 502–503, по выжимке Р-3/Д10).
[гипотеза, оговорка авторов] Байесовская модель Moore & Healy предсказывает пессимизм насчёт простых средств коррекции: «we ought to be pessimistic regarding the possibility that feedback or experience could overcome any of these biases. If they represent the result of Bayesian judgment processes, then there is little room to improve upon them» (MH08, с. 507, по выжимке Р-3/Д10). Это прямое предупреждение против ожидания, что обратная связь сама по себе снимет overprecision.
[факт, вторичная опора] Larrick (2004) приводит демонстрацию Soll & Klayman (2004) как пример процедурного противоядия: «Ranges for which people are 80 percent confident capture the truth 30 percent to 40 percent of the time... increased hit rates to nearly 60 percent by both widening and centering ranges» (Larrick04, с. 323). [оговорка о провенансе] Сам текст Soll & Klayman (2004) не открыт живьём: три канала (APA PsycNet, ResearchGate, Academia.edu/Google Scholar) исчерпаны без результата (по выжимке Р-5/Д15); цифры взяты через вторичное цитирование у Larrick04 и Herzog & Hertwig 2009 — N, дизайн и год конкретной процедуры в доступном тексте не даны [не найдено].
[факт] Herzog & Hertwig (2009) цитируют ту же технику дословно как источник для одного из компонентов диалектического бутстрэппинга: Soll and Klayman (2004) предложили процедуру, поощряющую «people to sample their knowledge twice, once for a low estimate and again for a high estimate», которую можно рассматривать «as analogous to the improvement in accuracy that is obtained by averaging the opinions of two judges who have nonredundant sources of information» (Soll & Klayman 2004, p. 300, цит. в HH09, с. 233). То есть приём — не просто «назови интервал», а раздельная генерация нижней и верхней границы.
[факт] Soll, Milkman & Payne (2015) дают отдельную, более позднюю цифру для смежной процедуры: «asking for the 10th, 50th, and 90th percentiles of a subjective interval distribution improves the hit rate by about 20 percentage points compared to asking a single question requesting a range estimate» (Soll15, с. 932–933). [оговорка] Это другая процедура (три перцентиля против одного вопроса-диапазона), чем «низкая-потом-высокая граница» у Soll & Klayman/Larrick — обе относятся к семейству интервальных процедур, но не идентичны и не сведены в источниках к единому замеру.
[факт, координата] Soll15 относит подобные приёмы к «modify the decision maker»: «we consider a bias to be a deviation from an objective standard... Our categorization of debiasing methods builds on Fischhoff's (1982) classic distinction that attributes biases to either persons or tasks... We dub this approach "modify the decision maker"» (Soll15, с. 925–926).
Приём: структурированная процедура интервальной оценки — либо (а) спросить отдельно нижнюю и верхнюю границу диапазона с заданной уверенностью (например, 80 %), а не диапазон целиком; либо (б) спросить 10-й/50-й/90-й перцентили по отдельности вместо одного вопроса о диапазоне. Механизм: [по Herzog & Hertwig, цитирующим Soll & Klayman] раздельный запрос заставляет дважды «просэмплировать» собственное знание с разных сторон — аналог получения второго независимого мнения внутри одной головы. Критерий «сработало»: доля случаев, когда истинное значение попадает в заявленный интервал (hit rate), приближается к заявленному уровню уверенности. Замер: (а) по Larrick04 (вторичная цитата Soll & Klayman 2004) — hit rate 30–40 % → ~60 % при заявленной уверенности 80 %; N и дизайн этого конкретного сравнения в доступном тексте не переданы [не найдено — первичка недоступна]; (б) по Soll15 — рост hit rate на ~20 п.п. при переходе от одного вопроса-диапазона к трём перцентилям; N и дизайн этого сравнения также не даны в доступном фрагменте [не найдено]. Где не работает / побочные: если overprecision — байесовский регрессивный эффект, «feedback or experience» сами по себе вряд ли его уберут (MH08, с. 507); процедура — смена формата вопроса, а не тренировка с обратной связью, и её долгосрочный/полевой эффект в доступных источниках не измерен. Цена внедрения: низкая — смена формулировки вопроса при сборе прогнозов (не требует новых инструментов), но требует минимум двух отдельных вопросов вместо одного. Координата: modify the decision maker (Soll15, с. 925–926); boost — по определению рамки проекта; первоисточник Hertwig & Grüne-Yanoff 2017 этим писателем не открывался.
(б) Процедура. При сборе количественных прогнозов (сроки, бюджеты, объёмы) просить не один диапазон, а отдельно нижнюю и верхнюю границу (или 10/50/90 перцентили). Измеренный эффект — рост hit rate на ~20–30 п.п. в двух независимо цитируемых демонстрациях (Larrick04, с. 323, вторичная цитата; Soll15, с. 932–933); граница — ни разу не проверено, держится ли это за пределами лабораторных калибровочных заданий. (в) Среда. Подходит там, где решение регулярно требует числового прогноза с неопределённостью (бюджет, срок, спрос) и вопрос можно зафиксировать заранее как процедуру, а не задавать разово. Moore & Healy предупреждают, что одной лишь частой обратной связи недостаточно для снятия overprecision без смены формата вопроса (с. 507). (г) Организация. Правка касается того, кто формулирует вопрос к прогнозисту (аналитик, PM), а не того, кто принимает решение, — это дешёвая правка шаблона запроса прогноза. Кейсы, не RCT: ни одного найденного примера внедрения именно в организационный процесс прогнозирования (бюджеты, продажи) — перенос за пределы лабораторных заданий не подтверждён.
2026-09-12
отвечено 0 из 3
1. Какую именно процедуру меняет этот приём — вопрос о прогнозе или тренировку с обратной связью?
2. Что говорит теория Moore & Healy (2008) о шансах убрать overprecision одной лишь обратной связью?
3. Насколько надёжна цифра «hit rate 30–40 % → ~60 %» у Larrick (2004)?