← ДашбордКаталог узлов

ИС-12. Нечувствительность к размеру выборки (insensitivity to sample size / law of small numbers)

Искажение · статус: dev · проверен: 2026-09-12 · база «Когнитивные искажения»
Просто: подбросьте монетку всего пару раз подряд — если выпадет цепочка орлов, никто не удивится, это обычная случайность короткой попытки. Та же цепочка орлов на долгой серии бросков выглядела бы уже подозрительно. Люди же обычно меряют маленькую группу наблюдений и большую одной меркой, как будто вывод значит одно и то же независимо от того, на скольких случаях он основан. Та же слепота настигает и профессионалов: исследователь охотно верит результату, полученному на горстке испытуемых, забывая, что случайный разброс там куда сильнее, чем на солидной группе.
Тезис: люди оценивают вероятность результата выборки по тому, насколько он похож на параметр всей популяции, и при этом почти не учитывают, что малые выборки гораздо более изменчивы, чем большие, — причём эта нечувствительность не убирается даже прямым упоминанием размера выборки в условии задачи и встречается у обученных исследователей не меньше, чем у наивных испытуемых.

Содержание

Механизм. [факт] «To evaluate the probability of obtaining a particular result in a sample drawn from a specified population, people typically apply the representativeness heuristic … The similarity of a sample statistic to a population parameter does not depend on the size of the sample. Consequently, if probabilities are assessed by representativeness, then the judged probability of a sample statistic will be essentially independent of sample size» (Tversky & Kahneman 1974, далее TK74, с. 1125).

Каноническая демонстрация — задача о роддомах. [факт] «A certain town is served by two hospitals. In the larger hospital about 45 babies are born each day, and in the smaller hospital about 15 babies are born each day … For a period of 1 year, each hospital recorded the days on which more than 60 percent of the babies born were boys. Which hospital do you think recorded more such days?» — ответы студентов: «The larger hospital (21) — The smaller hospital (21) — About the same … (53)» (TK74, с. 1125; в скобках — число выбравших вариант). Правильный ответ — меньшая больница (там доля сильнее отклоняется от 50% просто по статистике малых чисел), но большинство сочло варианты равновероятными: «Most subjects judged the probability … to be the same in the small and in the large hospital, presumably because these events are described by the same statistic … This fundamental notion of statistics is evidently not part of people's repertoire of intuitions» (TK74, с. 1125).

Вторая демонстрация — апостериорные шансы (задача про урну). [факт] Из урны с шарами в пропорции 2:1 один человек вытянул 5 шаров (4 красных, 1 белый), другой — 20 (12 красных, 8 белых). Верные апостериорные шансы — 8:1 для выборки 4:1 и 16:1 для выборки 12:8, «However, most people feel that the first sample provides much stronger evidence … because the proportion of red balls is larger in the first than in the second sample … intuitive judgments are dominated by the sample proportion and are essentially unaffected by the size of the sample» (TK74, с. 1125) — то есть суждение опирается на долю в выборке, а не на её размер, хотя именно размер определяет реальную силу доказательства.

«Закон малых чисел» — не только у наивных испытуемых. [факт] «Misconceptions of chance are not limited to naive subjects. A study of the statistical intuitions of experienced research psychologists … revealed a lingering belief in what may be called the "law of small numbers," according to which even small samples are highly representative of the populations from which they are drawn … the researchers put too much faith in the results of small samples and grossly overestimated the replicability of such results. In the actual conduct of research, this bias leads to … selection of samples of inadequate size and to overinterpretation of findings» (TK74, с. 1125) — то есть даже профессиональные исследователи систематически недооценивали, сколько испытуемых нужно для надёжного результата, и переоценивали шанс, что маленькое исследование повторится.

Каноническая демонстрация: Tversky & Kahneman 1974 · задача о двух роддомах (45 против 15 рождений в день) и задача об апостериорных шансах при выборках 5 и 20 шаров; лаборатория, студенты (N по вариантам ответа — 21/21/53) · Science, 185(4157), с. 1125. Статус доказательности: 🟡 первичка прочитана живьём, отдельная репликация не найдена (охват: Many Labs 1 её не включает) · TK74 с. 1125. Величина эффекта: как измерена — распределение ответов студентов по трём вариантам задачи о роддомах; 21 (больше в большой) / 21 (больше в малой) / 53 (примерно поровну) при верном ответе «малая больница» · источник TK74, с. 1125. Ось карты — стадия: сбор информации (главная). Координата «уровень»: индивид; отдельно отмечено у профессиональных исследователей (научная работа как «организационная» практика сбора данных). Координата «механизм/таксономия»: эвристика (репрезентативность) — TK74 с. 1125. Цена для управленца: типовая ситуация — СИ-02 Сбор информации и оценка (доверие к результату пилота на маленькой группе клиентов/пользователей, A/B-тесту с малой выборкой, отзыву нескольких клиентов как «типичному»); что теряется — переоценка устойчивости результата, полученного на малом N; количественный управленческий кейс — [не найдено]. Противоядия: прямого измеренного противоядия именно к нечувствительности к размеру выборки в источниках проекта [не найдено]; по логике механизма — требование минимального N до интерпретации результата (стандартная статистическая практика), но отдельно как дебайасинг-приём в проекте не измерялось. Термин: en insensitivity to sample size / law of small numbers · ru нечувствительность к размеру выборки / закон малых чисел (оба перевода встречаются, «закон малых чисел» — устоявшийся у Канемана в переводных изданиях).

Бриф для ЛПР

(б) Процедура. Измеренного противоядия в источниках проекта нет. Ближайшее — сам диагноз TK74: ошибка воспроизводится даже при явном напоминании о размере выборки в условии задачи («subjects failed to appreciate the role of sample size even when it was emphasized in the formulation of the problem», с. 1125) — то есть простое указание размера выборки в отчёте или презентации само по себе не защищает от неверной интерпретации; способа, который это исправляет, TK74 не даёт и не тестирует [не найдено]. (в) Среда. Эффект бьёт сильнее там, где решение принимается по единичному «яркому» результату малой выборки (один пилотный клиент, одна фокус-группа, один квартал данных) и слабее там, где есть привычка требовать статистическую значимость или минимальный объём выборки перед выводом — прямого измерения такого контраста в TK74 нет, это следствие механизма, а не отдельно проверенное утверждение [гипотеза]. (г) Организация. Организационная практика, снижающая цену этой ошибки, логически вытекает из результата про исследователей (TK74, с. 1125): институционализированное требование минимального размера выборки/повторения результата перед принятием решения — совпадает по духу с общими принципами decision hygiene, но отдельно для этого искажения в источниках проекта не измерено и не описано как кейс — [не найдено].

Связан с

Источники

Открытые хвосты

Проверен на дату

2026-09-12

Вопросы

отвечено 0 из 3

1. В задаче о двух роддомах — где, согласно верному статистическому ответу, чаще должны случаться дни с более чем 60% мальчиков, и как ответило большинство студентов?

Ответ: (а). TK74, с. 1125.

2. Что показала «задача об урне» (5 шаров против 20) о том, на чём люди основывают уверенность в гипотезе?

Ответ: (б). TK74, с. 1125.

3. Распространяется ли нечувствительность к размеру выборки на подготовленных исследователей, по данным узла?

Ответ: (б). TK74, с. 1125: «Misconceptions of chance are not limited to naive subjects … experienced research psychologists».
Дашборд Каталог узлов Наверх ↑