Как читать таблицу. Три источника измеряют разные, но пересекающиеся вещи: Mertens et al. (2022) — сырой размер эффекта по 200+ исследованиям без поправки; Maier et al. (2022) — та же выборка Mertens et al. с байесовской поправкой на публикационное смещение; DellaVigna & Linos (2022) — прямое сравнение результатов в академических журналах против реальных государственных «отделов подталкивания» (Nudge Units), с явным учётом статистической мощности (MDE — минимально детектируемый эффект при мощности 80%).
| Источник | Дизайн | N (эффектов/участников) | Величина | Поправка на смещение |
|---|---|---|---|---|
| Mertens et al. 2022 | Мета-анализ 200+ работ по choice architecture | 455 эффектов, n=2 149 683 | d=0,45 [0,39; 0,52] | Без поправки; авторы сами фиксируют «moderate publication bias» |
| Maier et al. 2022 | Байесовская коррекция той же выборки (RoBMA) на публикационное смещение | та же выборка Mertens et al. | Главная величина — Table 1, «Combined», RoBMA-PSMA: d=0,04 [0,00; 0,14] (для сравнения: без поправки, Random effects — 0,43 [0,38; 0,48]); d=0,08 — отдельная, более ранняя оценка из чувствительностного анализа Vevea-Woods, упомянутая в тексте письма до Table 1, не главная табличная величина | Прямая поправка — целевой предмет исследования |
| DellaVigna & Linos 2022 | Сравнение 126 RCT двух крупных государственных Nudge Units (>23 млн человек) с академическими журналами | Nudge Units: медиана 10 006 в группе; Academic Journals: медиана 484 в группе | Academic Journals: 8,7 п.п. прироста (+33,5% к контролю); Nudge Units: 1,4 п.п. (+8,1% к контролю) | Разница объясняется статистической мощностью и селективной публикацией — MDE академич. журналов 6,3 п.п. против MDE Nudge Units 0,8 п.п. |
[факт] Итог мета-анализа Mertens et al. (2022): «choice architecture interventions overall promote behavior change with a small to medium effect size of Cohen's d = 0.45 (95% CI [0.39, 0.52])… Our analysis further reveals a moderate publication bias toward positive results in the literature» (Mertens et al., 2022, абстракт).
[спорно — стороны] Прямой ответ-критика Maier et al. (2022), тот же номер PNAS: «We propose their finding of "moderate publication bias"... is the real headline; when this publication bias is appropriately corrected for, no evidence for the effectiveness of nudges remains… Mertens et al. (3) find significant publication bias, through Egger regression. Their sensitivity analysis indicates that the true effect size could be as low as d = 0.08 (if publication bias is severe)… the reported Egger coefficient (b = 2.10) is "severe"» (Maier et al., 2022, с. 1). Mertens et al. в исходной статье признают наличие смещения, но не соглашаются оценивать его как «severe» — расхождение именно в интерпретации силы смещения, не в факте его существования.
[факт] Главная величина, на которую в действительности опирается итоговый вывод Maier et al. «no evidence remains» — не d=0,08 (вторичная оценка из чувствительностного анализа Vevea-Woods, упомянутая в тексте письма до таблицы), а строка «Combined» из Table 1, столбец RoBMA-PSMA: «0.04 [0.00, 0.14]» (Maier et al., 2022, с. 2, Table 1); для сравнения там же — без поправки на смещение (Random effects) та же объединённая выборка даёт «0.43 [0.38, 0.48]».
[факт] Независимое подтверждение разрыва «лаборатория/журнал vs масштаб» из другого источника — DellaVigna & Linos (2022): «In papers published in academic journals, the average impact of a nudge is very large – an 8.7 percentage point take-up effect, a 33.5% increase over the average control. In the Nudge Unit trials, the average impact is still sizable and highly statistically significant, but smaller at 1.4 percentage points, an 8.1% increase» (DellaVigna & Linos, 2022, с. 2, абстракт).
[факт] Механизм разрыва — статистическая мощность, не только публикационная селекция: «The median nudge intervention in the Academic Journals sample has treatment arm sample size of 484 participants and a minimum detectable effect size (MDE... ) of 6.3 percentage points. In contrast, the interventions in the Nudge Units have a median treatment arm sample size of 10,006 participants and MDE of 0.8 percentage points» (DellaVigna & Linos, 2022, с. 4–5) — то есть академические исследования технически способны обнаружить (и опубликовать) только относительно крупные, часто завышенные оценки эффекта; авторы прямо называют это одной из причин разрыва наравне с селективной публикацией.
(б) Процедура. Прямого дебайасинг-приёма здесь нет — узел о величине эффекта самого инструмента управления (nudge), не о когнитивном искажении управленца. Практическое следствие для ЛПР, планирующего внедрение «подталкивания» (например, для повышения комплаенса или явки): ожидать реального эффекта ближе к 1–2 процентным пунктам масштабной практики (DellaVigna & Linos, 2022), а не к 8–9 п.п. из отдельных ярких публикаций — конкретная граница переноса указана в самом источнике. (в) Среда. Разрыв между лабораторией/журнальной публикацией и полем систематический и измеренный именно для nudge-вмешательств (см. также ДТ-03 Разброс эффектов между одинаковыми nudge мегастади) — граница «лаборатория ≠ поле» здесь не абстрактный принцип, а конкретная измеренная величина разрыва (8,7 vs 1,4 п.п.). (г) Организация. Кто решает vs кто предлагает: при оценке предложений о внедрении «подталкивания» в организации полезно спрашивать не «какой эффект показан в публикации», а «на какой выборке и с какой статистической мощностью получен этот эффект» — прямое следствие из объяснения DellaVigna & Linos (2022, с. 4–5) про MDE как один из главных факторов разрыва.
2026-09-12
отвечено 0 из 3
1. Какую величину эффекта choice architecture нашли Mertens et al. (2022) без поправки на публикационное смещение?
2. В чём суть критики Maier et al. (2022) к результату Mertens et al.?
3. Чем DellaVigna & Linos (2022) объясняют разрыв в 8,7 против 1,4 процентных пункта между академическими журналами и реальными Nudge Units?