РИ-03. Complacency: автоматика камуфлирует отказ, а человек теряет способность его заметить

Содержание

[факт, дословно] Bainbridge (1983) — самая цитируемая формулировка проблемы (~1800 цитирований к 2016 г.). Ключевое для двойников:

• Камуфлирование отказа: «Unfortunately automatic control can "camouflage" system failure by controlling against the variable changes, so that trends do not become apparent until they are beyond control. This implies that the automatics should also monitor unusual variable movement.»
• Невозможная задача мониторинга: «the automatic control system has been put in because it can do the job better than the operator, but yet the operator is being asked to monitor that it is working effectively… There is therefore no way in which the human operator can check in real-time that the computer is following its rules correctly… The human monitor has been given an impossible task.»
• Деградация навыка: «physical skills deteriorate when they are not used… This means that a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one.»
• Предел внимания: «it is impossible for even a highly motivated human being to maintain effective visual attention towards a source of information on which very little happens, for more than about half an hour» (со ссылкой на Mackworth, 1950). И о журналировании: «people can write down numbers without noticing what they are».
• Требование объяснимости — за 40 лет до XAI: компьютер должен принимать решения методами, критериями и в темпе, за которыми оператор может следовать, «even when this may not be the most efficient method technically».
• Финальная ирония: «it is the most successful automated systems, with rare need for manual intervention, which may need the greatest investment in human operator training.»

[факт] Эмпирическое подкрепление — три независимые линии рецензируемых исследований: - Parasuraman & Manzey (2010, ~1096 цитирований): automation complacency возникает при многозадачной нагрузке; обнаруживается и у новичков, и у экспертов; не преодолевается простой практикой; automation bias даёт ошибки как пропуска, так и совершения. ⚠ Тезис «не предотвращается тренировкой или инструкциями» взят из аннотации, полнотекстовой сверки в сырье нет. - Endsley & Kiris (1995): out-of-the-loop performance problem — падение ситуационной осведомлённости и рост времени решения после отказа экспертной системы; причина — сдвиг от активной обработки информации к пассивной; проблема значимо сильнее при полной автоматизации, чем при промежуточных уровнях. - Sarter, Woods & Billings (1997): automation surprises / mode confusion переживают даже пилоты со значительным линейным опытом; чаще всего — в нештатных и критичных по времени ситуациях.

[факт, рецензируемое] Корпус про автоматизационное смещение (Cummings; Skitka et al.; ISQ 68(2):sqae020, 2024): операторы «отказываются от чувства ответственности и, следовательно, подотчётности из-за ощущения, что управляет автоматика»; в эксперименте 39 из 40 испытуемых почти всегда следовали неверным автоматическим указаниям, несмотря на наличие противопоказаний и возможность проверки.

[гипотеза, высокая уверенность — перенос Р-4 на управленческий кабинет] 1. Двойник, который «сам управляет», порождает менеджера, который не умеет управлять: управленческий навык деградирует без применения так же, как операторский. 2. Мониторинг двойника людьми невозможен как задача: если двойник поставлен потому, что считает лучше человека, человек не может проверить его вычисление — только судить на мета-уровне «приемлемо ли». Impossible task Bainbridge, перенесённая в кабинет. 3. Камуфляж отказа — самое опасное для DT: двойник, замкнутый в контур автоматической компенсации, скрывает деградацию, пока она не станет неуправляемой. 4. Инверсия бюджета обучения: чем лучше работает DTO, тем больше, а не меньше, надо вкладывать в подготовку людей, которые возьмут управление при его отказе. 5. У двойника есть режимы (сценарий / прогноз / рекомендация / автодействие); менеджер, не понимающий, в каком режиме система, — это mode confusion в кабинете.

Статус утверждения: механизм в исходной области (авиация, АЭС, экспертные системы) — [факт] класса A. Перенос в управление по двойнику — [гипотеза]: эмпирических исследований automation complacency непосредственно в DTO/process-mining контексте в сырье не найдено ни одного (область поиска — Р-4, RQ5).

Данные

Где реализовался (ребро РИ → КС)

В поле двойников — не найдено в сырье. Эмпирика лежит целиком вне DT-дискурса: авиация (automation surprises), АЭС, экспертные системы.

Задокументированные конфигурации, где механизм виден: - Прото-случай TMI-1979 и ЧАЭС-1986 — см. РИ-04 Авария модели: не classic complacency, но тот же контур «человек рядом с автоматикой, чьё состояние он не может проверить». INSAG-7 прямо связывает: уроки TMI, включая «the importance of the man-machine interface», в СССР исполнены не были. Узла КС для этих случаев в составе §4 свода Гейта-2 нет. - КС-09 Yokogawa JSR — обратный пример: автономный контур 35 суток, при котором человек не выбывал из контура целиком, потому что защитные блокировки и аварийный останов оставались независимыми от модели. - КС-08 Bradford NHS — ближайшая управленческая иллюстрация выпадения из контура: координаторы начинают работать по экрану, а не по записи (механизм не установлен ⚠).

Чем купируется

1. Проектирование уровня автономии как параметра, а не максимума — прямое следствие Endsley & Kiris: промежуточные уровни автоматизации дают лучшую готовность к отказу, чем полная. [гипотеза о переносе; факт об эмпирике].
2. Сохранение независимого защитного контура (КС-09 Yokogawa JSR): «модель получает рычаг, но не получает права отменить защиту». Самая практичная из найденных форм — и она из культуры АСУТП, а не из DT-дискурса. [факт о практике; корпоративная процедура, не стандарт].
3. СТ-06 НП-003-97 и ANSI/ANS-3.5 — институт тренажёра: регулятор обязывает поддерживать навык оператора отдельно от эксплуатации. Это прямое исполнение «финальной иронии» Bainbridge, закреплённое нормой.
4. Требование к автоматике мониторить «необычное движение переменных», а не только отклонение от нормы (Bainbridge, дословно) — контрмера против камуфляжа.
5. Требование объяснимости и темпа: интерфейс двойника обязан показывать не только состояние, но и собственные действия и собственные границы применимости — вывод комиссии Кемени по TMI (дефект консоли назван одним из трёх главных факторов) в форме проектного требования.
6. «Meaningful human control»: время, полномочия, возможность отмены, подотчётная процедура (рецензируемый корпус про automation bias).

Связан с

• ТЕ-06 Bainbridge Ironies of Automation — несущая теория узла.
• РИ-04 Авария модели — исход, к которому ведёт незамеченный камуфляж.
• РИ-07 Ложная уверенность в модели — соседний механизм: там доверие к содержанию модели, здесь — утрата способности проверить.
• РИ-01 Дрейф модели и отсутствие непрерывной валидации — камуфляж делает дрейф ненаблюдаемым.
• КС-09 Yokogawa JSR — купирование через независимые защиты.
• КС-08 Bradford NHS — управленческая иллюстрация.
• СТ-06 НП-003-97 — тренажёр как институт поддержания навыка.
• ПР-06 Две линии лестницы — ступени 4–5 живут только там, где такой институт есть.
• ПР-05 Автономное управление — практика, в которой риск максимален.
• ОВ-03 Complacency в DTO — лакуна, названная прямо.

Источники

• Bainbridge L. «Ironies of automation», Automatica 19(6):775–779, 1983, DOI 10.1016/0005-1098(83)90046-8 (прочитано полнотекстово в заходе Р-4) · https://dl.acm.org/doi/abs/10.1016/0005-1098(83)90046-8 · обращение 2026-08-23 · [рецензируемое].
• Parasuraman R., Manzey D. H. «Complacency and Bias in Human Use of Automation: An Attentional Integration», Human Factors 52(3):381–410, 2010 · https://journals.sagepub.com/doi/10.1177/0018720810376055 · обращение 2026-08-23 · [рецензируемое].
• Endsley M. R., Kiris E. O. «The Out-of-the-Loop Performance Problem…», Human Factors, 1995 · https://journals.sagepub.com/doi/10.1518/001872095779064555 · обращение 2026-08-23 · [рецензируемое].
• Sarter N., Woods D., Billings C. «Automation surprises», in Handbook of Human Factors and Ergonomics, 2nd edn., Wiley, 1997 · https://www.researchgate.net/publication/270960170_Automation_surprises · обращение 2026-08-23 · [рецензируемое].
• «Bending the Automation Bias Curve», International Studies Quarterly 68(2):sqae020, 2024 · https://academic.oup.com/isq/article/68/2/sqae020/7638566 · обращение 2026-08-25 · [рецензируемое].
• Cummings M. L. «Automation and Accountability in Decision Support System Interface Design», J. Technology Studies 32(1) · https://jotsjournal.org/articles/10.21061/jots.v32i1.a.4 · обращение 2026-08-25 · [рецензируемое].
• Yokogawa. Пресс-релиз 22.03.2022 — автономное управление ректификационной колонной JSR Corp.; сохранение защитных блокировок и аварийного останова · https://www.yokogawa.com/news/press-releases/2022/2022-03-22/ · обращение 2026-08-25 · [вендор, первичный корпоративный отчёт].
• НП-003-97 (ПНАЭ Г-5-40-97) · https://docs.secnrs.ru/documents/nps/НП-003-97/pnae054097r_T55.html · обращение по сырью Д-2 · [первичный документ].
• INSAG-7. The Chernobyl Accident: Updating of INSAG-1, Safety Series No. 75-INSAG-7, IAEA, 1992 — о неисполненных уроках TMI и о человеко-машинном интерфейсе · https://www-pub.iaea.org/MTCD/publications/PDF/Pub913e_web.pdf · обращение по сырью Д-2 · [независимый отчёт].

Открытые хвосты

• Главная лакуна: эмпирических исследований automation complacency непосредственно в DTO/process-mining контексте не найдено ни одного. Перенос из human factors в управление по двойнику остаётся гипотезой. Кандидат в исследовательскую программу дисциплины.
• Формулировка Parasuraman & Manzey «не предотвращается тренировкой» не сверена полнотекстово ⚠.
• Bainbridge не нумерует «иронии»; пересказы дают от трёх до семи — при цитировании не пользоваться чужой нумерацией.
• Требование «автоматика должна мониторить необычное движение переменных» нигде в DT-стандартах не обнаружено — проверить ISO 23247 и DTC CPT на его наличие.

Проверен на дату: 2026-08-25