ТЕ-06. Bainbridge: «Ironies of Automation» (1983)

Содержание

Авторство и год. [факт] Lisanne Bainbridge, «Ironies of automation», Automatica 19(6):775–779, 1983, Brief Paper, DOI 10.1016/0005-1098(83)90046-8. Получено 16.12.1982, ревизия 23.05.1983; первая версия — доклад на конференции IFAC/IFIP/IFORS/IEA, Баден-Баден, сентябрь 1982. Автор — Department of Psychology, University College London. Прочитано полнотекстово в заходе Р-4. ⚠ Проверка наряда «Bainbridge 1983 ⚠» закрыта: подтверждено.

Эпиграф автора (дословно):

«Irony: combination of circumstances, the result of which is the direct opposite of what might be expected. Paradox: seemingly absurd though perhaps really well-founded statement.»

Ключевые положения — дословно из первоисточника. [факт]

• Ирония первая: ошибки проектировщика могут быть основным источником эксплуатационных проблем.
• Ирония вторая: «the designer who tries to eliminate the operator still leaves the operator to do the tasks which the designer cannot think how to automate … the operator can be left with an arbitrary collection of tasks, and little thought may have been given to providing support for them.»
• Деградация навыка: «physical skills deteriorate when they are not used, particularly the refinements of gain and timing. This means that a formerly experienced operator who has been monitoring an automated process may now be an inexperienced one.» И про долговременную память: «efficient retrieval of knowledge from long-term memory depends on frequency of use».
• Предел внимания: «We know from many "vigilance" studies (Mackworth, 1950) that it is impossible for even a highly motivated human being to maintain effective visual attention towards a source of information on which very little happens, for more than about half an hour.» И про журналирование: «A classic method of enforcing operator attention to a steady-state system is to require him to make a log. Unfortunately people can write down numbers without noticing what they are.»
• Невозможная задача: «the automatic control system has been put in because it can do the job better than the operator, but yet the operator is being asked to monitor that it is working effectively… There is therefore no way in which the human operator can check in real-time that the computer is following its rules correctly… The human monitor has been given an impossible task.»
• Камуфлирование отказа — центральное для DT: «Unfortunately automatic control can "camouflage" system failure by controlling against the variable changes, so that trends do not become apparent until they are beyond control. This implies that the automatics should also monitor unusual variable movement.»
• Требование объяснимости, за 40 лет до XAI: «If the human operator must monitor the details of computer decision making then, ironically, it is necessary for the computer to make these decisions using methods and criteria, and at a rate, which the operator can follow, even when this may not be the most efficient method technically.»
• Финальная ирония: «Perhaps the final irony is that it is the most successful automated systems, with rare need for manual intervention, which may need the greatest investment in human operator training.»

⚠ Важно для цитирования: работа не нумерует «иронии» списком; разные пересказы дают от трёх до семи. Здесь приведены дословные фрагменты, а не чужая нумерация (Р-4, «Не подтвердилось», п. 9).

Эмпирическая база — сильная, и это редкость в кластере. Bainbridge опирается на корпус vigilance-исследований и практику эксплуатации; статус по шкале Р-4 — A. Рядом стоят три эмпирические работы того же поля:

• Parasuraman & Manzey (2010), «Complacency and Bias in Human Use of Automation», Human Factors 52(3):381–410, DOI 10.1177/0018720810376055, ~1096 цитирований. [факт] Automation complacency возникает при многозадачной нагрузке, когда ручные задачи конкурируют с автоматизированной за внимание; обнаруживается и у новичков, и у экспертов, не преодолевается простой практикой; automation bias даёт ошибки и пропуска (omission), и совершения (commission). ⚠ Тезис «не предотвращается тренировкой или инструкциями» взят из аннотации, полнотекстовая сверка не проводилась.
• Endsley & Kiris (1995), out-of-the-loop performance problem, Human Factors, DOI 10.1518/001872095779064555. [факт] Низкая ситуационная осведомлённость соответствовала ухудшению времени принятия решения после отказа экспертной системы; вероятная причина — сдвиг от активной обработки информации к пассивной. Ключевое: проблема значимо сильнее при полной автоматизации, чем при промежуточных уровнях.
• Sarter, Woods & Billings (1997), «Automation surprises». [факт по ссылке] Автоматизационные сюрпризы переживают даже пилоты со значительным линейным опытом; проблемы с осознанием режима возникают чаще всего в нештатных и критичных по времени ситуациях.

Критика. Прямой критики Bainbridge в сырье не найдено — работа принята полем как классика (цитируемость ~1800 к ноябрю 2016 г. и растущая). Ограничение переноса: вся эмпирика собрана в авиации, АЭС и лабораторных задачах слежения — ни одного исследования complacency непосредственно в DTO/process-mining контексте не найдено (Р-4, «Не подтвердилось», п. 13). Это ограничение переноса, а не изъян теории.

Предсказательная сила для управления по двойнику. [гипотеза, высокая уверенность] 1. Двойник, который «сам управляет», порождает менеджера, который не умеет управлять. Управленческий навык деградирует без применения ровно так же, как операторский. 2. Мониторинг двойника людьми невозможен как задача. Если двойник поставлен потому, что считает лучше человека, человек не может проверить его вычисление и может судить лишь на мета-уровне «приемлемо ли». Impossible task Bainbridge, перенесённая в кабинет. 3. Камуфляж отказа — самое опасное для DT. Двойник, замкнутый в контур автоматической компенсации, будет скрывать деградацию, пока она не станет неуправляемой. Проектное требование: двойник обязан мониторить «необычное движение переменных», а не только отклонение от нормы. 4. Инверсия бюджета обучения. Чем лучше работает DTO, тем больше, а не меньше, надо вкладывать в подготовку людей, которые возьмут управление при его отказе. 5. Уровень автономии — проектируемый параметр, а не технический максимум (следствие Endsley & Kiris: полная автоматизация хуже промежуточной). 6. У двойника есть режимы (сценарий / прогноз / рекомендация / автодействие); менеджер, не понимающий, в каком режиме система, — это mode confusion в управленческом кабинете.

Данные

Связан с

Ссылки сверены связывателем с фактическим составом Узлы/ на 2026-08-25; неразрешённые адресаты помечены ⚠ узел не заведён (кандидат).

• ТЕ-07 Перформативность моделей: как карта становится территорией (Leonardi & Leavell) — оба механизма про человека рядом с контуром, а не про качество модели.
• ТЕ-05 Закон Гудхарта в контуре двойника — скорость контура усиливает и камуфляж, и гудхартизацию.
• РИ-03 Complacency: автоматика камуфлирует отказ, а человек теряет способность его заметить — риск целиком выведен из этой теории.
• РИ-04 «Авария модели»: решение принято по рассинхронённой модели (класс TMI / ЧАЭС) — камуфляж отказа как механизм подхода к аварии.
• ПН-03 Лестница зрелости: descriptive → autonomous — уровень автономии как проектируемый параметр, а не технический максимум.
• ПР-01 Мониторинг реального времени — требование мониторить необычное движение переменных, а не только отклонение от нормы.
• ПР-05 Автономное управление — теория задаёт практике требование промежуточного уровня автономии.
• ДО-04 Энергетика и АЭС — родная область эмпирики этой линии.
• ОВ-03 Complacency в DTO — исследовательская лакуна — прямая исследовательская дыра.

Источники

• И-30 — Bainbridge L. «Ironies of automation», Automatica 19(6):775–779, 1983 — все дословные фрагменты; прочитано полнотекстово — https://dl.acm.org/doi/abs/10.1016/0005-1098(83)90046-8 · [рецензируемое] · обращение 2026-08-23.
• И-49 — приём работы и цитируемость — https://en.wikipedia.org/wiki/Ironies_of_Automation · [справочное] · обращение 2026-08-23.
• И-50 / И-51 — Parasuraman R., Manzey D.H., Human Factors 52(3):381–410, 2010 — complacency и automation bias — https://journals.sagepub.com/doi/10.1177/0018720810376055 · открытая копия https://depositonce.tu-berlin.de/bitstream/11303/8923/1/Parasuraman_Manzey_2010.pdf · [рецензируемое] · обращение 2026-08-23.
• И-52 — Endsley M.R., Kiris E.O., Human Factors, 1995 — out-of-the-loop; хуже при полной автоматизации — https://journals.sagepub.com/doi/10.1518/001872095779064555 · [рецензируемое] · обращение 2026-08-23.
• И-53 / И-54 — Sarter, Woods, Billings «Automation surprises», 1997 + полевое подтверждение в авиации — https://www.researchgate.net/publication/270960170_Automation_surprises · https://www.mdpi.com/2313-576X/3/3/20 · [рецензируемое] · обращение 2026-08-23.
• Носитель выжимки: Исследование/Р-4_Теории_управления_по_модели.md, §5.2–5.3, RQ6 поз. 20–23.

Открытые хвосты

• Полнотекстовая проверка тезиса Parasuraman & Manzey «не предотвращается тренировкой» — не проводилась (взято из аннотации).
• Перенос теорий human factors в управление по двойнику остаётся [гипотезой]: эмпирики complacency в DTO нет. Возможно, главная лакуна поля (оценка Р-4).
• Sarter/Woods/Billings 1997 взято по ссылке, не полнотекстово.

Проверен на дату: 2026-08-25