← ДашбордКаталог узлов

ОВ-04. Эффекты process mining — есть ли независимые замеры

Открытый вопрос · статус: mature · проверен: 2026-08-26 · база «DT management — управление по концепции цифровых двойников»
Тезис: вопрос закрыт с результатом (возврат Х-1, 2026-08-25). Верхняя планка независимой

доказательности эффекта process mining на 25.08.2026 — «до-после БЕЗ контроля», единичный кейс; по DTO не найдено ни одного эффекта любого класса, включая низший. Прежняя формулировка узла «открыт не потому, что искали и не нашли, а потому, что искать не начинали» повышается до «искали и не нашли» — это повышение класса утверждения, и оно проведено явно.

Содержание

Вопрос точно

Существуют ли независимые (не вендорские) измерения управленческого эффекта process mining и DTO-практик — с классом доказательности выше декларации? Уточнения: (а) измеряется ли эффект решения, принятого по модели процесса, а не удовлетворённость внедрением; (б) есть ли контроль или хотя бы «до-после» с контрольной группой; (в) кто платил за замер.

🔑 Ответ (Х-1, блок (а), 2026-08-25) [факт]

(1) Единственный найденный независимый замер эффекта — и его класс. Trottier J., Van Woensel W., Wang X., Mallur K., El-Gharib N., Amyot D. «Using Process Mining with Pre- and Post-Intervention Analysis to Improve Digital Service Delivery: A Governmental Case Study», arXiv:2409.05869 (23.08.2024), печатная версия — Springer LNBIP, DOI 10.1007/978-3-031-82225-4_42 (2025). Авторы — правительство Канады + Оттавский университет; класс — [рецензируемое] + [независимый отчёт], вендорского интереса нет.

Объект: personnel security screening в федеральном ведомстве Канады. Вмешательство, найденное по логам: индивидуальный инструктаж → групповойвидео-инструктаж с цифровым подтверждением.

Показатель Фаза I (база) Фаза II (группа) Фаза III (видео)
Кейсов в выборке 273 191 182
Время инструктажа, среднее ~7 дней 4,6 дня 45,9 часа
Время инструктажа, медиана 3,6 дня 10,1 часа
Весь процесс, среднее 30,9 дня 25,8 дня
Сессий за период 191 76 0 (автоматизировано)
Экономия времени персонала ~500 ч/год (руководители) 535 ч суммарно

Окна: I — 06.01–26.10.2022; II — 05.01–15.05.2023; III — 15.06–23.10.2023. Класс доказательности: «до-после БЕЗ контроля». Контрольной группы и сопоставимой когорты нет — прямо констатировано авторами. Ограничения названы ими честно: малый объём выборки (~190 кейсов на вмешательство), возможная сезонность нагрузки, в логе фиксируется только начало события, результат ограничен низшим уровнем допуска.

(2) 🔑 Самая ценная строка для базы — авторская оговорка об атрибуции. Авторы сами признают, что вмешательства могли выглядеть очевидными и без process mining, и что реальная роль метода — обосновать ROI и выбить ресурс внутри организации, а не открыть неизвестную проблему. [гипотеза] Это тот же механизм, что в ГП-кандидате Р-5/AFRL «двойник — инструмент межфункционального торга, а не калькулятор», на смежной технологии и подтверждённый не наблюдателем со стороны, а самими исполнителями проекта. Кандидат в опорный кейс для этой ГП.

(3) 🔑 Как дисциплина оценивает себя — сплошной обзор всех кейс-стади за два десятилетия. Koorn J. J., Beerepoot I., Stein Dani V., Lu X., van de Weerd I., Leopold H., Reijers H. A. «Bringing Rigor to the Qualitative Evaluation of Process Mining Findings», ICPM 2021 (IEEE), DOI 10.1109/ICPM53251.2021. Утрехтский университет + Kühne Logistics University, финансирование NWO TACTICS, вендорских аффилиаций нет; класс — [рецензируемое]. Воронка: Scopus, "process mining" AND "case stud*", октябрь 2020: 244 кандидата → 191 (описывают новый кейс) → 115 (упоминают участие доменных экспертов) → 80 проанализированы полнотекстово.

Метод оценки в кейсе n (из 80)
Качественные методы суммарно 64
«Undefined discussion» — «показали эксперту», без правил и протокола 39
Интервью 19
Ручная разметка 13
Опрос 6
Эксперимент 4
Воркшоп 4
Фокус-группа 2

Дословно: «The vast majority of the studies perform an undefined discussion to evaluate their results (n = 39). … In these studies no guidelines, rules, or protocols are described that support the evaluation phase.»

[факт] Что отсюда следует. Модальная кейс-стади process mining проверяет не эффект, а понятность и правдоподобие модели для эксперта. По шкале классов доказательности 00_FRAMEWORK.md §5.4 это даже не «до-после без контроля». Эксперимент как метод оценки встречается в 4 из 80 работ (дословно: «we see a handful of studies setting up an experiment (n = 4) to study their results»).

Класс тезиса «все четыре оценивают технику, а не управленческий результат» понижен до [гипотеза с опорой] (В-2 §5, 2026-08-26). Это интерпретация, а не цитата — прямой опоры в тексте Koorn et al. нет. Косвенная опора есть, и она приличная: единственный приведённый авторами пример эксперимента — «the authors of [49] simulate a hospital setting to validate their algorithm», а общая рамка статьи прямо гласит: «The main evaluation focus of most existing process mining research is determining the effectiveness of proposed techniques using established metrics such as precision, recall». Но утверждение обо всех четырёх работах проверяемо только их прочтением, а оно не выполнялось.

Ещё два уточнения по первоисточнику (В-2 §5): 1. Формулировка «39 из 80 оценивают результат undefined discussion» — точнее: 39 из 80 используют undefined discussion как метод сбора данных при оценке, и категории не взаимоисключающие (одна работа может применять несколько методов: qualitative n = 64, interviews n = 19, workshops n = 4, focus groups n = 2, manual annotation n = 12, surveys n = 6). Вывод узла от этого не меняется, счёт — уточняется. 2. Внутреннее расхождение самой статьи: пример эксперимента в прозе ссылается на [49], тогда как Table II относит к Experiment работы [9], [35], [38], [68], а [49] числится в Survey и в Undefined discussion. На выводы не влияет; знать полезно.

(4) DTO: не найдено НИ ОДНОГО эффекта — ни одного класса, включая низший. Найдено вместо эффектов: панельный отчёт-консенсус Wurm B., Becker M., Pentland B. T., Lyytinen K., Weber B., Grisold T., Mendling J., Kremser W. «Digital Twins of Organizations: A Socio-Technical View…», CAIS 52, art. 26, 2023 — «Despite surging interest in practice, there is little research about this emerging topic»; работы 2026 г. по DTO всё ещё жанра «требования» и «вызовы» (Puthuparambil & Giovanoli, Springer LNBIP 2026), не «эффекты».

(5) Признание разрыва изнутри мейнстрима — с вендорским соавторством. Badakhshan P., Wurm B., Grisold T., Geyer-Klingeberg J. (Celonis SE), Mendling J., vom Brocke J. «Creating business value with process mining», JSIS 31(4):101745, 2022. Класс — [рецензируемое с вендорским соавторством] (§5.5 фреймворка: для утверждений о пользе продукта это понижает вес, для признания дефицита доказательств — повышает, это признание против интереса). Дословно: «While process mining has received tremendous uptake in practice, it is unknown how organizations use it to generate business value». Метод — множественный кейс, 8 компаний, интервью; измеренных эффектов нет ни одного: самое конкретное число — внутренний порог одной компании (кейс дороже €100 тыс. идёт в проектную хартию), то есть порог принятия решения, а не результат.

(6) Здравоохранение — самый исследованный домен, и там измерений тоже нет. Aversano L. et al., PeerJ CS, 2025 [рецензируемое]: 159 статей просеяно → 53 первичных исследования; обзор не приводит систематического подсчёта, сколько работ измерили клинический или операционный результат, и не сообщает, сколько вышло из стадии proof-of-concept. Зато считает приватность: 70,63 % исследований не рассматривают политику приватности. Дисциплина считает то, что умеет считать, и не считает эффект. Murazzano et al., Systematic Reviews, 2026 — протокол обзора, обоснование: применение process mining «largely been restricted to isolated case studies within research contexts», цель — уйти «beyond descriptive mapping toward measurable outcomes». [факт] В 2026 году исследователи мотивируют новый обзор тем, что измеренных результатов ещё никто не свёл.

Вендорская корзина (отдельно, как требует §5.1)

Forrester Consulting, «The Total Economic Impact™ of Celonis», заказчик — Celonis, 30.07.2025. Класс: [вендор] — commissioned study, несмотря на бренд «Forrester». Цифры: ROI 383 % за 3 года, окупаемость 6 месяцев, выгоды $44,1 млн, в т. ч. $24,5 млн от роста доли заказов без ручного вмешательства с 33 % до 86 %.

Почему это факт о маркетинге, а не об эффекте: (1) методика TEI строит «composite organization» — синтетическую организацию из интервью с клиентами заказчика; ни одна цифра не относится к существующей компании, контрфактическое «без Celonis» моделируется, а не наблюдается; (2) выборка — клиенты вендора, отобранные вендором; (3) исследование оплачено стороной, чью выгоду измеряет. Вердикт: 383 % ROI — декларация, низший класс доказательности. Тиражирование в отраслевой прессе (itwire, Process Excellence Network, smartcitiestech, июль–август 2025) — [СМИ по пресс-релизу], один источник, размноженный.

Что было известно до возврата (сохраняется)

Из захода Р-3 (§2.4) [рецензируемое]: - process mining — единственный класс, который строит модель организации из фактических следов, а не из представлений менеджмента; - van der Aalst (совм. Hinz, Weinhardt, BISE 63(6):615–619, 2021) дословно: «для большинства организаций невозможно создать DTO, который хорошо схватывает реальность»; «DTO — скорее видение, чем реальность»; - Park & van der Aalst (ICPM 2021): «конкретные реализации DTO для улучшения бизнес-процессов не изучались»; проверка в самой работе — case study на искусственной информационной системе; - пределы слоя: видно только записанное в ИС; плоские данные; пороговая произвольность; независимой оценки предсказательной силы автоматически открытых моделей не найдено.

Почему вопрос был открыт [факт о процессе, не о мире]: заход Р-5 (§13 п. 1) фиксирует, что сессионный лимит WebSearch был исчерпан на середине захода, и называет поимённо дыры: практики DTO/оргуправления — запрос не выполнен; измеренные эффекты process mining — запрос не выполнен. Эта пустота заполнена возвратом Х-1 и в отрицательный результат превращена явно.

Область поиска, в которой отрицательный результат верен (закон фабрик №1)

  1. Контролируемый эксперимент по эффекту process mining — не найдено. Область: WebSearch по связкам "process mining" + randomized controlled trial / quasi-experiment / effect on process performance; сплошной обзор Koorn et al. 2021 по 80 кейс-стади (эксперимент — 4 работы, все оценивают технику). В 20-летнем корпусе кейсов контролируемого замера управленческого эффекта нет.
  2. «До-после с контролем» — не найдено. Область: та же + запросы "before and after" + control и по госсектору. Единственный найденный до-после (Канада) контроля не имеет.
  3. Метаанализ эффектов process mining — не найдено. Найденные обзоры — систематические литературные обзоры применений, не метаанализы эффектов; ни один не агрегирует величины эффекта.
  4. Отчёт органа госаудита или регулятора об эффектах process mining / DTO — не найдено. Область: GAO, National Audit Office, Bundesrechnungshof, Rechnungshof, European Court of Auditors + process mining / DTO. Единственный смежный госдокумент — GAO-26-108457, и он про инженерные двойники изделий, не про DTO.
  5. Ни одного измеренного эффекта DTO любого класса — не найдено. Область: "digital twin of an organization" + empirical / case study / measured / KPI / evidence
  6. Выдача делится на три корзины: вендорские SEO-агрегаторы; концептуальные работы и «требования/вызовы»; кейсы инженерных двойников, подставляемые выдачей вместо DTO.
  7. Языковая граница: en (Р-3, Х-1) + ru прицельно (Р-5). Русскоязычного корпуса измеренных эффектов не обнаружено вовсе; китайский по эффектам не проверялся; Scopus/WoS недоступны.

Не проверено по первоисточнику (кандидаты следующему заходу): Emamjome, Andrews, ter Hofstede «A Case Study Lens on Process Mining in Practice» (BPM 2019, пейвол) — вторая независимая метаоценка качества кейсов; «Deloitte Global Process Mining Survey 2025» (в пересказе: 61 % ставят приоритетом улучшение процессов, 59 % ожидают экономии — это опрос ожиданий, не замер эффекта); полный текст Gartner MQ по DTO (платный).

Что закрытием НЕ считается

Кейсы на сайтах платформ; «сократили X на 30 %» без метрики, года, организации и метода; опросы удовлетворённости и опросы ожиданий; рыночные прогнозы; commissioned-исследования по методике «composite organization».

Кто работал

Хвостовой агент Х-1 — вернулся 2026-08-25, оба хвоста отработаны (Исследование/Х-1_DTO_эффекты_и_GAO.md, статус файла — закрыт).

Прежняя оговорка снята (косметика Д-6 акта приёмки). До возврата узел нёс ⚠ о том, что Свод Гейта-2 держит хвосты как рекомендацию на решение IAM, а протокола решения IAM в Исследование/ нет, и что статус «в работе» проставлен по ТЗ дирижёра. Вопрос исчерпан фактом: агент отработал и вернул файл; статус поля больше не зависит от протокола. Та же правка — в ОВ-06 ja-корпус Yokogawa и ОВ-07 eLibrary-слой русского поля.

Данные

Связан с

Номера сверены связывателем с фактическим составом Узлы/ на 2026-08-25.

Источники

Открытые хвосты

  1. Правка по акту приёмки 2026-08-25 (+Х-1/Х-2). Внесены: Т-28 (узел закрыт по существу; верхняя планка «до-после без контроля»; по DTO — ни одного эффекта; Koorn 39/80 и 4/80; формулировка «искать не начинали» → «искали и не нашли», проведено явно; статус openmature), Т-29 (ГП-кандидат «инструмент межфункционального торга»), Д-1 (квалификация 82,5 % приведена к редакции ПН-05/РИ-07 — доля работ в SLR, [рецензируемое], слово «опрос» снято), Д-3 (класс по «4 из 48» приведён к первичному подтверждению, ⚠ «вторично» снято), Д-6 (снята оговорка о статусе «в работе»), Д-7 (реестр грабель по обходу GAO — ниже).
  2. Поправка в реестр грабель (Д-7). Обход https://files.gao.gov/reports/<ID>/index.html, который узел нёс как «известный и проверенный», не универсален: на GAO-26-108457 S3 отдаёт AccessDenied (4 варианта пути), хотя на GAO-26-109272 работает. Рабочий обход — Wayback Machine + curl -C - --retry 8 --retry-all-errors + pymupdf.
  3. ГП-кандидат «двойник (и process mining) — инструмент межфункционального торга, а не калькулятор»: подтверждён самими исполнителями канадского проекта. В работу после захода Р-9 (ГП-узлы до него не заводятся).
  4. Emamjome et al. 2019 (BPM, Springer, пейвол) — вторая независимая метаоценка качества кейсов process mining; взять через препринт/репозиторий QUT.
  5. Deloitte Global Process Mining Survey 2025 — единственный найденный массовый опрос по теме; проверить по первоисточнику (сейчас только пересказ, и это опрос ожиданий).
  6. Повторить поиск через 6–12 месяцев — появится ли контролируемый замер или «до-после с контролем».
  7. Object-centric process mining (OCEL/OCPN) — активная область, не устоявшаяся практика; если эффекты появятся, вероятнее всего оттуда.
  8. Организационная цена прозрачности (модель делает видимыми обходные пути — политический, а не технический риск) — [гипотеза] Р-3, никем не измерена.
  9. Связь с гудхартизацией: чем ближе контур к real-time, тем быстрее агенты начинают оптимизировать лог, а не работу (Р-4 §5.6 п. 6) — эффект и его разрушение надо мерить вместе.
  10. Прочитать четыре работы-эксперимента из Koorn et al. ([9], [35], [38], [68] по Table II) — это единственный способ поднять тезис «все четыре оценивают технику» с [гипотеза с опорой] до [факт] либо опровергнуть его.

Правка по верификации первоисточников 2026-08-26 (В-2 §5). Полный текст Koorn et al. 2021 добыт (обход пейвола IEEE через зелёный OA-депозит Utrecht University DSpace) и прочитан целиком; воронка 244 → 191 → 115 → 80, «undefined discussion» n = 39 и «эксперимент» n = 4 подтверждены дословно, класс поднят до [рецензируемое — первичный текст]. Правки: (1) класс тезиса «все четыре эксперимента оценивают технику, а не эффект» понижен до [гипотеза с опорой] — это интерпретация, прямой опоры в тексте нет, косвенная названа; (2) уточнено, что 39/80 — это метод сбора данных при оценке, а категории не взаимоисключающие (приведён полный набор частот); (3) внесены метод поиска (Scopus, октябрь 2020, "process mining" AND "case stud*") и состав исключений; (4) зафиксировано внутреннее расхождение самой статьи (пример эксперимента [49] против Table II [9]/[35]/[38]/[68]). Статус узла (mature, закрыт с результатом) не меняется; главный вывод — верхняя планка «до-после без контроля» — не затронут.

Проверен на дату: 2026-08-26