📖 Иерархия доказательств: опасная эвристика или критерий истинности?
Не спешите пролистывать :) Мы бы не стали ворошить избитую классику, но подумали, что это отличный случай обсудить, почему максима о том, что эксперименты являются золотым стандартом оценки, не всегда может быть правдой
🙂 Что такое «пирамида доказательности»?
🟤Это визуальная форма «иерархии доказательств» (hierarchy of evidence): разные типы эмпирических исследований упорядочиваются по предполагаемой надежности причинных выводов [см. первый рисунок]
🟤Наверху расположены эксперименты и их синтез – систематические обзоры и мета-анализы; ниже – квазиэксперименты; ещё ниже – наблюдательные исследования и экспертное мнение
👨⚕️ Откуда эта идея?
🟤Термин «Hierarchy of Evidence» возник в медицине и впервые был использован в 1979 году в отчёте Canadian Task Force on the Periodic Health Examination – первом официальном источнике, предложившем организовать виды клинических исследований по степени их надёжности ( https://pmc.ncbi.nlm.nih.gov/articles/PMC1704686/)
🟤Эта иерархия стала одним из главных инструментов доказательной медицины для оценки качества научных результатов и клинических рекомендаций ( https://dx.doi.org/10.2139/ssrn.4297163; https://doi.org/10.1097/prs.0b013e318219c171)
🟤Попытки визуализировать иерархию в форме пирамиды возникли только в конце 1990-х – начале 2000-х годов, а первой широко признанной пирамидой считается вариант, разработанный в SUNY Downstate Medical Center, который затем был воспроизведен во множестве руководств и учебников по доказательной медицине (evidence-based medicine, EBM) ( http://library.downstate.edu/EBM2/2100.htm; https://dx.doi.org/10.2139/ssrn.4297163; https://www.researchgate.net/publication/302564832_Hierarchies_of_evidence_in_evidence-based_medicine)
🔮 В чём сила эвристики и в чём её ловушка?
🟤Пирамида полезна как быстрый ориентир: некоторые дизайны в среднем лучше «защищены» от систематических смещений. Например, рандомизация снижает риск конфаундинга (confounding) ( https://doi.org/10.1007/s11606-013-2755-z)
🟤Однако в неопытных руках пирамида легко превращается в неверную логику «RCT = истина»
🟤Ротман подчёркивает: выводы о валидности нельзя делать из названия или новомодности дизайна [
https://t.me/c]; её определяют конкретные угрозы внутренней валидности и то, насколько исследование их выявляет и контролирует ( https://doi.org/10.1007/s11606-013-2755-z) – это очень важно, поскольку, например, в экономике только 30-40% исследований с претензией на оценку эффектов обсуждают идентификационные предпосылки [
https://t.me/causal_channel]
❗️Иерархия дизайнов не является иерархией корректности причинного вывода
🟤Даже в RCT остаются источники смещения: несоблюдение назначения (noncompliance), разрыв между эффектом назначения и эффектом получения воздействия; анализ «по намерению» (intent-to-treat, ITT) при неполном соблюдении; потери наблюдений (attrition); ошибки измерения; интерференция (interference) и внешние эффекты (spillovers) ( https://doi.org/10.1007/s11606-013-2755-z)
🟤Напротив, квазиэкспериментальные исследования могут давать высоко валидный причинный вывод, если идентификация проведена аккуратно
Эта логика сатирически демонстрируется в «пирамиде Ротмана–Дахли»: наверху должны быть «вдумчивые и хорошо выполненные исследования любого дизайна», а не «правильные» ярлыки; внизу – исследования, где причинный вывод не выдерживает методологической проверки [см. второй рисунок] ( https://doi.org/10.5281/zenodo.18084433)
🙂 Главная мораль: пирамида работает, когда работает идентификация
Если оставить в стороне названия дизайнов, то «силу доказательства» определяет не форма исследования, а корректность идентификации: соответствует ли оценка заявленному причинному параметру (estimand), и насколько убедительно устранены источники смещения
P. S. От себя мы крайне советуем почитать работу ( https://doi.org/10.1007/s11606-013-2755-z), где Ротман обсуждает основные исследовательские заблуждения
P. P. S. О важности осмысленного подхода к квазиэкспериментам также можно у Никиты Бурлова
#канал_обозревает
https://t.me/causal_channel
