😱 Синтетический подгон?
Вокруг метода синтетического контроля (synthetic control, SC) бытует скепсис: его гибкость и чувствительность к спецификации создают у исследователя заметные степени свободы, которые могут превратить метод в инструмент подгонки под нужный результат
Опираясь на материалы Николаса Декера https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic, мы хотим развенчать эти мифы
SC строится на идее, что ненаблюдаемый потенциальный исход без воздействия можно аппроксимировать выпуклой комбинацией доноров, подобранной так, чтобы воспроизвести динамику исхода до интервенции ( http://doi.org/10.3386/w12831)
Для такой конструкции важны стандартные допущения: корректно заданный набор доноров, отсутствие взаимного влияния между юнитами и достаточная претритмент-панель ( http://doi.org/10.3386/w12831; http://doi.org/10.1257/aer.20190159)
🔠 Хорошая подгонка до воздействия необходима, но сама по себе не доказывает идентификацию эффекта; плохая подгонка, в свою очередь, делает причинную интерпретацию сомнительной
🔠 Свобода выбора пула доноров
🟤Уязвимость: при альтернативных разумных пулах можно получить разные оценки при схожем pre-fit; риск особенно высок, если часть доноров затронута spillovers ( https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic)
🟤Ответ: SC делает этот выбор явным и более прозрачным, чем неформальный подбор «похожего региона»; на практике нужны заранее обоснованный donor pool, проверка чувствительности к альтернативным пулам и leave-one-out, чтобы убедиться, что результат не определяется одним-двумя донорами ( http://doi.org/10.3386/w12831; https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic)
🔠 Неуникальность весов и вычислительная нестабильность
🟤Уязвимость: разные наборы весов могут давать почти одинаковый pre-fit, но разные посттритмент-исходы; также результат может зависеть от гиперпараметров и программной реализации ( https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic; https://as.nyu.edu/content/dam/nyu-as/cashtransferlab/documents/RPJHSC_SyntheticControl_041122.pdf)
🟤Ответ: Частичное решение – регуляризация: penalized SC стабилизирует веса, а Synthetic DID уменьшает чувствительность за счёт более устойчивой структуры ( https://doi.org/10.1080/01621459.2021.1971535; http://doi.org/10.1257/aer.20190159). В анализе следует фиксировать параметры оптимизации и сравнивать результаты с регуляризованными версиями метода
🔠 Cherry-picking предикторов и претритмент-окон
🟤Уязвимость: выбор ковариат и окон до интервенции может стать каналом спецификационного поиска и роста ошибок I рода ( https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic; https://mpra.ub.uni-muenchen.de/85138/1/MPRA_paper_85138.pdf)
🟤Ответ: это не аргумент против SC как такового, а аргумент против неформализованного применения любых методов ( https://mpra.ub.uni-muenchen.de/85138/1/MPRA_paper_85138.pdf). Нужен заранее заданный протокол, отчётность по нескольким разумным спецификациям и проверка устойчивости pre-fit по подокнам претритмента; длинный претритмент-период ограничивает, но не устраняет свободу подбора ( https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic)
🔠 Хороший pre-fit не тождественен идентификации
🟤Уязвимость: идеальная подгонка может отражать шум или временные шоки, а не эффект интервенции ( https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic; https://as.nyu.edu/content/dam/nyu-as/cashtransferlab/documents/RPJHSC_SyntheticControl_041122.pdf)
🟤Ответ: стандартные placebo-проверки (in-space, in-time и анализ post/pre MSPE) позволяют проверить, является ли наблюдаемое расхождение статистически нетипичным по сравнению с донорскими траекториями ( http://doi.org/10.3386/w12831)
🔠 Spillovers и нарушение SUTVA
🟤Уязвимость: если доноры затронуты spillovers, они перестают быть чистым контролем, и оценка смещается ( https://nicholasdecker.substack.com/p/how-much-should-we-trust-synthetic)
🟤Ответ: стоит исключать подозрительных доноров (например, соседних юнитов при сильных spillovers), и строить контроль из менее подверженных юнитов ( http://doi.org/10.3386/w12831). Кроме того, развивается литература, которая формально учитывает spillovers и расширяет область применимости метода ( https://doi.org/10.48550/arXiv.2411.01249)
В конечном счете претензии к методам нередко говорят не о самом инструменте, а о том, как им пользуются: у плохого мастера всегда инструмент виноват :)
А мы желаем вам внимательности к предпосылкам и устойчивых результатов! 👋
#канал_обозревает
https://t.me/causal_channel
