관찰연구 방법론 논문을 읽을 때 가장 흔한 실수는 결과를 먼저 보는 것입니다. hazard ratio가 어떻게 나왔는지, simulation 결과가 얼마나 좋아졌는지, bias가 얼마나 줄었는지를 먼저 보기 쉽습니다.
하지만 좋은 방법론 논문은 오히려 독자가 결과보다 설계 표를 먼저 읽게 만듭니다. 왜냐하면 그런 논문은 "이 방법이 어떤 문제를 해결하려는가"를 먼저 분명하게 쓰기 때문입니다.
첫 번째 확인: 이 논문이 해결하려는 편향이 무엇인가
방법론 논문은 멋져 보이는 새로운 기법을 제안하는 것처럼 보여도, 사실은 특정한 편향 문제를 겨냥하는 경우가 많습니다.
- 적응증에 의한 교란을 줄이려는가
- immortal time bias를 다루려는가
- time-varying confounding을 풀려는가
- outcome misclassification 문제를 보완하려는가
이 편향 문제가 무엇인지 명확하지 않으면, 새로운 방법론도 과장될 가능성이 큽니다. "이 방법을 쓰면 더 좋아진다"는 말보다, "무엇이 왜곡되기 때문에 이 방법이 필요한가"를 먼저 확인해야 합니다.
두 번째 확인: 어떤 데이터 조건에서 작동하는가
방법론 논문은 데이터베이스 종류에 따라 실무적 가치가 달라집니다. claims, EHR, registry, linked data 중 어디에 강한지에 따라 실제 적용 가능성이 크게 달라지기 때문입니다.
예를 들어 EHR의 세밀한 임상값을 전제로 한 방법론은 claims-only 환경에서는 구현이 어렵습니다. 반대로 claims 기반 정의를 잘 활용한 방법은 규모는 크지만 임상 디테일이 부족한 데이터에서 더 실용적일 수 있습니다.
즉 방법론은 이론적으로 옳다는 것과 실무적으로 구현 가능하다는 것이 다릅니다.
세 번째 확인: 설계와 민감도 분석이 연결되는가
좋은 방법론 논문은 main analysis와 sensitivity analysis가 따로 놀지 않습니다. 어떤 가정을 핵심으로 두었는지, 그 가정이 깨졌을 때 어떤 보조 분석으로 흔들어 보는지가 자연스럽게 연결됩니다.
반대로 약한 논문은 민감도 분석이 많아 보여도 왜 그 분석을 했는지가 잘 보이지 않습니다. 숫자는 많지만 질문 구조가 흐린 상태죠.
실제 운영 데이터에선 무엇이 더 취약한가
논문이 말하는 한계를 그대로 받아 적는 것만으로는 부족합니다. 실제 운영 데이터에서는 어떤 부분이 더 취약할지를 덧붙여야 진짜 리뷰가 됩니다.
예를 들어:
- 논문은 positivity를 전제하지만 실제 데이터에서는 표본이 부족할 수 있고
- 논문은 exposure timing이 명확하지만 현실에선 처방일과 복용일이 어긋날 수 있으며
- 논문은 잘 정의된 outcome을 쓰지만, 실데이터에선 code-based definition의 오분류가 더 클 수 있습니다
이 차이를 같이 봐야 "좋은 방법론"이 "실제로 쓸 수 있는 방법론"인지 판단할 수 있습니다.
마무리
좋은 방법론 논문은 결과표로 설득하지 않습니다. 무엇이 문제였고, 왜 이 설계가 필요했고, 어떤 조건에서 유효하며, 어디까지가 한계인지로 설득합니다.
그래서 저는 방법론 논문을 읽을 때 결과보다 설계 표와 가정 목록을 먼저 보려고 합니다. 그 순서가 바뀌는 순간, 논문을 읽는 눈도 훨씬 단단해진다고 느낍니다.