"범용 AI가 의료 전문 툴을 이겼다"는 그 논문, 알고 보니 채점자가 곧 선수였다
요약: 화제의 논문, 뜯어보니 구멍투성이
2026년 6월, Nature Medicine에 실린 한 논문이 의료 AI 업계를 흔들었습니다. GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6 같은 범용 프론티어 모델이 OpenEvidence, UpToDate AI 같은 의료 전용 임상 툴을 압도했다는 내용이었죠. 문제는 이 결과가 병원 현장에서 실제로 쓰이는 도구의 순위를 뒤바꿀 만한 파급력을 가진다는 점입니다.
그런데 누군가 이 논문의 방법론을 직접 재검증해봤더니, 결론을 그대로 믿기 어려운 통계적·구조적 결함이 여러 개 발견됐습니다. 오늘은 그 재검증 내용을 하나씩 짚어보겠습니다.
논문은 어떻게 평가했나
세 단계 평가로 구성되어 있었습니다.
- MedQA 500문항: 의학 지식 평가
- HealthBench 500문항: 임상 정렬도 평가
- 실제 임상 질의 100건(RCQ): 미국 임상의 12명이 총 1,800건 평가
결론은 명확했습니다. 프론티어 모델이 세 평가 전부에서 전문 임상 툴을 이겼고, 모델 크기와 정렬 방식이 도메인 특화 튜닝보다 더 중요한 요인일 수 있다는 것이었죠.
하지만 겉으로 드러난 결론과 달리, 속을 들여다보면 이야기가 달라집니다.
문제 1: 채점자들끼리도 의견이 안 맞았다
채점자간 일치도를 나타내는 Krippendorff's alpha가 RCQ 평가에서 0.10~0.20으로 나왔습니다. 이 지표는 0이면 "우연히 맞춘 수준", 1이면 "완벽한 합의"를 뜻하는데, 순위를 매기는 용도로 쓰려면 통상 0.67 이상이 요구됩니다.
즉, 논문의 핵심 그래프(모델 우열을 보여주는 Figure 2c)는 채점자들끼리 의견이 거의 일치하지 않은 점수들의 평균에서 나온 것입니다. 신뢰하기 어려운 근거 위에 결론이 세워진 셈이죠.
문제 2: 심판이 곧 선수였다
HealthBench 평가는 LLM이 다른 LLM의 답을 채점하는 방식으로 진행됐습니다. 그런데 이 채점을 맡은 판정단이 다름 아닌 평가 대상인 GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6 세 모델로만 구성되어 있었습니다. 정작 비교 대상인 임상 전용 툴은 판정단에서 제외됐고요.
더구나 HealthBench는 OpenAI가 만든 벤치마크인데, 그 OpenAI의 GPT-5.2가 같은 벤치마크에서 평가를 받았습니다. 자기 자신이나 비슷한 계열 모델을 후하게 채점하는 self-preference bias는 이미 잘 알려진 현상인데, 이를 걸러낼 장치가 전혀 없었던 겁니다.
문제 3: 시험 문제를 이미 본 적이 있다면?
MedQA와 HealthBench는 오래전부터 인터넷에 공개된 데이터입니다. 프론티어 모델은 방대한 인터넷 텍스트로 학습하기 때문에, 이 문제와 답을 학습 과정에서 이미 접했을 가능성이 있습니다. 논문도 이 가능성 자체는 인정했지만, 실제로 결과에 얼마나 영향을 줬는지는 계산하지 않았습니다.
문제 4: 통계 처리도 석연치 않다
- 같은 질문에 여러 모델·여러 평가자가 매긴 관측치 1,704건을 서로 독립적인 것처럼 처리했습니다. 같은 질문에서 나온 점수는 문제 난이도 때문에 서로 연관되어 있는데, 이를 무시하면 실제보다 통계적으로 더 확실해 보이는 결과(pseudoreplication)가 나옵니다.
- UpToDate 거절율 19%와 Google AI Overview 거절율 6%를 비교한 Fisher's exact test 결과가 논문에는 P=0.10으로 적혀 있는데, 원 데이터(19/100 대 6/100)로 직접 계산하면 p값이 약 0.009가 나옵니다. 논문이 밝힌 유의수준(0.05) 기준으로는 유의미한 차이인데, 보정 방식이 공개되지 않아 설명이 필요한 부분입니다.
문제 5: 애초에 공정한 비교가 아니었다
프론티어 모델은 temperature 0의 결정론적 API 방식으로 평가한 반면, 임상 툴은 브라우저 인터페이스로 평가했습니다. 게다가 거절한 응답은 집계에서 제외됐는데, UpToDate는 19%를 거절해 상대적으로 쉬운 질문에 대한 점수만 남은 반면, 프론티어 모델은 1~3%만 거절해 전체 질문 분포에 대한 점수가 그대로 남았습니다. 애초에 같은 조건에서 겨룬 게 아니었던 셈이죠.
벤치마크를 바꾸면 결과도 뒤집힌다
별도의 medRxiv 연구에서는 ChatGPT Health가 실제 응급 상황의 51.6%를 과소평가(undertriage)한다는 것을 보여준 동일한 트리아지 벤치마크를 OpenEvidence에 적용했습니다. 결과는 정반대였습니다. OpenEvidence의 과소평가율은 12.5%로, ChatGPT Health의 4분의 1 수준이었습니다.
같은 툴이라도 어떤 벤치마크로 평가하느냐에 따라 결과가 완전히 달라진다는 뜻입니다. 벤치마크 선택 자체가 결론을 좌우하는 변수라는 걸 보여주는 사례입니다.
왜 이게 중요한가
OpenEvidence는 이미 미국 의사 수만 명이 매일 진료 중 쓰는 툴입니다. 이 비교는 학술적 호기심이 아니라 오늘 병원이 어떤 도구를 도입할지 결정하는 질문입니다. 2026년은 병원과 보험사가 의료 AI 조달 계약을 실제로 체결하는 시점이고, 벤치마크 논문 한 편이 그 계약의 근거로 곧바로 쓰일 수 있습니다.
Nature Medicine에 실린 논문은 발표 즉시 권위를 갖고 확산됩니다. 구조적 결함을 찾아낸 재검토는 발표로부터 며칠 뒤에야 나왔지만, 임상의는 그날 이미 교육 내용을 바꿨을 수 있습니다. 그리고 조달 결정이나 진료 지침에 한 번 반영되면, 나중에 결함이 드러나도 계약과 관행을 되돌리는 데는 훨씬 많은 시간과 비용이 듭니다.
마무리하며
이 글은 논문의 방향성 자체가 틀렸다고 주장하는 게 아닙니다. 다만 판정단 자가 채점, 낮은 채점자간 일치도, 학습 데이터 오염 가능성, 통계 처리 오류가 동시에 겹쳐 있다는 사실이 문제입니다. 이 정도로 결함이 누적된 결과에 조달 계약과 진료 지침이 좌우돼서는 안 됩니다.
논문은 결론에서 강한 확신을 표현했지만, 데이터는 그 확신을 온전히 지탱하지 못합니다. 진짜 문제는 저자의 의도가 아니라, 검증 없이 확신이 먼저 유통되는 구조 그 자체입니다. 의료 AI가 병원에 본격적으로 들어오는 지금, 벤치마크 논문 한 편이 아니라 그 논문을 검증할 독립적인 감사 체계가 먼저 갖춰져야 합니다. 주장의 속도가 검증의 속도를 앞서는 지금 같은 상태로는, 다음 논문에서도 같은 일이 반복될 수밖에 없습니다.