사카나 AI가 논문에 의도적으로 넣은 논리적 모순과 핵심 오류를 73% 이상 찾아내는 LLM 기반 동료 검토 시스템을 공개했다. 기존 AI 논문 심사 시스템은 인간 심사자의 평가를 얼마나 비슷하게 재현하는지를 주로 측정했다. 이번 연구는 논문에 담긴 논리적 모순과 오류를 실제로 찾아내는 능력을 살폈다.
사카나 AI 연구진은 8일(현지시간) 온라인 아카이브에 공개한 연구 논문 ‘비욘드 이미테이션(Beyond Imitation)’에서 새로운 평가 기준인 ‘모순 벤치마크(Contradiction Benchmark)’와 다층 검토 시스템 ‘MLR(Multi-Layered Review)’을 발표했다.
연구 결과, MLR은 논문의 핵심 주장에 삽입된 오류를 4회 검토했을 때 73.43% 찾아냈다. 비교 대상 시스템 중 가장 높은 탐지율을 보인 에이전트리뷰(AgentReview)는 14.81%로, MLR의 탐지율은 이보다 약 5배 높았다.
이번 연구는 AI가 인간의 심사 의견을 그럴듯하게 재현하는 데 그치지 않고, 실제 연구의 신뢰성을 검증하는 보조 도구로 쓰일 수 있는지 살펴봤다는 점에서 의미가 있다.
연구진은 AI 논문 심사 시스템의 오류 탐지 능력을 객관적으로 비교하기 위해 모순 벤치마크를 만들었다. ACL, AISTATS, CVPR, ICML 등 2025년 주요 학술대회와 NeurIPS 2024에서 발표된 논문 257편에 논리적 모순 1164개를 의도적으로 삽입했다.
문장 일부를 무작위로 바꾸는 방식은 사용하지 않았다. 먼저 구글의 ‘제미나이 2.5 프로’를 이용해 각 논문의 핵심 주장과 근거, 방법론, 실험 결과 등을 연결한 지식 그래프를 만들었다. 그런 다음 핵심 주장과의 관계를 바탕으로 오류의 심각도를 나누고, 각 항목에 모순을 넣었다.
핵심 주장을 뒤집는 오류와 세부 구현 내용을 바꾸는 오류는 논문의 타당성에 미치는 영향이 다르다는 점을 반영한 것이다. 연구진은 그중 핵심 주장에 직접 연결된 오류를 우선 탐지 대상으로 삼았다.
평가에서 MLR은 핵심 주장과 관련된 오류를 4회 검토했을 때 73.43% 찾아냈다. 한 차례만 검토해도 탐지율은 60.79%였다. 여러 번 검토해야 성능이 크게 개선되는 기존 시스템과 달리, 한 번의 검토만으로도 높은 탐지율을 보였다.
다만 이 수치가 실제 논문에서 자연적으로 발생하는 모든 오류를 찾아낼 확률을 뜻하지는 않는다. 벤치마크에 넣은 오류는 연구진이 인위적으로 삽입한 모순이며, 일부는 문맥에 어울리지 않는 표현을 포함할 수 있다. 연구진도 이런 특성 때문에 오류가 더 쉽게 발견될 가능성이 있다고 인정했다.
MLR의 핵심은 논문을 충분히 이해한 뒤 심사 의견을 작성하도록 설계했다는 데 있다. 시스템은 논문 부록을 분석하는 부록 에이전트, 관련 선행 연구를 조사하는 검토 에이전트, 최종 심사 의견을 작성하는 심사 에이전트 등 세 부분으로 구성된다.
부록 에이전트는 ‘클로드 하이쿠 3.5’를 사용해 실험과 구현의 세부 사항을 요약한다. 선행 연구 검토 에이전트는 ‘클로드 소네트 4’로 관련 연구를 조사해 논문의 독창성과 기존 연구와의 관계를 살핀다. 이 기능은 필요에 따라 생략할 수 있다.
중심 역할을 맡는 심사 에이전트는 클로드 소네트 4로 논문 본문을 세 단계에 걸쳐 검토한다. 먼저 논문의 전체 구조와 핵심 아이디어를 정리한다. 다음으로 내용을 자세히 읽으며 주장과 근거를 대조해 약점, 가정, 논리적 공백을 찾는다. 마지막에는 앞선 분석과 부록 요약, 선행 연구 정보를 종합해 강점과 약점, 질문, 종합 평가와 점수 등을 작성한다.
이는 사람이 논문을 읽을 때 전체 구조를 먼저 파악하고 세부 내용을 살핀 뒤 평가하는 방식에서 착안한 절차다. 논문 PDF를 직접 입력해 수식과 그림도 가능한 한 보존하도록 했다. 본문을 심층 분석하는 분량은 최대 10페이지로 제한했다.
연구진은 모델을 별도로 학습하거나 GPU로 추가 훈련하지 않고, 상용 API 모델을 활용해 시스템을 구성했다. 선행 연구 검토 기능을 제외하면 논문 한 건을 심사하는 비용은 약 0.47달러였다.
하지만 인위적으로 만든 오류를 잘 찾아냈다고 해서 실제 논문에 숨겨진 문제도 같은 수준으로 발견하는 것은 아니다.
연구진이 실제 철회 논문 211편으로 구성된 ‘위드드로어Xiv-체크(WithdrarXiv-Check)’ 데이터셋에서 평가하자 MLR의 성능은 크게 낮아졌다. 철회 사유와 심사 의견이 정확히 일치하는지를 기준으로 했을 때 탐지율은 16.11%였다. 문제 유형이 비슷한 경우도 인정하는 완화된 기준에서는 26.07%에 그쳤다.
그럼에도 MLR은 두 평가 기준 모두에서 비교 시스템보다 높은 성능을 냈다. 오류가 정확히 일치해야 하는 기준에서 기존 시스템의 최고 탐지율은 9%였다. 유사한 문제까지 인정한 기준에서는 에이전트리뷰가 18.48%를 기록했다.
이런 차이는 실제 오류가 인위적으로 삽입한 모순보다 복잡하고 다양하다는 점을 보여준다. 철회 논문에는 수학적 증명이나 이론적 타당성과 관련된 문제도 많다. 머신러닝 학술대회 논문을 중심으로 설계한 시스템이 이런 문제를 모두 정확히 포착하기는 어렵다. 철회 사유가 모호하게 작성돼 시스템이 실제 문제를 지적했더라도 평가 과정에서 정확한 일치로 인정되지 않은 사례도 있었다.
연구진은 AI 심사 시스템과 인간 심사자가 논문 검토 과정에서 주목하는 지점이 다르다는 사실도 확인했다. MLR은 논문의 타당성과 실험 결과 검증에 더 큰 비중을 두는 반면, 인간 심사자는 글의 명확성이나 독창성을 상대적으로 더 중요하게 평가하는 경향을 보였다.
이는 AI가 인간 심사자를 대체하기보다, 인간이 놓친 문제를 추가로 찾아내는 보완 도구로 활용될 가능성을 시사한다.