논문에 담긴 복잡한 분석 코드와 연구 방법을 자동으로 검증하고, 자연어로 실행할 수 있는 대화형 AI 에이전트로 변환하는 오픈소스 시스템이 공개됐다.
스탠퍼드대학교 연구진은 16일(현지시간) 논문과 코드 저장소를 분석해 연구 방법을 실행 가능한 도구로 바꾸는 ‘페이퍼투에이전트(Paper2Agent)’를 네이처를 통해 발표했다. 단순히 논문의 내용을 요약하는 데 그치지 않고, 연구 방법 자체를 검증 가능한 실행 도구로 전환한다는 점이 핵심이다.
컴퓨터과학과 바이오메디컬 분야의 연구 논문은 코드가 함께 공개된 경우에도 일반 연구자가 저장소를 직접 내려받고 개발 환경을 구성한 뒤 의존성을 설정하며 오류를 해결해야 하는 일이 많았다. 이 과정에 상당한 시간과 비용이 들어 유용한 연구 방법이 실제 활용으로 이어지기 어렵다는 문제가 있었다.
스탠퍼드대 연구진은 이 문제를 해결하기 위해 최신 모델 컨텍스트 프로토콜(MCP)을 적용했다. 페이퍼투에이전트는 논문의 텍스트와 코드베이스, 튜토리얼을 분석한 뒤 샌드박스 환경에서 실행할 수 있는 MCP 서버로 변환한다. 사용자는 별도의 코드를 작성하지 않아도 자연어 명령만으로 논문의 분석 방법을 실행하거나 새로운 데이터셋에 적용할 수 있다. 연구진은 이를 ‘가상 교신저자(virtual corresponding author)’라고 표현했다.
변환 절차는 6단계로 자동 진행된다. 먼저 코드 저장소를 검색해 내려받고, 환경 관리 에이전트가 격리된 가상환경을 만든다. 그다음 튜토리얼을 분석한 뒤 처음부터 끝까지 실제로 실행해 기준 결과를 확보한다. 이후 도구 추출기가 튜토리얼을 매개변수 조정이 가능한 MCP 도구로 바꾸고 검증을 진행한다. 마지막으로 검증을 통과한 도구를 하나의 MCP 서버로 조립한다.
검증 조건도 엄격하게 마련됐다. 예상한 파일이 생성되고 주요 수치가 기준 결과와 3% 이내로 일치해야 도구가 통과한다. 그림은 지각적 해시를 사용해 기준 그림과 비교하며, 허밍 거리(Hamming distance)가 20 미만이어야 한다. 각 함수에는 최대 6번의 검증 기회가 제공되고, 계속 실패하는 도구는 최종 서버에서 제외된다.
완성된 MCP 서버는 3가지 요소로 구성된다. 논문의 방법을 실제 실행 가능한 함수로 제공하는 MCP 도구, 논문·코드·데이터셋·그림 등의 정보를 담은 MCP 리소스, 그리고 올바른 전처리 순서처럼 여러 단계를 거쳐야 하는 작업 방식을 안내하는 MCP 프롬프트다.
실제 적용에서도 성능이 확인됐다. 연구진은 구글 딥마인드의 알파게놈(AlphaGenome)을 대상으로 약 45분 동안 22개 도구를 구축했으며, 사람의 별도 개입 없이 모두 검증을 통과했다. 튜토리얼 기반 질의에서 실행 시간 중앙값은 저장소에 직접 접근하는 ‘클로드 코드’보다 1.9배, 바이오메디컬 AI 시스템 ‘바이옴니(Biomni)’보다 3.1배 짧았다.
스캔파이(Scanpy) 분석에서는 45분 만에 7개 검증 도구를 만들었다. 4개 공개 데이터셋에서 세포 수와 유전자 수, 주요 마커 유전자 등을 인간 연구자와 비슷한 수준으로 재현했으며, TISSUE 분석에서도 공간 전사체 데이터에 대한 인간 연구자의 결과를 재현했다.
대규모 테스트에서는 바이오아카이브(bioRxiv)에 공개된 계산생물학 논문 100편 가운데 74편을 자동으로 에이전트화했다. 제안된 599개 도구 중 593개가 검증을 통과했다. 300개 질의에서 페이퍼투에이전트의 정확도는 91.2%였으며, 저장소 접근 방식을 사용한 클로드는 80.3~86.3%를 기록했다. 질의당 비용은 약 0.20달러, 처리 시간은 1.6분으로, 비교 방식의 0.38달러와 4.3분보다 모두 낮았다.
연구진은 생물학 이외의 분야에서도 활용 가능성을 확인했다. TabPFN, SAM 2, SAELens 등을 포함한 비생물학 논문 10편을 대상으로 한 42개 실행 과제에서 98.1%의 정확도를 기록했다. 데이터 중심 논문 26편을 대상으로 한 테스트에서도 브라우저 기반 접근 방식보다 리소스 활용 정확도가 높았고, 비용과 처리 시간 역시 크게 줄었다.
소스 코드는 깃허브 에서 다운로드 받을 수 있으며, 페이퍼투에이전트로 생성된 알파게놈 에이전트는 허깅페이스 에서 이용할 수 있다.