AI 에이전트가 학술 논문을 읽고 연구 결과를 코드에 적용해 스스로 성능을 높이는 기술이 나왔다. 기존 에이전트가 실패 기록과 시행착오를 바탕으로 개선책을 찾았다면, 새 프레임워크는 관련 연구를 검색하고 검증된 기법을 에이전트 구조에 반영한다.
캘리포니아대학교 샌타바버라 캠퍼스(UCSB)와 마이크로소프트(MS) 연구진은 에이전트의 작업 중 드러난 문제를 분석하고, 관련 학술 논문에서 해결책을 찾아 코드로 구현한 뒤 실제 성능 평가로 효과를 확인하는 프레임워크 ‘스칼라이볼브(ScholarEvolve)’를 최근 온라인 아카이브에 공개했다.
기존 자기개선형 에이전트는 주로 실행 기록을 분석해 프롬프트, 메모리, 작업 흐름, 코드 등을 고쳤다. 연구진은 이런 방식이 에이전트가 이미 겪은 실패와 기반 모델이 보유한 지식에 기대는 한계가 있다고 지적했다. 실패 기록만으로 문제의 원인을 찾을 수는 있지만, 이를 해결할 새로운 기술까지 알아내기는 어렵다는 것이다.
연구진은 “기존 메타 에이전트가 제안하는 메커니즘은 기반 모델의 지식과 추론 능력에 좌우된다”며 “실패 기록은 부족한 능력을 드러낼 수 있지만, 이를 구축하는 데 필요한 기술까지 알려주지는 못할 수 있다”고 밝혔다.
스칼라이볼브는 학술 연구를 에이전트 개선의 직접적인 근거로 삼아 이런 한계를 보완한다. 먼저 학습 데이터의 실패 사례를 분석해 문맥 유지 실패, 구문 오류 복구 문제처럼 일반적인 능력 부족을 파악한다. 이어 아카이브(arXiv) 등에서 관련 논문을 검색하고, 비슷한 연구가 거듭 선택되지 않도록 기술적 접근법에 따라 논문을 분류한다.
선정된 논문은 연구 에이전트가 전문을 읽고 공식 코드도 검토해 구현 계획을 세운다. 코딩 에이전트는 이 계획에 맞춰 기능을 수정한다. 이때 변경 사항이 다른 구성 요소에 영향을 주지 않도록 각 모듈의 입출력 규격을 엄격히 지킨다.
그다음 코드 실행, 인터페이스 호환성, 유효한 동작 여부 등을 자동 점검하고 검증 데이터로 성능을 측정한다. 마지막에는 유전자 알고리즘과 비슷한 교차 결합 방식으로 우수한 모듈을 조합한다. 전체 시스템에서 개선 효과가 확인된 경우에만 기존 구성을 새 구성으로 바꾼다.
에이전트의 작동 구조는 도구 인터페이스, 문맥 관리, 스킬, 메모리, 에이전트 작업 흐름 등 5개 모듈로 구성된다. 연구진은 모듈별 개선안을 시험한 다음 가장 효과적인 조합을 고르도록 설계했다. 각 모듈의 성능이 높더라도 다른 모듈과 결합했을 때 좋은 결과가 나온다고 보장할 수 없기 때문이다.
실제 적용에서는 API 호출 오류, 긴 대화 기록 처리, 반복 작업 절차 등을 개선했다. 도구 인터페이스에는 파이썬 코드의 추상 구문 트리(AST)를 검사해 실행 전에 오류를 확인하는 기능을 더했다. 필요할 때 API 문서를 불러와 호출 매개변수를 확인하게 해, 존재하지 않는 기능이나 잘못된 인수를 추측하는 문제도 줄였다.
문맥 관리 모듈은 작업 관련성과 최근성을 기준으로 대화 기록의 중요도를 평가해, 제한된 토큰 예산 안에서 필요한 정보를 보존하도록 했다. 스킬 모듈에는 성공한 작업에서 반복적으로 사용된 API 호출 순서를 뽑아 재사용 가능한 의사코드 템플릿으로 만드는 기술을 적용했다.
성능 평가에서도 개선 결과가 나타났다. 연구진은 여러 애플리케이션의 API를 사용하는 ‘앱월드(AppWorld)’와 통신 고객 지원 상황을 모사한 ‘타우벤치 텔레콤(tau-Bench Telecom)’에서 스칼라에볼브를 시험했다.
앱월드 일반 테스트에서 오픈 웨이트 모델 ‘큐원3.5-27B’의 작업 완료율은 기존 69.0%에서 81.4%로 12.4%포인트 올랐다. 연구진은 이로써 ‘GPT-5.4’와의 성능 격차를 약 74% 좁혔다고 밝혔다. 통신 고객 지원 테스트에서는 ‘GPT-5.4 미니’의 성능이 72.7%에서 81.9%로 상승했다.
학습이나 검증 과정에서 접하지 않은 API에 대한 일반화 능력도 나아졌다. ‘앱월드 챌린지’ 테스트에서 큐원3.5-27B 기반 에이전트의 작업 완료율은 49.6%에서 63.6%로 14%포인트 높아졌다. 이 테스트에는 진화 과정에서 사용하지 않았던 아마존과 지메일 API가 포함됐다. 연구진에 따르면 개선된 에이전트는 기존 메타 하네스(Meta-Harness)보다 9%포인트 높은 성능을 기록했다.
작업 도중 오류가 생겼을 때 이를 복구하는 능력도 향상됐다. 파이썬 실행 오류를 겪은 사례에서 개선된 에이전트의 작업 완료율은 59.9%였다. 기존 구성의 완료율은 44.9%에 그쳤다. 연구진은 “중간에 도구 오류가 발생했다는 사실만으로 에이전트의 최종 수행 능력을 판단하기 어렵다”며 “성공적인 작업 중 상당수는 오류 메시지를 활용해 이후 동작을 수정하는 과정이 필요하다”고 설명했다.
모델 가중치를 바꾸지 않고도 성능을 높일 수 있다는 점에서 스칼라이볼브는 기업에서도 활용될 여지가 크다. 모델을 재학습하거나 별도의 모델 체크포인트를 관리하지 않아도 에이전트의 코드와 작업 방식을 개선할 수 있다. 연구진은 큐원 모델의 가중치와 기존 작업 데이터를 그대로 둔 채 학술 연구를 반영하는 과정을 세 차례 반복했고, 앱월드 일반 테스트에서 성능이 계속 향상됐다고 밝혔다.
연구진은 “학술 문헌 기반 진화는 사전 대응형 개선을 가능하게 한다”며 “새로운 연구 결과가 실제 배포 환경에서 같은 실패가 발생하기 전에도 개선 후보를 제공할 수 있다”고 강조했다. 예를 들어 배포된 에이전트가 매달 최신 연구를 검토하고, 유망한 개선안을 검증 데이터로 평가하도록 구성할 수 있다는 설명이다.
다만 실제 운영 환경에 적용하기 전에는 보안 검증이 필요하다. 스칼라이볼브는 코드 실행 가능성과 인터페이스 호환성 등을 확인하지만, 검색한 논문이나 외부 코드에 포함된 악성 의존성, 위험한 실행 패턴, 프롬프트 인젝션을 탐지하는 보안 검사는 논문에 명시되지 않았다.
연구진은 관련 코드 변경 사항을 곧바로 운영 환경에 적용하기보다는 검증된 연구 자료를 활용하거나 별도의 보안 검토 절차를 마련할 필요가 있다고 지적했다.