구글 연구진이 정적으로 고정된 AI 벤치마크 평가 환경을 동적으로 조정하는 하네스를 개발했다. 고정된 평가 환경 대신 AI 모델의 약점에 초점을 맞춘 '맞춤형 학습 환경'을 제공하면서, AI 모델의 내재된 능력이 발휘되고 실제 문제 해결 능력과 작업 효율성이 크게 향상되는 결과를 얻었다.
구글 클라우드 연구팀이 세인트루이스 워싱턴대학교 및 노스캐롤라이나대학교 채플힐 캠퍼스의 연구팀과 협력하여, 정적 AI 에이전트 평가 환경을 정책 학습에 따라 동적으로 변경하는 프로그래밍 가능 레이어인 'EnvHarness(엔브하네스)' 연구 결과를 최근 아카이브를 통해 공개했다.
기존의 AI 에이전트 벤치마크는 대부분 수작업으로 만들어져 고정된 상태로만 작동한다. 이러한 방식에서는 에이전트의 성능이 개선되어도 평가 환경 자체는 변하지 않기 때문에, 에이전트의 취약점을 정확하게 파악하거나 적응형 학습을 촉진하는 훈련 도구로서의 역할을 제대로 수행할 수 없다는 문제가 있었다. 고정된 목표에만 최적화된 에이전트는 특정 시험 문제의 정답 패턴만 외우는 과적합(Overfitting) 현상이 발생하기 때문이다.
이 문제를 해결하기 위해 연구팀은 기존의 시뮬레이터 백엔드나 사람이 직접 작성한 검증 도구 자체를 수정하는 방식 대신, 표준 인터페이스(reset, step, observe 등)를 이용해 기존 환경을 감싸는 래퍼 방식을 도입했다.
엔브하네스는 핵심 기능을 3가지 플러그인 요소로 구성하여 작동한다. 에피소드 시작 시 고정된 행동을 먼저 실행하여 시작 위치를 변경하는 'Stage(스테이지)', 에이전트의 행동을 제약하거나 관찰 정보를 변경하는 규칙을 설정하는 'Contract(컨트랙트)', 그리고 한 번의 에피소드 내에서 여러 환경을 순차적으로 연결하여 실행하게 하는 'Chain(체인)'이다.
여기에 LLM 기반 자동 설계 도구인 'EnvRigger(엔브리거)'가 에이전트의 실행 이력을 분석하고, 이에 맞춰 파이썬 래퍼 코드를 직접 작성 및 검증함으로써 기존 시뮬레이터와 검증 도구를 손대지 않으면서도 난이도와 상황을 동적으로 조절한다.
이러한 접근 방식은 새로운 AI 평가 환경을 구축하는 데 필요한 막대한 개발 시간과 인력 비용을 획기적으로 감소시킨다. 개발자가 시뮬레이터를 처음부터 다시 만들거나 복잡한 검증 코드를 재작성할 필요 없이, 이미 검증된 기존 시험장 백엔드와 정답 판정 알고리즘을 그대로 유지하면서 난이도만 간단히 조정할 수 있기 때문이다.
실제로 벤치마크 환경에 하네스를 적용한 결과, 모델 자체의 알고리즘을 변경하지 않았음에도 불구하고 실제 문제 해결 성능이 현저하게 향상되었다. 이는 벤치마크가 단순한 평가 도구를 넘어 AI 학습의 수단으로도 널리 활용되기 때문이다.
기존의 벤치마크는 고정된 문제만 반복 제시하면서 AI가 특정 정답 패턴만 외우는 한계를 가지고 있었다. 반면 엔브하네스는 AI가 자주 틀리는 특정 '약점 영역'을 정밀하게 타겟팅하여 다양한 변형 문제로 집중적인 재시험을 실시한다. 이를 통해 획일적인 시험 방식에 제약되던 AI의 숨겨진 역량이 발현되면서 실제 응용 능력과 작업 수행 효율이 대폭 상승하는 결과로 이어졌다.
엔브하네스를 ALFWorld, WebArena, SWE-bench Verified, OfficeQA, SpreadsheetBench 등 5개의 주요 벤치마크에 적용하여 GPT-4o 기반 에이전트를 테스트한 결과, 성능과 효율성 두 측면 모두에서 눈에 띄는 개선이 나타났다.
ALFWorld에서는 분포 외(OOD) 평가 점수가 기존 대비 9.0점 상승했으며, 기존 환경에서는 오히려 해로운 영향을 미치던 스킬 추출 기법이 엔브하네스 환경을 거치면서 성능 향상으로 전환되었다. 특히 코딩 에이전트 평가 환경인 SWE-bench Verified에서는 작업 완료율이 기존 49.88%에서 52.58%로 상승하였고, 동시에 평균 실행 단계가 55.01회에서 49.61회로 감소하면서 9.8%의 효율성 개선을 달성했다.
업계 전문가들은 이번 기술이 단순한 평가 도구의 개선을 넘어 AI 에이전트 개발 방식 자체의 패러다임을 변화시킬 가능성이 있다고 평가하고 있다. 에이전트의 능력을 평가하는 전산업 영역에서 '맞춤형 오답 노트' 역할을 수행할 수 있기 때문이다.
특히 개발 환경, 웹 브라우징, 데이터 분석 등 에이전트가 복잡하고 연속된 작업을 수행해야 하는 실제 현장에서 엔브하네스를 도입하면, 에이전트가 반복적으로 실패하는 취약 영역만 집중적으로 학습할 수 있게 된다.
더욱 주목할 점은 개별 AI 모델에 하네스를 부착하는 방식이 아니라 학습 도구인 벤치마크 자체에 하네스를 적용했다는 것으로, 특정 AI에 종속되지 않는 범용성을 확보했다. GPT-4o, Claude, 오픈소스 LLM 등 어떤 에이전트 모델이든 표준 인터페이스를 통해 동일하게 약점을 진단하고 맞춤형 훈련을 제공할 수 있는 생태계가 마련된 것이다.
나아가 에이전트와 환경이 상호 간의 약점을 통해 함께 진화하는 '공진화(Co-evolution) 프레임워크'로의 확장 가능성도 기대되고 있다. 환경 구축 비용을 획기적으로 절감하면서도 테스트 성공률을 필요에 따라 정밀하게 조정할 수 있게 됨으로써, 새로운 에이전트 모델 도입 시 안전성 검증 및 강화학습(RL) 파이프라인의 핵심 제어 계층으로 자리매김할 전망이다.
엔브하네스의 소스 코드는 아파치 2.0 라이선스의 오픈소스로 공개되어 기존 에이전트 평가 루프에 즉시 적용할 수 있다.