앤트로픽이 AI를 활용해 차세대 모델의 성능을 약 2배 빠르게 개선했다는 연구 결과가 나왔다. 최근 훈련을 마친 미공개 모델 3개도 확인되면서, AI가 더 뛰어난 AI 개발을 돕는 재귀적 자기개선(RSI)이 현실이 될 가능성에 관심이 모이고 있다.
AI 안전 연구기관 METR은 5일(현지시간) 앤트로픽의 AI 연구개발 가속에 관한 독립 평가 보고서를 공개했다. 보고서에 따르면 지난해 10월 이후 앤트로픽의 모델 성능 개선 속도는 이전보다 약 1.9배 빨라졌다. 과거 약 2년 동안 이룬 수준의 성능 향상을 최근에는 1년 만에 달성했다는 뜻이다.
METR은 8월12일부터 10월29일까지 11주간 앤트로픽의 내부 자료와 모델 평가 결과를 살펴보고, 직원 약 15명을 인터뷰했다. 외부에 공개하지 않은 최신 모델의 성능도 확인해 개발 속도를 측정했다. 분석 결과, 2024년 3월부터 2025년 10월까지와 비교해 모델 성능 개선 속도가 크게 높아진 것으로 나타났다.
분석에 따르면 개발 가속에는 AI가 큰 역할을 했다. METR은 2026년 10월 기준, 가속분의 약 80%가 AI를 연구개발(R&D)에 활용한 데서 비롯된 것으로 추정했다. 다만 이는 내부 자료와 연구원 인터뷰 등을 종합해 내린 판단이므로 정확한 기여도를 확정하기는 어렵다고 설명했다.
이번 가속이 AI 훈련에 쓰이는 컴퓨팅 자원의 증가 속도 때문은 아닌 것으로 분석됐다. 훈련용 컴퓨팅 자원이 더 빠르게 늘어난 것이 가속의 원인은 아니라는 판단이다. AI를 연구개발에 활용하는 방식 자체가 모델 성능 향상을 촉진하고 있다는 분석이다.
앤트로픽 연구원들은 코드 작성, 실험 설계, 결과 분석 등에 클로드를 활발히 이용하고 있다. 사내 설문에서는 최신 내부 모델을 사용할 경우 직원 한 명의 생산성이 평균 약 12배 높아진다는 응답도 나왔다. 다만 일부 직원의 주관적 평가이므로 실제 생산성 향상을 입증하는 자료로 보기는 어렵다는 지적도 덧붙였다.
연구원 인터뷰에서도 개발 방식의 변화를 확인할 수 있었다. 한 연구원은 "이제 아이디어와 컴퓨팅 자원만이 병목이다. 더 이상 코드 작성에 발목 잡히지 않는다"고 말했다. 다른 연구원은 클로드를 이용하면서 이전에는 하루나 이틀 걸리던 실험 구현을 훨씬 쉽게 할 수 있게 됐다고 설명했다.
보고서에는 앤트로픽 내부 모델인 '미소스 프리뷰'와 '미소스 5'도 언급됐다. 연구원들의 자체 평가에 따르면 생산성 향상 수준은 미소스 프리뷰에서 약 4배, 미소스 5에서 약 5배로 높아졌다. 최신 미공개 모델인 '모델 4(Model 4)'에서는 약 12배에 달했다.
보고서에서는 미공개 모델 3개의 존재도 확인됐다. 앤트로픽은 올해 7월과 8~9월, 9~10월에 각각 새 모델의 훈련을 마쳤지만 아직 외부에 공개하지 않았다. 이 모델들은 '모델 2(Model 2)', '모델 3(Model 3)', '모델 4'라는 임시 명칭으로 구분됐다. 가장 최근 모델은 기존의 성능 개선 추세를 대체로 이어간 것으로 나타났다.
이들 미공개 모델은 개발 가속을 측정하는 데도 중요한 근거가 됐다. METR은 앤트로픽이 앞서 공개한 1.7배보다 높은 1.9배의 성능 개선 속도가 나온 주요 이유로 최신 미공개 모델의 평가 결과를 포함한 점을 들었다.
이는 앤트로픽이 일반 사용자용 공개 모델 외에도 내부 연구에 쓸 최신 모델을 보유하고 있다는 뜻이다. 성능이 높은 내부 모델을 연구개발에 먼저 활용하면 후속 모델을 더 빠르게 개발할 수 있다. 다만 이번에 확인된 모델 3개가 어떤 클로드 제품군에 속하는지, 실제 출시될 예정인지는 알려지지 않았다.
AI가 인간 연구원의 업무를 보조하는 수준을 넘어 모델 개발 과정에 독자적으로 기여하기 시작한 초기 징후도 발견됐다고 보고서는 밝혔다. 현재는 대부분 인간의 지시와 감독 아래 작업이 이뤄진다. 모델 훈련의 핵심 단계에서 AI가 중요한 연구를 완전히 자율적으로 수행하는 수준에는 아직 이르지 못했다. 하지만 일부 분야에서는 이런 능력이 가까운 시일 내 등장할 가능성을 보여주는 사례가 확인됐다는 설명이다.
이는 AI가 더 뛰어난 AI를 개발하고, 새로 개발된 AI가 다시 다음 세대 모델의 개발을 앞당기는 RSI로 이어질 수 있다는 점에서 중요하다. 완전한 자율적 자기개선이 실현된 단계는 아니지만, AI가 연구개발 속도를 실제로 높이고 있다는 정량적 증거가 확보된 것이다.
METR은 앞으로 12개월 동안 개발 가속을 크게 늦출 컴퓨팅 자원, 데이터, 알고리즘상의 뚜렷한 제약을 발견하지 못했다고 밝혔다. 이에 따라 AI 모델 성능이 높아질수록 연구개발 속도도 계속 빨라질 가능성이 있다고 평가했다. 다만 아직 파악하지 못한 제약이 있을 수 있어 향후 가속 정도를 확신하기는 어렵다고 덧붙였다.
이번 평가에서는 앤트로픽이 자체 설정한 AI 연구개발 가속 위험 기준도 쟁점이 됐다. 별도로 공개된 앤트로픽의 AI 연구개발 위험 보고서를 검토한 결과, METR은 지난 7월 기준으로 개발 가속에 관한 조기 경고 기준에 이미 도달했을 가능성이 있다고 지적했다.
앤트로픽은 당시 기준에 도달하지 않았다고 판단했다. 반면 METR은 내부 자료의 일부 수치만으로는 그 판단을 충분히 뒷받침하기 어렵다고 평가했다. 다만 당시 모델이 연구개발을 완전히 자동화하거나 직접적인 재앙적 위험을 초래할 가능성이 낮았다는 앤트로픽의 판단에는 대체로 동의했다.
보고서의 핵심 근거 상당 부분이 비공개라는 점도 주목된다. 앤트로픽은 경쟁사의 AI 개발에 활용될 수 있다는 이유로 개발 가속에 관한 세부 분석, 데이터와 알고리즘의 기여도, 미래 모델의 성능 예측 등을 공개하지 않았다. METR은 핵심 결론을 자유롭게 발표할 수 있었지만 주요 근거가 공개되지 않아 외부 연구자들이 결과를 독립적으로 검증하기 어렵다고 밝혔다.
METR은 AI 개발 가속이 이어지면 모델 능력의 발전 속도가 안전성 평가와 통제 기술의 발전을 앞지를 수 있다고 경고했다. 새 모델이 다음 모델의 연구개발을 더 빠르게 만드는 과정이 반복될 경우, 인간이 예상하지 못한 속도로 AI 능력이 발전할 수 있다는 분석이다.