중국의 주요 대학과 기술 기업 연구진이 인간의 개입 없이 더 나은 버전을 스스로 만들어내는 ‘재귀적 자기개선(RSI)’ 기술의 발전 정도를 평가할 수 있는 5단계 로드맵을 내놓았다. 현재 AI는 일부 개발 업무를 자동화하고 있지만, 자기개선 시스템 자체를 꾸준히 발전시키는 단계에는 아직 이르지 못했다는 분석이다.
상하이교통대, 테세우스랩, 칭화대, 바이트댄스, 상하이 AI 연구소 등의 연구진은 10일(현지시간) ‘인간이 만든 마지막 AI: 진정한 재귀적 자기개선을 향해(The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement)’라는 논문을 통해 RSI의 5단계 로드맵을 제시했다.
이 연구는 새로운 AI 모델을 공개한 것이 아니라, 기존 연구를 종합해 자기개선 AI를 분류하고 평가하기 위한 기준을 마련했다는 데 의미가 있다.
연구진은 인간이 설정한 규칙에 따라 한정된 답변을 고치거나 코드를 최적화하는 것만으로는 진정한 자기개선이라고 보지 않았다. 한 번의 개선 결과가 이후 개선 과정에서 새로운 전략과 평가 방식, 도구 등에 영향을 줘야 RSI로 인정할 수 있다고 정의했다.
출발점인 B0 단계에서 AI는 하나의 작업 안에서 자신의 결과를 수정할 수 있지만, 그 변화가 다음 작업으로 이어지지는 않는다. L1 단계에서는 AI가 개발한 도구나 새로운 기술이 이후 작업에서도 계속 사용된다. L2 단계에 이르면 AI가 프롬프트, 도구, 메모리, 모델 가중치, 작업 방식 중 무엇을 개선할지 스스로 결정할 수 있다.
L3 단계부터 AI는 자신의 취약점을 찾아내고, 새로운 학습 경험이나 훈련 문제, 정보 탐색 방법 등을 직접 설계한다. L4 단계에서는 실제 배포 환경에서 수집한 피드백을 활용해 지속적으로 개선을 진행한다.
최고 단계인 L5는 AI가 자신을 개선하는 ‘개선 시스템 자체’를 다시 개선하는 수준이다. AI가 새로운 업데이트를 만드는 전략이나 평가자를 향상시키고, 그 결과를 다음 AI 개발 과정에 반영하는 방식이 한 예다.
연구진은 AI가 개선 방식을 스스로 선택하는 L2 단계까지는 실험으로 입증된 사례가 많다고 설명했다. 그러나 자기개선을 수행하는 시스템 자체가 계속 진화하는 최종 단계인 L5는 아직 통제된 연구실 실험이나 초기 연구 수준에 머물러 있다고 밝혔다.
일부 연구에서는 AI가 이전 모델을 개발하며 얻은 경험을 다음 훈련에 활용하거나, 코딩 에이전트를 발전시켜 성능을 끌어올린 사례가 확인됐다. 다만 개선 과정에서 핵심적인 규칙과 평가 기준은 여전히 인간이 관리하고 있다는 지적이다.
연구진은 특히 ‘성능 향상=자기개선’이라는 단순한 판단을 경계했다. 컴퓨팅 자원을 더 투입하거나 같은 과정을 반복하는 것만으로도 성능이 높아질 수 있기 때문이다. AI가 실제로 더 나은 전략을 스스로 만들어냈는지 판단하려면 새로운 작업으로의 전이 능력, 기존 능력의 유지 여부, 비용과 안정성 등을 함께 살펴봐야 한다.
가장 큰 난관은 검증이다. AI가 스스로 만든 변경 사항이 실제 성능 향상으로 이어졌는지, 기존 능력을 손상시키지는 않았는지를 확인해야 한다. AI가 평가 방식을 악용해 테스트를 통과하는 ‘평가자 조작’의 가능성도 있다. 따라서 독립적인 평가와 버전 기록, 실패한 변경 사항에 대한 분석, 필요할 때 이전 버전으로 복구할 수 있는 롤백 체계가 필요하다고 연구진은 강조했다.
분야에 따라 자기개선 AI를 적용하기 어려운 정도에도 큰 차이가 있다. 소프트웨어 개발은 자동 테스트를 통해 결과를 비교하기 쉬워 자기개선 AI를 실험하기 상대적으로 유리하다. 반면 과학 연구는 실험 결과를 얻기까지 오랜 시간이 걸리고, 로봇은 실제 환경에서 시행착오를 겪는 과정에서 물리적 피해가 발생할 수 있다. 의료 분야는 환자를 대상으로 자유롭게 실험할 수 없으므로 실제 환경에서의 적용이 더욱 제한된다.
이번 연구는 AI가 인간의 감독을 넘어 독자적으로 발전하는 시점이 아직 멀다는 점을 보여주는 동시에, 그 가능성을 객관적으로 측정할 기준이 필요하다는 사실을 강조했다. 연구진은 앞으로 여러 세대에 걸친 장기 실험을 통해 자기개선이 실제로 계속 이어지는지, 아니면 일정한 수준에서 정체되는지를 확인해야 한다고 지적했다.