앤트로픽은 AI를 활용한 연구개발이 빠르게 진행되면서 안전과 보안 대책 마련이 그 속도를 따라가지 못할 수 있다고 경고했다. 과거에도 개발 속도가 크게 빨라진 사실을 뒤늦게 알아차린 적이 있다고 인정하며, 재귀적 자기개선(RSI)에 대비해 인간의 감독과 통제 체계를 강화해야 한다고 밝혔다.
테크크런치는 2일(현지시간) 앤트로픽이 기업공개(IPO)를 위해 미국 증권거래위원회(SEC)에 제출한 증권신고서 수정본(S-1/A)에 이러한 위험을 구체적으로 담았다고 보도했다.
앤트로픽은 지난달 26일 처음 제출한 신고서에서도 RSI의 가능성과 위험을 언급했다. 이번 수정본에는 자체 평가를 바탕으로 AI 연구개발 가속 기준에 곧 도달할 수 있다는 전망과, 그에 따라 안전을 관리하기 어려워질 가능성을 명시했다.
수정본에서 앤트로픽은 “AI를 활용해 더 뛰어난 AI를 개발하는 과정에서 모델의 성능이 안전성, 정렬, 보안 조치를 개발하고 검증하는 속도보다 빠르게 향상될 수 있다”고 밝혔다. AI가 차세대 모델 개발에 참여해 연구개발 속도를 높이더라도 위험 평가와 대응책 마련 체계는 같은 속도로 발전하지 못할 수 있다는 뜻이다.
앤트로픽은 가속이 일어나는 시점을 제때 알아채지 못할 가능성도 인정했다. 회사는 “과거에도 개발 속도가 크게 빨라진 사실을 변화가 일어난 뒤에야 파악한 적이 있으며, 앞으로도 같은 일이 발생할 수 있다”고 밝혔다. AI의 기여도를 측정하는 지표가 실제 변화를 늦게 반영하거나, 차세대 모델이 개발 속도에 미치는 영향을 정확히 예측하기 어려울 수 있다는 설명이다.
회사는 이런 위험이 현실화할 시점이 가까워지고 있다고 봤다. “내부 추정치와 향후 모델에 대한 전망에 따르면 AI로 인한 극적인 개발 가속 기준에 곧 도달할 수 있다”고 밝혔다. 다만 지금까지 이 기준을 넘었다고 판정한 모델은 없으며, 관련 데이터를 계속 평가하고 있다고 덧붙였다.
이 기준은 AI가 연구원의 생산성을 높이는 정도를 뜻하지 않는다. 앤트로픽의 ‘책임 있는 확장 정책(RSP)’에 따르면, AI의 전반적인 성능 향상 속도가 기존 예상치와 과거 최고 수준보다 두 배 이상 빨라지고, 그 변화에 AI를 이용한 연구개발 자동화가 상당 부분 기여할 때 기준에 도달한 것으로 판단한다.
이런 현상은 AI가 차세대 AI 개발에 참여하고, 성능이 향상된 AI가 다시 후속 모델의 개발을 앞당기는 RSI 과정에서 나타날 수 있다. 다만 연구개발 속도가 급격히 빨라지는 단계와 AI가 인간의 개입 없이 후속 모델을 완전히 개발하는 단계는 구별해야 한다.
앤트로픽은 이미 클로드를 차세대 AI 모델 개발에 적극 활용하고 있다. 소프트웨어 작성, 모델 학습 코드 최적화, 연구 실험 등을 AI에 맡기고 있으며, 모델이 다음 세대 모델 개발을 지원하는 과정도 확대하고 있다. 신고서에는 지난 9월 내부 코드베이스에 기여한 코드의 90% 이상을 클로드가 작성했다고 명시했다.
이러한 자동화는 개발 생산성을 끌어올리는 한편 새로운 위험을 낳을 수 있다. 현재 모델의 오류나 편향이 후속 모델 개발에 반영되고 다음 세대에서도 되풀이되면, 문제를 찾아내거나 고치기가 어려워질 수 있다. 경쟁사가 AI를 통한 연구개발 자동화를 앞서 추진할 경우 개발 속도의 격차가 누적돼 기술 경쟁력에도 영향을 줄 수 있다고 앤트로픽은 설명했다.
앤트로픽은 인간의 감독과 통제권을 유지하기 위해 안전 정책을 개정하는 방안도 살펴보고 있다. 회사는 “기술적으로 가능해지더라도 인간의 실질적인 감독과 이해 없이 클로드가 차세대 최첨단 모델을 완전히 자율적으로 개발하도록 안전하게 활용할 수 있을 것으로 예상하지 않는다”고 밝혔다. AI의 능력이 높아져도 후속 모델 개발에서 중요한 의사결정은 인간이 통제하겠다는 취지다.
한편 앤트로픽은 AI 연구개발 자동화를 반도체 설계 분야로도 확대하고 있다. 디 인포메이션은 3일 복수의 관계자를 인용해, 15명 규모의 자체 반도체 설계팀이 클로드를 이용해 AI 칩의 엔지니어링과 설계 작업을 진행하고 있다고 보도했다. 앤트로픽은 엔비디아와 AMD 등 기존 반도체 기업의 개발 방식에 관한 자체 추정치와 비교해 설계 시간을 줄일 수 있다고 투자자들에게 설명한 것으로 전해졌다.
앤트로픽은 지난 8월 자체 AI 반도체 설계팀을 꾸리겠다고 발표했으며, 현재 클로드를 활용한 설계 자동화를 추진 중이다. 구체적인 개발 기간 단축률이나 완성된 칩의 성능은 공개하지 않았다. 이는 AI가 모델 학습과 소프트웨어 개발을 넘어 AI 인프라의 하드웨어 설계에도 참여하기 시작했음을 보여주는 사례다.