앤트로픽이 클로드가 이용자와 주고받은 대화의 위험성을 직접 평가하는 기술을 개발해 실제 서비스에 적용했다. 별도의 AI 모델을 사용하지 않고, 클로드가 답변을 마친 직후 대화를 검토해 악용 가능성을 판단한다. 기존 감시 체계가 놓친 대규모 사기와 불법적인 AI 모델 정보 추출 시도도 찾아냈으며, 추가 연산 비용은 2% 미만으로 제한했다.
앤트로픽은 최근 공식 연구 블로그에서 ‘자기 평가(Self-Assessment)’라는 새 안전 감시 기술의 개발 과정과 운영 결과를 공개했다. 이 기술은 지난 6월 출시된 ‘클로드 페이블 5’부터 적용됐으며, 현재 전 세계 클로드 이용량의 상당 부분을 감시하고 있다.
종전에는 이용자의 요청이 위험한지 확인하기 위해 별도의 AI 분류 모델을 가동하거나, 특정 유형의 유해 요청을 탐지하는 시스템을 활용했다. 하지만 AI 악용 수법이 점점 복잡해지면서 미리 설정한 규칙만으로 새로운 공격을 찾아내기는 어려워졌다. 모든 대화를 별도의 고성능 AI 모델로 검사하려면 막대한 연산 비용이 든다는 문제도 있었다.
앤트로픽은 이 문제를 해결하기 위해 클로드가 답변을 끝낸 뒤 자신의 대화를 다시 평가하도록 했다. 이용자의 요청이 유해할 가능성이 있는지, 위험 유형은 무엇인지, 인간 검토자가 얼마나 서둘러 확인해야 하는지를 판단하고 간단한 설명도 생성한다. 평가 결과는 별도의 감시 시스템에 전달되며 이용자에게는 보이지 않는다.
이 방식의 핵심은 클로드가 대화를 처리하며 이미 확보한 정보를 그대로 활용하는 데 있다. 별도의 모델이 대화 전체를 다시 읽을 필요가 없어 평균적으로 토큰 약 10개만 추가로 생성하면 된다. 앤트로픽은 이로 인한 추가 연산 비용이 전체 추론 비용의 2% 미만이라고 밝혔다.
실제 서비스에서 수집한 대화를 대상으로 한 자체 평가에서 페이블 5는 기존 고성능 분류 모델이 유해하다고 판단한 대화의 78%를 찾아냈다. 위험도가 높은 대화의 탐지율은 94%였고, 정상 대화를 잘못 분류한 비율은 1%였다. 다만 이 수치는 인간 전문가가 확인한 실제 악용 사례를 얼마나 탐지했는지가 아니라, 별도의 AI 분류 모델을 기준으로 측정한 결과다.
이 기술은 사전에 학습하지 않은 위험 유형도 찾아낼 수 있다는 점이 특징이다. 앤트로픽은 사기와 사이버 공격 관련 학습 데이터를 제외한 채 실험했지만, 해당 유형의 유해 요청을 탐지하는 성능이 크게 낮아지지 않았다고 설명했다. 개별 공격 패턴을 외우는 대신 대화의 맥락과 위험성을 판단하는 능력을 활용한다는 것이다.
실제 운영 과정에서도 기존 시스템이 감지하지 못한 사례가 발견됐다. 지난 8월에는 단일 API 고객 계정에서 아동 성착취 관련 의심 활동 10만건 이상을 탐지해 관련 기관에 신고했다. 9월에는 클로드 코드를 활용해 수십 명을 대상으로 연애 사기를 자동화한 조직을 찾아내고 계정을 차단했다.
클로드의 비공개 추론 정보를 빼내려는 불법적인 모델 증류 시도와 프롬프트 인젝션 공격, AI 에이전트가 이용자 승인 없이 행동한 사례도 포착됐다. 자기 평가 기술이 찾아낸 의심 활동 가운데 약 3분의 1은 기존 분류 체계에 명확히 들어맞지 않았다.
이번 연구는 최근 AI를 활용한 사이버 공격이 늘어나는 추세와도 맞닿아 있다. AI가 코딩과 추론, 장시간 자율 작업에 능숙해질수록 공격자가 AI에 맡길 수 있는 일도 많아지고 있다. 앤트로픽은 이에 따라 특정 유해 요청을 차단하는 기존 방식만으로는 복잡한 공격 과정을 파악하기 어렵다고 판단했다.
자기 평가 기술만으로 AI 악용을 완전히 막을 수 있는 것은 아니다. 앤트로픽은 이 기술을 실제 서비스에서 사후 감시 목적으로 사용하며, 위험한 요청을 실시간으로 차단하는 기존 안전장치와 함께 운영한다고 설명했다. 별도 실험에서는 자기 평가만으로 공격을 차단했을 때 공격 성공률이 79%에서 54%로 낮아지는 데 그쳤다.
클로드가 자신의 행동을 평가하는 방식에는 한계도 있다. AI가 잘못 판단하면 그 판단을 다시 살펴보는 과정에서도 같은 실수를 되풀이할 수 있다. 의도적으로 행동을 감추는 AI를 감시하기에도 아직 충분하지 않다는 설명이다.
대화 내용을 분석하는 과정에서 개인정보 보호 문제도 제기된다. 앤트로픽은 기존 데이터 처리 정책상 보관할 수 있는 대화에만 이 기술을 적용하며, 데이터를 보관하지 않는 별도 계약이 적용된 이용량에는 사용하지 않는다고 밝혔다.
이번 연구는 AI의 능력이 높아지는 만큼 감시 기술도 발전해야 한다는 문제의식에서 시작됐다. 강력한 AI 모델의 행동을 별도의 감시 모델로 확인하는 방식이 일반적이었지만, 앤트로픽은 모델 자체의 판단 능력을 활용해 대규모 이용량을 낮은 비용으로 감시할 수 있는 가능성을 제시했다.
앤트로픽은 다만 AI가 자신의 행동까지 신뢰성 있게 평가할 수 있는 단계에는 아직 이르지 못했다고 인정했다.