앤트로픽이 AI 모델의 성능을 몰래 복제하는 ‘불법 증류’에 대응해 추론 데이터 보호와 공격 탐지 기능을 강화했다. 반복적으로 공격을 시도한 계정도 대거 차단하며 대응 수위를 높이고 있다.
앤트로픽은 12일(현지시간) 자사 AI 모델 ‘클로드(Claude)’의 핵심 추론 능력을 무단 복제하려는 불법 증류 공격을 막기 위해 방어 체계를 대폭 강화했다고 발표했다. 새 보안 조치로 공격자가 수집하는 추론 데이터의 양을 기존보다 약 90~99% 줄였다고 밝혔다.
증류는 성능이 뛰어난 AI 모델에서 대량의 응답 데이터를 모아 학습에 활용하고, 비슷한 능력을 갖춘 다른 모델을 만드는 기술이다. 모델 개발에 드는 시간과 비용을 줄일 수 있지만, 원 개발자의 허가 없이 추론 데이터와 핵심 기능을 대규모로 추출하면 지식재산권 침해와 보안 문제를 일으킬 수 있다.
앤트로픽은 최근 불법 증류가 대규모 가짜 계정을 동원하는 산업적 활동으로 발전했다고 설명했다. 공격자들은 프록시 네트워크로 수십만개의 계정을 운영하며 ‘클로드’에 거듭 질의하고, 모델의 숨겨진 추론 과정까지 얻으려 했다. 지난 2월 보고서에서는 한 네트워크가 동시에 2만개 이상의 가짜 계정을 관리했다고 밝힌 바 있다.
방어의 핵심은 클로드가 최종 답변을 내기 전에 생성하는 추론 기록이다. 최종 답변만으로는 파악하기 어려운 문제 해결 과정을 담고 있어, 다른 모델의 성능을 높이는 데 특히 유용하다는 설명이다.
앤트로픽은 세 가지 방식으로 방어 체계를 강화했다.
첫째, 추론 데이터가 다른 대화나 계정으로 옮겨지는 일을 제한한다. 클로드의 보호된 추론 블록을 다른 대화에 삽입하거나, 보안이 상대적으로 취약한 모델에 전달해 추론 전체를 끌어내려는 공격을 막는 방식이다.
‘페이블 5.1’과 ‘오퍼스 5.5’에는 ‘보존된 사고(preserved thinking)’ 기능을 도입했다. 2026년 8월31일 이후 생성된 신규 API 계정은 이전 대화의 문맥을 임의로 수정할 수 없다. 이에 따라 공격자가 프록시 네트워크를 활용해 보호된 추론 기록을 반복 추출하기 어려워졌다. ‘소네트 5.5’에서는 추론 기록을 해당 요청을 생성한 조직만 볼 수 있도록 접근 권한을 제한했다.
둘째, 추론 추출 시도를 실시간으로 탐지하는 분류 시스템을 마련했다. 기존 ‘헌법적 분류기(Constitutional Classifiers)’ 연구를 토대로 2단계 분류 체계를 구축했다. 일반 사용자가 요청할 가능성이 낮은 숨겨진 추론의 원문 출력과 우회적인 추출 시도를 찾아 차단한다.
앤트로픽은 이 시스템의 방어 수준이 클로드가 생물학 무기 제작을 돕지 못하도록 하는 안전장치와 대략 비슷하고, 정상 요청을 잘못 막는 오탐률은 0.1% 미만이라고 밝혔다. 현재 소네트 5.5와 오퍼스 5·5.5, 페이블 5·5.1 등 주요 모델에 적용하고 있다.
공격자가 추론 내용을 다른 언어로 번역하거나 답변에 특정 태그를 붙여 방어를 우회하려 한 사례도 확인했다. 앤트로픽은 새로운 공격 기법이 발견될 때마다 분류기를 업데이트하고 방어 체계를 보완한다고 설명했다.
셋째, 반복적인 공격에 비용과 제재를 부과한다. 추론 추출 시도가 계속 탐지되는 계정에는 사용량 제한을 적용하고, 불법 증류를 반복한 사실이 확인되면 계정을 차단한다. 또 지난 9월24일부터는 특정 안전장치가 차단한 요청에도 비용을 부과하기 시작했다. 오탐률이 0.1% 미만인 증류 관련 요청 등이 대상이다.
앤트로픽은 새 방어 체계를 적용한 뒤 공격자가 추출한 추론 토큰 수가 이전의 10~100분의 1 수준으로 줄었다고 밝혔다. 관련 불법 증류 활동과 연관된 계정도 수만개 차단했으며, 일부 계정은 공격을 시작한 지 2시간 이내에 제재했다고 설명했다.
앤트로픽은 불법 증류가 안전성과 국가 안보에도 영향을 미칠 수 있다고 주장했다. 중국의 Z.ai가 ‘GLM-5.3’을 개발하면서 클로드의 사이버 보안 능력을 증류하려 했다고 지목했다. 미국 초지능 혁신·표준 발전 센터(CAISSI)는 GLM-5.3을 지금까지 공개된 오픈 웨이트 모델 가운데 사이버 능력이 가장 뛰어난 모델로 평가한 바 있다.
불법 증류로 얻은 기능을 충분한 안전장치 없이 다른 모델에 적용하면 생물학적 위협이나 사이버 공격에 악용될 수 있다는 우려도 제기했다. 일부 기업이 이렇게 확보한 기능을 외국의 군사·정보·감시 시스템에 통합할 가능성도 있다고 봤다.
이번 방어 조치에는 비용이 따른다. 증류 공격을 막는 과정에서 상당한 매출과 수조 토큰 규모의 유료 트래픽을 포기했고, 일부 정상 개발자도 API 연동 방식을 수정해야 했다고 앤트로픽은 밝혔다. 오탐률이 0.1% 미만이지만 정상 요청이 잘못 차단될 가능성은 남아 있다.
앤트로픽은 공격자들이 계속해서 새로운 우회 방법을 찾을 것으로 예상하며, 이번 성과가 장기간 이어질지는 아직 알 수 없다고 밝혔다. 이어 “불법 증류를 막으려면 모든 최첨단 모델 개발사의 협력과 참여가 필요하다”고 강조했다. 공격자가 보안이 취약한 다른 모델을 이용할 수 있다면 한 기업의 방어만으로는 효과가 제한될 수 있다는 설명이다.