앤트로픽이 AI로 생성한 텍스트에 비가시적 워터마크를 부여해 투명성을 강화하려는 움직임을 보이자, 이를 우회하고 제거하려는 시도들이 빠르게 확산되고 있다.
18일(현지시간) 비즈니스 인사이더의 보도에 따르면, 클로드가 만든 텍스트에 눈에 띄지 않는 워터마크가 삽입되자 이를 벗겨내기 위한 소프트웨어 도구들이 계속해서 출현하고 있다.
워터마크의 작동 방식
앤트로픽이 선택한 워터마킹 기법은 기존의 특수문자나 메타데이터 삽입 방식과는 다르다. 클로드가 텍스트를 생성할 때 단어들을 선택하는 과정 자체에 통계적 패턴을 숨겨두는 방식으로, 텍스트를 옮겨 붙이거나 다른 문서에 이전해도 그 패턴이 유지되도록 설계되었다. 이를 통해 AI가 만들어낸 콘텐츠를 효과적으로 판별할 수 있다는 취지다.
사용자들의 반발
그러나 여기에 문제가 있다. AI가 처음부터 끝까지 작성한 경우뿐만 아니라 교정, 번역, 요약 같은 부분적 사용에서도 워터마크가 남을 수 있다는 점이다. 일부 사용자들은 이 같은 특성이 AI 활용 여부를 단순히 있다 없다로 나누어 판단하게 만든다며 문제를 제기했으며, 워터마킹 정책 때문에 구독을 해지했다고 밝힌 클로드 이용자들도 나타났다.
워터마크 제거 도구의 등장
이런 반발은 곧 제거 도구 개발로 연결되었다. 미국에서 구글 트렌드상 'AI 워터마크 제거기(AI watermark remover)'에 대한 검색 관심은 일주일 사이 60% 상승했다.
프랑스 파리의 기술 기업가 기욤 메이어는 앤트로픽의 발표 직후 즉시 오픈소스 프로젝트인 '워터마크 리무버(Watermarks Remover)'를 공개했다. 이 도구는 숨겨진 문자와 메타데이터를 지운 뒤 텍스트의 의미를 살리면서 다시 작성해, 단어 선택에 기반한 통계적 패턴을 방해하는 방식으로 작동한다. 메이어는 첫 번째 버전을 약 5시간 만에 개발했으며, 공개 이후 1만4000개를 넘는 깃허브 스타를 얻었다. 다만 워터마크의 완전한 제거를 100% 보장하지는 않는다.
도쿄의 소프트웨어 개발자 안시 아네자는 앤트로픽의 워터마킹 발표 당일에 클로드용 제거 도구를 개발한 뒤 '마크스크럽(MarkScrub)'이라는 로컬 오픈소스 버전을 내놓았다. 그는 이 도구가 하루 만에 8500명의 이용자를 확보했다고 주장했다.
한편 AI 교육자 사브리나 라모노프는 텍스트와 PDF, 워드 문서, 웹페이지, 이미지, 데이터 파일 등에 담긴 숨겨진 AI의 흔적을 제거한다고 표방하는 브라우저 기반 도구를 발표했다.
기술적 관점과 전문가 의견
워터마크 제거 기술의 등장이 특별히 새로운 현상은 아니라는 것이 전문가들의 지적이다. 스위스 취리히연방공대의 연구자 티보 글로아귄은 "텍스트 전체를 다시 표현하는 것만으로도 워터마크를 제거할 수 있기 때문에 워터마크를 제거하는 방법은 항상 존재할 수 있다"고 설명했다. 또한 탐지 기술의 작동 원리가 공개되면 이를 분석해 우회 방법을 개발하는 것이 더욱 수월해질 수 있다고 덧붙였다.
규제 배경과 법적 쟁점
앤트로픽은 워터마킹이 AI 콘텐츠의 저자를 가려내기 위한 기술이 아니라고 강조한다. 그럼에도 비판자들은 워터마크가 실질적으로 AI 사용 여부를 인간 작성과 AI 작성으로만 구분하는 효과를 만들 수 있다는 점을 지적한다. AI가 전체 문서를 작성한 경우와 사람이 쓴 글을 AI로 일부 다듬은 경우를 구별하지 못할 가능성이 있다는 뜻이다.
앤트로픽의 조치는 유럽연합(EU)의 규제 요구에서 비롯되었다. EU AI 법에 명시된 투명성 관련 의무를 충족하기 위한 것이라고 설명했다. EU는 AI 생성물 표시 체계가 일반적인 변경이나 의도적인 우회 시도에도 견딜 수 있게 설계되어야 한다는 입장이다. 투명성 관련 지침에서도 워터마크의 제거와 재생성, 복사, 수정 등을 위협 요인으로 평가하도록 규정하고 있다.
다만 EU AI 법이 제3자에 의한 워터마크 제거 도구의 개발과 배포 행위 자체를 명시적으로 금지하는지는 명확하지 않다.
스트래스클라이드대학교의 드미트리 루시노프 교수는 현행 규정이 AI 기업에는 워터마크 적용을 의무화하지만 제3자의 제거 도구 개발을 직접 금지하지는 않는다고 분석했다. 마스트리흐트대학교의 콘라드 쾰니히 교수도 EU AI 법과 앤트로픽의 이용약관이 워터마크 제거 도구의 제작과 배포를 명시적으로 차단하지 않는 것으로 보인다고 평가했다.
잠재적 법적 위험
그러나 제거 도구를 사용해 AI의 결과물을 마치 인간이 직접 작성한 것처럼 위장할 경우 문제가 발생할 수 있다. 앤트로픽의 이용 정책에서는 모델의 생성물을 인간이 작성한 것으로 표현해 사람을 사칭하는 행위를 금지하고 있다. 또한 제거 과정에서 다른 AI가 텍스트를 다시 생성한다면, 그 서비스를 제공하는 기업도 EU 규정에 따라 새로 만들어진 콘텐츠에 표시 의무를 져야 할 가능성이 높다.
향후 대응과 전망
앤트로픽은 이후 공개할 차세대 모델과 함께 AI 생성 텍스트를 판별하는 API도 제공할 방침이다. 8월2일 이후에 출시되는 신규 모델에는 워터마크가 적용되며, 기존 모델로도 적용 범위를 늘려나갈 예정이다.
탐지 API가 공개되면 AI 생성물 여부를 자동으로 판별하는 서비스와 이를 다시 무력화하려는 서비스 사이의 경쟁도 더욱 심화될 것으로 예상된다.