오픈AI가 ‘챗GPT’ 이용자들의 대화를 외부 계약직 인력에게 검토·평가하게 한 비공개 프로젝트를 운영해 온 사실이 알려지며 논란이 확산하고 있다. 사용자 대화를 모델 개선에 활용한다는 사실은 이미 알려져 있었지만, 실제 사람이 대화 내용을 읽고 평가하는 구체적인 절차가 드러나면서 사생활 침해에 대한 우려가 커지고 있다.
14일(현지시간) 404미디어 보도에 따르면, 오픈AI는 수백명의 외주 계약직 인력을 투입해 챗GPT 사용자들의 대화를 읽고 평가하도록 하는 비밀 프로젝트 ‘프로젝트 릴리(Project Lily)’를 진행한 것으로 나타났다.
404미디어가 확보한 프로젝트 지침서와 슬랙 채널, 실제 챗GPT 대화록에 따르면, 프로젝트에 참여한 외주 계약직 인력들은 ‘프롬프트 리뷰어’로서 실제 이용자의 대화를 살펴보고 챗GPT가 작성한 답변의 품질을 평가했다. 이 작업은 인간 피드백 기반 강화학습(RLHF)을 통해 모델 성능을 향상하는 과정에 해당한다.
리뷰어들은 익명 처리된 대화를 바탕으로 챗GPT의 답변이 이용자의 질문에 적절히 대응했는지를 판단했다. 지나치게 ‘AI스러운’ 문장, 훈계하는 듯한 어투, 이모지를 과도하게 사용하는 방식, 이용자에게 무조건 동의하거나 비위를 맞추는 아첨성 답변 등이 주요 평가 항목이었다.
챗GPT가 자신을 지나치게 인간적인 존재처럼 묘사하는지 여부도 교정 대상이었다. 정보를 검색했다는 취지의 표현은 허용되지만, 실제 경험을 가진 사람처럼 “나는 전문가로서”나 “그런 기분은 나도 안다”라고 말하는 답변은 부적절한 것으로 분류됐다는 설명이다.
논란의 핵심은 이 평가 과정에서 이용자의 민감한 개인정보가 사람에게 노출될 수 있다는 점이다. 대화가 익명화되기는 하지만, 모든 개인정보가 완전히 삭제되는 것은 아닌 것으로 전해졌다. 오픈AI 내부 문서에는 맥락이 충분하지 않은 짧은 대화의 경우 이름이나 기타 개인정보가 필터링되지 않은 채 남을 가능성이 있는 것으로 나타났다.
리뷰어에게 제공되는 자료에는 이용자의 질문과 관심사, 대화 맥락 등을 정리한 ‘사용자 메모리 요약’이 포함될 수도 있는 것으로 알려졌다. 이 과정에서 이용자의 위치 정보 등 개인정보가 들어갈 가능성도 제기됐다. 챗GPT를 친구나 상담 상대처럼 사용하며 사적인 고민이나 비밀을 털어놓는 이용자들이 있다는 점에서 우려가 더욱 커지는 이유다.
프로젝트 릴리는 답변 전반의 사실관계를 검증하는 업무와는 별도로 운영된 것으로 알려졌다. 명백한 오류를 표시하는 작업을 제외하면 사실의 정확성 자체는 주요 평가 기준이 아니었고, 유해 콘텐츠 여부를 점검하는 별도의 안전성 검토와도 구분됐다는 설명이다.
이번 사례는 생성 AI의 성능을 개선하는 과정에서 인간의 직접적인 평가가 여전히 중요한 역할을 한다는 점을 보여주기도 한다. 학습 데이터와 기술을 개선하는 것만으로 모든 문제를 해결할 수 있는 것이 아니라, 실제 사용 사례를 사람이 분석하고 피드백하는 절차가 필요하다는 의미다.
그러나 이용자에게는 자신의 대화가 실제 사람에게 읽힐 수 있다는 사실을 얼마나 분명하게 알렸는지가 핵심 쟁점으로 남았다. 오픈AI는 챗GPT 소비자 서비스에서 작성된 대화가 모델 개선을 위해 인간 검토 대상이 될 수 있다는 내용을 기존 안내문과 FAQ를 통해 공개해 왔다고 밝혔다. 관련 보도 이후에는 데이터 활용 방식과 옵트아웃 방법을 설명하는 페이지도 변경했다.
이러한 인간 검토 절차가 오픈AI에만 있는 것은 아니다. 구글 역시 '제미나이'에 저장된 대화 중 일부를 사람이 검토할 수 있다고 개인정보 안내문에 명시하고 있으며, 앤트로픽도 '클로드' 대화가 인간 검토 대상이 될 수 있음을 별도로 고지하고 있다.