오픈AI가 청소년의 폭력 행위를 막기 위해 챗GPT의 무기 관련 정보 제공을 제한한다. 폭력 의도가 드러나지 않은 질문이라도 실제로 악용될 수 있는 구체적인 무기나 보안 시스템 정보는 청소년에게 제공하지 않기로 했다. 폭력에 대한 집착이 감지되면 대화를 자동으로 끝내고, 같은 행동이 반복되면 계정을 일시 정지하는 조치도 도입한다.
오픈AI는 30일(현지시간) 커뮤니티 안전 보고서를 발표하고 새로운 청소년 보호 정책을 공개했다.
오픈AI는 2026년 3분기에 200건이 넘는 위협 사례를 사법기관에 신고했다고 밝혔다. 앞으로는 반기마다 안전 보고서를 정기적으로 발행해 투명성을 높일 계획이다. 최근 AI 챗봇이 청소년에게 미치는 위험과 기업이 위해 가능성을 감지해야 할 책임에 대한 우려가 커진 데 따른 조치다.
새 정책에 따라 챗GPT는 청소년에게 무기와 보안 시스템에 관한 실용적인 정보를 제공하지 않는다. 질문에 폭력적인 의도가 드러나지 않더라도 악용될 가능성이 있는 정보라면 제한한다는 방침이다.
폭력에 집착하는 정황이 의심되는 대화에는 모든 사용자에게 적용되는 안전 조치가 시행된다. 챗GPT가 관련 징후를 포착하면 대화를 자동으로 종료할 수 있고, 같은 유형의 대화가 거듭되면 계정을 일시 정지할 수 있다. 청소년 계정이 폭력 관련 대화를 반복해 정지되면 부모에게도 알릴 예정이다.
사용자의 연령을 판별하는 시스템도 강화했다. 이용자가 18세 미만이라고 추정되면 청소년용 챗GPT 환경으로 자동 전환한다. 실제 나이를 성인으로 설정했더라도 청소년으로 판단되는 사용자를 보호 체계에 포함한다는 설명이다.
과거 대규모 공격 사건에 대한 정보 제공도 제한한다. 이 조치는 청소년뿐 아니라 모든 사용자에게 적용된다. 특히 사건 당시 사용된 무기와 확보 방법처럼 모방에 활용될 수 있는 세부 정보의 공개를 줄이기로 했다.
새 조치는 앞으로 몇 주 동안 순차적으로 적용된다. 오픈AI는 실제 운영 결과를 확인하면서 보호 정책을 지속적으로 개선할 계획이다.
청소년의 챗GPT 이용에 대한 우려는 계속 제기돼 왔다. 오픈AI는 이달 초 처음 공개한 청소년 이용 현황 보고서에서 청소년의 하루 평균 챗GPT 사용 시간이 15분 미만이라고 밝혔다.
그러나 비영리단체 커먼 센스 미디어는 같은 달 발표한 보고서에서 청소년용 챗GPT의 보호 기능에 한계가 있다고 지적했다. 청소년 계정에서 자살·자해·섭식장애 관련 대화가 발생해도 부모에게 알림이 늦게 전달되거나 아예 통지되지 않는 사례가 있다는 내용이다.