핵심 수치: 1만 개 응답에서 확인된 누락

서울대 보건대학원 김승섭 교수 연구팀의 「침묵의 설계자」 연구는 엔비디아의 네모트론 페르소나 코리아에서 생성한 가상 인물 1만 개를 라마 3.3에 입력해 응답을 비교한다. 이 가운데 1,000개는 다른 세 모델에도 적용한다. 비교 기준은 실제 국가 조사다.

항목 라마 응답 비교 기준
등록장애인 0명 실제 성인 인구의 5.9%
자가보고 장애인 5명 뉴스에 별도 비율 없음
레즈비언·게이·양성애자 0명 뉴스에 별도 비율 없음
트랜스젠더 0명 뉴스에 별도 비율 없음
국외 출생자 0명 뉴스에 별도 비율 없음

뉴스에 공개일은 제시되지 않는다. 다만 11월 5일 공개 강연 포스터는 대규모 언어모델이 소수자를 지우고 불평등을 증폭시키는지를 질문한다.

항목별 비교: 무엇을 확인했고, 무엇은 별도인가

관찰된 통계는 합성 응답이 실제 인구 분포를 재현하지 못할 수 있음을 보여준다. 특히 등록장애인 응답은 비교 기준 5.9%에 비해 0명이다. 합성 응답을 실제 국민의 경험이나 의견을 대신하는 자료로 쓰려면 대표성을 검증해야 한다.

다만 과소재현은 특정 집단이 응답에 적게 나타나는 현상이다. 이 결과만으로 원인이 학습 데이터의 사회적 위계인지, 현실의 불평등이 실제로 증가하는지까지 입증되지는 않는다. 과소재현 관찰과 원인 규명, 현실에 대한 영향은 서로 다른 주장이다.

연구진이 사용한 데이터셋은 실제 100만 명을 인터뷰한 기록이 아니라 인구통계를 바탕으로 만든 합성 인물 집합이다. 엔비디아는 일부 변수에 독립성 가정을 적용하고 변수 간 상호작용을 반영하지 못했다고 설명한다. 젠더 관련 포괄적 공공통계도 반영하지 못했다고 명시한다. 따라서 여성·연령대·지역 구성이 현실과 비슷하다는 사실만으로 장애나 성적 지향 등 모든 항목의 대표성이 보장되지는 않는다.

결론

이번 비교가 보여주는 핵심은 네모트론 페르소나 코리아 기반 응답에서 여러 소수자 집단이 누락됐다는 점이다. 이는 합성 데이터를 실제 인구 자료처럼 사용하는 데 주의가 필요하다는 근거지만, 불평등 증폭의 원인이나 현실 영향까지 단독으로 증명하는 수치는 아니다.

  • 합성 응답을 활용할 때 실제 조사와 항목별 분포를 비교한다.
  • 데이터셋의 독립성 가정과 반영되지 않은 변수 상호작용을 확인한다.
  • 결과를 인용할 때 관찰된 누락과 인과 주장을 구분한다.
  • #대규모언어모델
  • #네모트론페르소나코리아
  • #라마33
  • #합성데이터
  • #소수자