AI가 범죄 위험이 높은 지역을 예측해 경찰 순찰에 활용되고 있다. 하지만 과거의 편향된 단속 기록이 AI에 학습되면 특정 지역과 소수집단에 대한 차별이 심해질 수 있다는 우려가 나온다. AI가 범죄 발생 가능성만 예측하는 데 그치지 않고 경찰의 단속 방식까지 되풀이해 기존 편견을 강화하는 악순환을 낳을 수 있다는 지적이다.
24일(현지시간) BBC에 따르면, 영국 과학저술가협회(ABSW)가 선정한 ‘2026년 젊은 과학 작가상’ 수상작은 AI 기반 치안 시스템이 안고 있는 이런 문제를 다뤘다.
수상작을 쓴 영국의 16세 학생 애드리언 드레지는 과거 범죄 기록으로 미래의 범죄 발생 지역을 예측하는 시스템이 기존 경찰 활동의 편향을 그대로 물려받을 수 있다고 설명했다.
경찰의 범죄 통계가 실제 범죄 발생 현황을 온전히 담아내지 못할 수 있다는 점이 문제다. 경찰이 자주 순찰하는 지역에서는 경미한 위반 행위도 발견돼 기록될 가능성이 크다. 반대로 순찰이 드문 곳에서는 비슷한 범죄가 일어나도 적발되지 않거나 공식 통계에 포함되지 않을 수 있다.
AI는 이런 차이를 구분하기 어렵다. 단속 기록이 많은 지역을 범죄 위험이 높은 곳으로 판단하면 경찰은 예측 결과에 따라 그곳에 순찰 인력을 집중한다. 단속이 늘면서 범죄 기록도 더 쌓이고, 새 기록이 다시 AI에 입력돼 같은 지역이 거듭 위험 지역으로 지목된다.
따라서 범죄 통계에는 실제 범죄가 일어난 장소뿐 아니라 경찰이 어디를 집중적으로 감시했는지도 담긴다. AI가 둘을 구별하지 못하면 과거의 단속 편향이 미래 치안 정책에까지 이어질 수 있다.
스탠퍼드대학교 사회학과 세라 브레인 부교수는 경찰이 범죄에 대응하는 데서 더 나아가 데이터를 이용해 범죄를 예측하는 방식에 주목했다. 공개된 장소에서 발생한 범죄는 목격되고 기록되기 쉽고, 흑인 거주 지역에 경찰 활동이 집중되는 경향도 데이터에 반영될 수 있다고 분석했다.
브레인은 AI 예측 시스템이 결국 “범죄나 경찰과의 접촉 같은 사건을 예측할 뿐 아니라, 그 사건이 미래에 실제로 발생하는 데도 영향을 미치는 피드백 루프”를 만든다고 지적했다. 객관적인 수치와 예측을 제시하는 시스템이라도 편향된 데이터에 기반했다면 그 결과를 공정하다고 보기 어렵다는 설명이다.
뉴욕대학교 연구진 등이 2019년 발표한 연구는 경찰의 과거 기록 자체가 왜곡됐을 가능성도 제기했다. 연구진은 부패하거나 편향된 관행, 위법한 단속, 조작된 범죄 통계, 무고한 사람에 대한 체포 등으로 오염된 데이터를 ‘더티 데이터(dirty data)’라고 설명했다. 미국 13개 지역을 조사한 결과, 9개 지역에서는 위법하거나 편향된 경찰 활동이 벌어진 시기의 기록이 AI 학습에 쓰일 수 있는 것으로 나타났다.
이런 데이터가 입력되면 AI는 기록이 만들어지는 과정에 문제가 있었는지 스스로 가려내기 어렵다. 잘못된 기록도 반복되는 패턴으로 받아들여 미래 예측에 반영할 수 있다. 데이터 오류를 바로잡지 않고 모델의 정확도만 높이면 과거의 차별을 더 정교하게 재현할 위험이 있다.
대응책으로는 데이터 검증, 독립적 감독, 사람의 개입이 거론된다. 시드니대학교 로스쿨의 디지털 사법 연구자인 캐럴린 맥케이 부교수는 “국가의 경찰 활동은 인간의 감독과 검토를 받아야 한다”고 강조했다. 경찰 기록이 어떤 과정을 거쳐 만들어졌는지 확인하고, 편향이나 위법한 관행이 드러나면 바로잡아야 한다는 취지다.
데이터를 정비하는 것만으로 모든 문제가 해결되지는 않는다. 개인이 아니라 지역을 기준으로 위험도를 예측하더라도, 과거에 과도한 단속과 공공서비스 부족을 겪은 지역이 계속 위험 지역으로 분류될 수 있다. 지역 단위 예측 역시 그곳 주민에게 부담을 집중시킬 가능성이 있다는 뜻이다.
퀸메리런던대학교의 멀티모달 AI 연구자인 디미트리오스 콜리아스 부교수는 과거 데이터의 편향이 AI에 이어질 수 있다고 인정하면서도 차별이 불가피한 것은 아니라고 봤다. 그는 “불공정한 결과가 나타나는지 시험하고, 데이터와 목표 설정을 개선하며, 영향을 줄이기 위한 안전장치를 도입할 수 있다”고 말했다. 이어 AI가 더 독립적으로 판단하고 행동할수록 안전성과 신뢰성을 확보하고 인간의 실질적인 통제 아래 두는 일이 중요하다고 덧붙였다.
AI가 경찰의 판단을 돕는 도구가 되려면 범죄 기록에 더해 지역의 환경과 사회적 조건도 살펴야 한다는 제안도 나왔다. 가로등이 부족하거나 공공서비스가 없는 등 범죄 위험과 관련될 수 있는 요인을 파악하면, 경찰력을 집중하는 대신 기반 시설을 개선하고 지역사회를 지원하는 방식으로 대응할 수 있다.
AI의 편향 문제는 치안에만 머물지 않는다. 2019년 국제학술지 사이언스에 발표된 의료 AI 연구에서는 환자에게 필요한 의료 지원을 예측할 때 치료비를 필요의 기준으로 삼아 흑인 환자가 불리해지는 문제가 확인됐다. 기존 의료 체계에서 흑인 환자에게 상대적으로 적은 비용이 쓰였던 현실이 알고리즘의 판단에 반영된 것이다. 연구진이 치료비 대신 환자의 실제 질병 상태를 예측하도록 모델을 바꾸자 편향이 크게 줄었다.
이 사례는 AI의 결과가 알고리즘 성능만으로 결정되는 것이 아니라, 무엇을 예측하고 어떤 데이터를 쓰는지에 따라서도 달라진다는 점을 보여준다. 범죄 예측에서도 과거 단속 건수만 기준으로 삼기보다 데이터가 만들어진 배경과 경찰 활동이 편중됐는지를 함께 살펴야 한다는 지적이다.