온라인 그루밍, AI가 먼저 찾아내는 시스템 공개
중앙디지털성범죄피해자지원센터가 아동·청소년 대상 온라인 그루밍을 AI로 탐지하는 시스템을 공개했습니다.
한국여성인권진흥원 산하 중앙디지털성범죄피해자지원센터(중앙디성센터)가 11월 10일 프레스투어에서 'AI 기반 아동·청소년 온라인 성착취 탐지·신고 시스템' 시연을 공개했습니다. 센터는 올해 4월부터 이 시스템을 운영해 왔다고 밝혔습니다.
어떻게 작동하나
이 시스템은 SNS와 온라인 플랫폼에 올라오는 아동 성착취물, 딥페이크 영상, 온라인 그루밍 관련 정보를 24시간 자동으로 모아 분석합니다. 시연에서는 구글, X, 블루스카이, 텔레그램 등 14개 플랫폼에서 의심 게시물을 찾아내는 과정이 공개됐습니다.
- 센터 직원들이 모니터링하며 쌓아 온 약 220개의 핵심 키워드를 바탕으로 게시물을 찾습니다.
- 텍스트와 이미지를 함께 분석해 위험 가능성을 수치로 계산하고, 그렇게 판단한 근거도 보여 줍니다.
- 기준 이상으로 분류된 게시물은 직원에게 배정되고, 직원이 최종 판단을 한 뒤 플랫폼에 삭제를 요청합니다.
시연에서 소개된 한 게시물에는 노골적인 성적 표현이 없었지만, 중학생을 뜻하는 단어와 성적 의미를 담은 해시태그가 함께 쓰여 그루밍 위험도가 86%로 판단됐습니다.
아이들에게 왜 중요한가
센터는 아동·청소년이 피해를 입어도 직접 신고하기 어려운 경우가 많고, 온라인 그루밍은 실제 피해가 생기기 전에 막는 것이 중요하다고 설명했습니다. 김미순 센터장은 청소년이 올린 짧은 영상에 '예쁘다', '몇 살이냐' 같은 댓글을 달며 신뢰를 쌓는 과정이 그루밍의 시작이라고 말했습니다. 이런 접근은 키워드 검색만으로는 찾기 어렵다고 덧붙였습니다.
앞으로의 계획
센터에 따르면 AI가 하루에 탐지하는 게시물은 약 5000건이며, 직원 1인당 하루 처리 건수는 지난해 평균 20.8건에서 올해 4~9월 평균 202.1건으로 늘었습니다. 센터는 내년부터 모니터링 대상을 14개에서 139개 플랫폼으로 넓히고, 키워드 없이도 대화의 흐름과 맥락을 분석해 유인 가능성을 가려내는 기능을 추가할 계획입니다.
다만 이런 시스템은 공개된 게시물을 찾아 삭제를 요청하는 데 쓰입니다. 아이와 낯선 사람 사이에서 오가는 개별 대화까지 모두 살펴볼 수 있다는 뜻은 아닙니다. 그래서 가정에서 아이와 나누는 대화가 여전히 중요합니다.
부모가 할 수 있는 일
- 아이가 올린 영상이나 사진에 낯선 사람이 칭찬하거나 나이를 묻는 댓글을 달면 답하지 말고 부모에게 알려 달라고 미리 이야기해 두세요.
- 낯선 사람이 대화를 다른 앱으로 옮기자고 하거나 만나자고 해도 아이가 혼나지 않고 편하게 말할 수 있다는 점을 알려 주세요.
- 불편한 게시물이나 대화를 발견하면 화면을 저장해 두고 플랫폼에 신고하거나 중앙디지털성범죄피해자지원센터 등 지원 기관에 상담하세요.