[KtN 정석헌기자]일론 머스크의 인공지능 기업 xAI가 생성형 AI 서비스 그록(Grok)을 이용해 아동 성착취물을 제작한 혐의를 받는 이용자를 상대로 미국 연방법원에 민사소송을 냈다. AI 기업이 자사 서비스의 불법 이용을 이유로 이용자에게 직접 손해배상을 청구한 초기 소송 가운데 하나다. 생성형 AI의 안전장치를 둘러싼 책임 공방이 개발기업과 피해자 사이를 넘어 서비스를 악용한 이용자에게까지 확대됐다.

xAI가 제소한 인물은 미국 사우스캐롤라이나주에 거주하는 테리 웨인 하우드(Terry Wayne Harwood·67)다. xAI는 하우드가 일반 사진을 성적으로 노골적인 합성물로 바꾸고, 그록이 일부 요청을 거부하자 입력 문구를 반복적으로 수정해 안전장치를 우회했다고 주장했다.

미성년자가 포함된 사진을 성적 이미지로 변형하고 결과물을 배포했다는 내용도 소장에 담겼다. xAI는 하우드가 여러 계정을 이용해 금지된 요청을 반복했으며, 사우스캐롤라이나주 형사사건에 포함된 파일 가운데 일부가 그록을 통해 생성되거나 수정됐다고 주장했다.

하우드는 지난 2월 아동 성착취와 관련된 중범죄 혐의 8건으로 체포·기소됐다. 형사재판이 진행 중인 만큼 유죄가 확정된 상태는 아니다. 문제가 된 파일의 제작 과정과 그록 이용 기록의 연관성도 민사·형사재판에서 검증될 사안으로 남아 있다.

xAI는 손해배상과 소송비용 지급, 그록을 포함한 자사 서비스의 영구 이용금지를 법원에 청구했다. 하우드의 행위로 발생한 기업 평판 훼손과 향후 제3자가 xAI를 상대로 제기할 수 있는 소송 비용까지 배상 범위에 포함했다. 구체적인 청구액은 공개하지 않았다.

이용약관 앞세운 계약 위반 소송

xAI가 이번 소송에서 적용한 법리는 이용약관 위반에 따른 계약 책임이다. 아동 성착취물 제작과 유포 혐의는 형사사법기관의 수사와 재판에서 다루고, 회사는 계정 개설 당시 이용자가 동의한 약관을 근거로 별도의 민사 책임을 묻는 방식이다.

그록의 이용정책은 미성년자를 성적으로 묘사하거나 실존 인물의 사진을 비동의 성적 이미지로 변형하는 행위를 금지하고 있다. 안전장치를 우회하거나 생성물의 출처를 감추는 행위도 금지 대상에 포함된다.

xAI는 하우드가 금지 규정을 알고도 여러 계정을 개설해 불법 이미지 생성을 반복했다고 주장했다. 이용자의 입력 내용과 생성물이 약관상 이용자 콘텐츠에 해당하며, 불법적인 사용으로 회사에 손해가 발생하면 이용자가 관련 비용을 부담해야 한다는 입장이다.

법원이 해당 주장을 받아들이면 생성형 AI 기업의 대응 수단은 계정 정지와 수사기관 신고를 넘어 민사상 손해배상 청구로 넓어질 수 있다. 불법적인 서비스 이용으로 기업에 규제 대응 비용이나 제3자 소송 비용이 발생했을 때 해당 비용을 이용자에게 청구할 수 있는지도 주요 판단 대상이 된다.

xAI가 입증해야 할 내용도 적지 않다. 문제가 된 계정과 하우드가 동일인이라는 사실, 해당 이미지가 실제로 그록에서 만들어졌다는 점, 이용자가 안전장치를 고의로 우회했다는 정황을 법정에 제시해야 한다.

기업 평판 훼손과 아직 발생하지 않은 제3자 소송 비용을 계약 위반에 따른 손해로 인정할 수 있는지도 법원이 살펴볼 부분이다. 이용약관에 포함된 배상 조항이 개인 이용자에게 어느 범위까지 적용되는지도 재판 결과에 영향을 줄 수 있다.

플랫폼 피고에서 이용자 상대 원고로

이번 소송은 그록의 이미지 생성·편집 기능을 둘러싼 비판이 이어진 상황에서 제기됐다. 여성과 미성년자의 사진을 성적 이미지로 바꾸는 요청이 그록을 통해 처리된 사실이 알려지면서 xAI의 사전 차단 기능과 사후 대응을 둘러싼 논란이 확산했다.

지난 3월에는 청소년들의 사진이 그록을 통해 성적 합성물로 제작됐다고 주장하는 별도 집단소송도 제기됐다. 피해를 주장하는 청소년들은 xAI가 실존 인물의 사진을 성적 이미지로 변형할 수 있는 기능을 제공하면서 충분한 차단 조치를 마련하지 않았다고 주장했다. 해당 소송 역시 법원의 사실 판단이 나오지 않은 상태다.

xAI는 피해자 측 소송에서는 플랫폼의 설계와 운영 책임을 추궁받는 피고다. 하우드 사건에서는 안전장치를 고의로 우회한 이용자에게 책임을 묻는 원고로 법정에 섰다.

두 소송에서 다루는 책임은 서로 다르다. 이용자가 불법적인 목적으로 서비스를 사용했다는 사실이 인정되더라도, 플랫폼이 충분한 예방·탐지 장치를 갖췄는지는 별도로 판단해야 한다. 서비스의 악용 가능성을 어느 수준까지 예측할 수 있었는지, 반복적인 우회 요청을 얼마나 신속하게 탐지했는지, 불법 이미지 생성을 사전에 차단할 기술적 조치를 적용했는지가 기업 책임을 가르는 기준이 될 수 있다.

생성형 AI 이용자는 입력한 명령과 생성물을 저장·배포한 행위에 책임을 진다. 개발기업은 불법적인 사용을 막기 위해 모델과 서비스에 적용한 안전장치, 이상 이용 탐지, 계정 정지, 관계기관 신고 절차를 검증받는다. 이용자의 고의성과 기업의 안전조치가 각각 독립된 법적 판단 대상이 되는 구조다.

계정 5만여 개 정지, 7만여 건 신고

xAI는 최근 수개월 동안 아동 성착취물과 관련된 것으로 판단한 계정 5만2000여 개를 정지하고, 미국 실종·착취아동센터(NCMEC)에 7만3000여 건을 신고했다고 밝혔다. 관련 신고가 최소 244건의 체포로 이어졌다는 수치도 제시했다.

신고 건수는 xAI가 공개한 집계다. 동일 계정이나 같은 파일에 관한 중복 신고 여부, 자동 탐지와 수동 검토의 비율, 신고 이후 실제 범죄 혐의가 확인된 비중은 공개된 내용만으로 구분하기 어렵다.

5만여 개의 계정을 정지하고 7만여 건을 신고했다는 수치는 탐지·신고 체계가 가동되고 있다는 회사 측 설명을 뒷받침한다. 동시에 그록과 X에서 아동 성착취물과 관련된 악용 시도가 상당한 규모로 발생했을 가능성도 나타낸다.

온라인 서비스 기업은 아동 성착취물로 의심되는 콘텐츠를 인지하면 관계기관에 신고해야 한다. 비동의 성적 합성물에 대한 삭제와 재유통 방지 의무도 강화되고 있다. 악의적 이용자를 상대로 손해배상을 청구하더라도 불법 이미지 생성과 확산을 차단해야 할 플랫폼의 책임은 별도로 유지된다.

약관 집행 넘어 안전장치 작동 여부도 검증

법원이 xAI의 청구를 인정하면 다른 생성형 AI 기업들도 반복적인 불법 이용자를 상대로 직접 민사소송을 제기할 가능성이 커진다. 서비스 이용약관에 규정된 금지행위와 손해배상 조항이 실제 법정에서 집행되는 흐름도 확산할 수 있다.

실효성에는 제약이 있다. 기업이 불법 이용자의 신원을 확인하고 특정 계정의 생성 기록을 확보해야 소송을 제기할 수 있다. 배상 판결을 받더라도 개인 피고에게 기업의 법률비용과 평판 손해를 실제로 회수할 수 있을지는 자산과 지급 능력에 따라 달라진다. 영구 이용금지 명령이 내려져도 다른 명의나 계정을 통한 재접속을 기술적으로 차단해야 하는 부담도 남는다.

재판에서는 하우드가 입력한 프롬프트와 이미지 생성 기록, 그록이 요청을 거부한 횟수, 우회 요청이 반복된 과정, xAI가 이상 활동을 감지한 시점이 다뤄질 전망이다. 계정 정지와 관계기관 신고가 이뤄진 시기도 이용자의 고의성과 플랫폼의 대응 속도를 판단하는 근거가 된다.

사우스캐롤라이나주의 형사재판은 하우드의 범죄 혐의를 가리고, 텍사스주의 민사재판은 이용약관 위반과 xAI의 손해를 판단한다. 그록의 설계와 안전조치를 문제 삼은 피해자 측 소송도 별도로 진행된다.

생성형 AI를 이용해 불법 콘텐츠를 만든 개인의 책임과 악용 가능성이 있는 서비스를 설계·운영한 기업의 책임이 서로 다른 법정에서 동시에 다뤄지게 됐다. 향후 판결과 증거 공개 과정에서는 이용자가 안전장치를 우회한 방식뿐 아니라 그록이 반복적인 금지 요청을 어느 단계에서 차단하거나 허용했는지도 확인될 것으로 예상된다.