이 사진 일러스트에서 Grok 웹사이트는 2026년 2월 12일 컴퓨터 화면의 돋보기를 통해 보입니다. Grok은 이전에 xAI로 알려졌던 Elon Musk의 SpaceXAI가 구축한 AI 챗봇입니다. SpaceXAI와 Stability AI를 상대로 제기된 집단소송은 회사의 AI 도구가 어린이의 성적으로 노골적인 이미지를 만드는 데 사용되었다고 주장합니다.
게티 이미지를 통한 Pablo Vera/AFP
캡션 숨기기
캡션 전환
게티 이미지를 통한 Pablo Vera/AFP
집단 소송의 새로운 원고 재판 Elon Musk의 AI 회사인 SpaceXAI는 회사의 이미지 생성 모델이 아동 성적 학대 자료를 만드는 데 사용되었으며 회사가 가해자 혐의에 대한 정보를 당국과 적절하게 공유하지 못했다고 주장합니다.
화요일에 제출된 수정된 고소장에 따르면, 와이오밍과 위스콘신의 두 명의 원고가 올해 초 세 명의 테네시 청소년이 제기한 소송에 합류했습니다. 모든 원고는 Jane Does로 지칭됩니다. 소송은 또한 Stable Diffusion 이미지 생성기 뒤에 있는 회사인 Stability AI를 피고로 포함하도록 확대되었습니다.
소송에 따르면 한 원고의 남자 친구와 다른 원고의 계부 등 가해자들은 회사의 AI 모델을 사용해 원고가 미성년자였을 때 촬영한 사진을 변조해 아동 성적 학대 자료(CSAM)를 만들었다고 주장한다. 5명의 원고는 해당 회사들이 CSAM을 제작하여 성매매 사업을 통해 이익을 얻고, 과실, 잘못된 제품 디자인을 만들고, 대중에게 폐를 끼치고 있다고 비난했습니다.
5명의 원고 측 변호사인 애니카 마틴은 “공공의 폐해란 그것이 단지 고객에게만 문제가 되는 것이 아니라 사회에 해를 끼치는 것임을 의미한다”고 말했다. “우리는 전 세대의 어린이들에게 이러한 피해를 입히지 않도록 이러한 안전 장치를 마련하고 싶습니다.”
원고는 AI 기업에 다음과 같이 요구하고 있다. 착취적이고 악의적인 이미지 생성을 방지하고 금전적 보상을 모색하기 위해 보다 효과적인 보호 장치를 설치합니다.
Jane Doe의 사례 4
SpaceXAI는 다른 인터넷 회사와 마찬가지로 필수입니다. 법에 따라 CSAM을 포함한 의심되는 아동 성적 착취를 비영리 국립실종착취아동센터(NCMEC)에 신고하기 위해 회사가 이를 적절하게 수행하지 못했다고 소송에서 주장합니다.
SpaceXAI는 이전에는 xAI로 알려졌습니다. 이 회사는 올해 초 머스크의 SpaceX와 합병한 후 이번 달에 이름을 변경했습니다.
고소장에 따르면 와이오밍에 거주하는 20대 여성인 Jane Doe 4의 계부는 SpaceXAI의 챗봇인 Grok을 사용하여 Jane Doe 4가 대략 11세였을 때 촬영한 한 장의 사진에서 약 7,000개의 노골적인 성적으로 노골적인 이미지와 비디오를 생성했습니다. AI가 생성한 이미지에는 양아버지를 포함한 남성들에게 알몸으로 성행위를 하는 모습이 포함됐다. 일부 이미지에는 노골적인 캡션도 포함되어 있습니다.
SpaceXAI는 지난 2월 Jane Doe 4에 관한 정보를 NCMEC에 한 개만 보냈습니다., 고소장에 따르면 의붓아버지가 모델에게 소녀가 여러 남자에게 강간당하는 모습을 묘사한 이미지를 생성해 달라고 요청했을 때였다. 고소장에 따르면 회사는 보고서에 악의적인 이미지를 포함하지 않았으며 당국이 반복적으로 요청한 후에도 가해자의 IP 주소를 NCMEC 및 법 집행 기관과 공유하지 않았습니다.
많은 전자 서비스 제공업체가 NCMEC에 다수의 의심스러운 활동 보고서를 제출하지만 법에서 요구하지 않기 때문에 “충분하거나 실행 가능한 정보”를 포함하지 않는다고 센터는 성명서에서 밝혔습니다. 보고서 3월에.
고소장에 따르면 법 집행 기관은 마침내 계부를 추적하고 조사했을 때 소송에 언급된 다른 가해자들과 마찬가지로 온라인에서 다른 사람들과 성적으로 노골적인 이미지를 교환했다는 사실을 발견했습니다. 법 집행 기관이 그의 디지털 기기를 수색하고 아동 착취 범죄 혐의로 기소한 지 이틀 만에 그는 자살했습니다.
고소장에는 “제인 도 4(Jane Doe 4)가 극심한 개인적 위기의 시기에 접어들었다”고 적혀 있다. “그녀는 자신의 성적 착취로 인한 트라우마를 감당해야 했고, 양아버지를 잃은 어머니를 도와야 했습니다… 그녀의 가족은 뿔뿔이 흩어졌고 그녀의 삶은 악몽이 되었습니다.”
집단 소송에서 원고를 대리하는 변호사 마틴에 따르면 법 집행 기관은 Jane Doe 4에게 그녀의 양아버지가 다른 AI 모델보다 그녀의 프롬프트에 더 잘 반응했기 때문에 Grok을 사용했다고 말했습니다.
NCMEC는 이 문제에 대해 논평을 거부하고 NPR을 법 집행 기관에 회부했습니다. 고소장에서 Jane Doe 4 사건에 연루된 법 집행 기관 중 하나로 아동 대상 인터넷 범죄 대책반이 속한 와이오밍 범죄 수사국은 의견 요청에 응답하지 않았습니다. SpaceXAI는 논평 요청에 응답하지 않았습니다.
친밀한 이미지와 음란물을 만들기 위해 사진을 수정하는 앱은 수년 동안 인터넷의 그림자 속에 존재해 왔습니다. 그러나 Google, OpenAI, xAI를 포함한 주요 AI 회사가 사용자가 비키니를 벗을 수 있도록 이미지 생성 도구를 업데이트한 2025년에 합의되지 않은 친밀한 이미지를 생성하는 것이 훨씬 더 흔해졌습니다.
2025년 말부터 올해 초까지 사람들은 xAI의 도구를 사용하여 비키니를 입은 나체 여성과 어린이를 보여주는 편집된 사진을 대량으로 만들었습니다. 그 결과 국가들은 인도네시아, 말레이시아, 영국을 포함한 국가는 조사를 시작하고 xAI에 대한 임시 금지를 부과했습니다. 현재 NPR의 테스트에 따르면 Google과 OpenAI가 만든 챗봇은 “그녀에게 비키니를 입혀주세요”라는 메시지에 응답을 거부합니다. Grok 무료 버전에서는 동일한 메시지를 받은 후 이미지를 로드하는 중에 오류가 발생했습니다.
Stability AI 로고는 2024년 6월 10일 이 사진 삽화의 스마트폰에 표시되어 있습니다. SpaceXAI와 Stability AI를 상대로 제기된 집단소송은 두 회사의 AI 도구가 어린이의 성적으로 노골적인 이미지를 만드는 데 사용되었다고 주장합니다.
Getty Images를 통한 Jonathan Raa/NurPhoto
캡션 숨기기
캡션 전환
Getty Images를 통한 Jonathan Raa/NurPhoto
안정성 AI는 새로운 피고입니다
Stable Diffusion 이미지 생성 도구를 만드는 Stability AI가 테네시에서 처음으로 3명의 10대 원고가 제기한 소송에 새로운 피고로 추가되었습니다. 불만 사항은 업데이트되어 “원고의 CSAM AI를 만드는 데 사용된 공격자 휴대폰의 앱은 Stability AI의 이미지 제작 도구에 의존했습니다.”라고 추가되었습니다.
SpaceXAI, OpenAI 및 Anthropic에서 만든 독점 모델과 달리 Stability AI의 모델은 개방형이므로 사용자가 훨씬 더 쉽게 사용할 수 있습니다. 모델러가 적용한 제한을 제거합니다. 또한 모델러는 일반적으로 사용자 요청에 대한 정보를 갖고 있지 않습니다. 그럼에도 불구하고 소송에서는 Stability AI가 CSAM을 생성하는 모델의 기능이 있지만 최신 버전에서는 그렇게 하지 않기로 결정했습니다.
가장자리 보고됨 2022년 11월 Stability AI는 Stable Diffusion Version 2 모델의 CSAM 생성 기능을 제한하기 위해 훈련 데이터에서 작업에 안전하지 않은(NSFW) 콘텐츠를 필터링했다고 밝혔습니다. 이 결정 격렬한 반응을 불러일으켰다 업데이트를 비난한 사람을 포함한 사용자검열“라고 The Verge가 보도했습니다.
Stability AI 모델의 최신 버전은 NSFW 콘텐츠를 생성하는 데 자주 사용되었으며 Stable Diffusion Version 2 출력에 비해 해당 콘텐츠의 더 높은 비율을 생성했습니다. 학자들이 쓴 연구 논문 위스콘신대학교 매디슨캠퍼스, 매사추세츠공과대학 및 기타 기관의 연구 결과는 아직 동료 평가를 거치지 않았습니다. 연구원들은 Stable Diffusion 버전 2가 이전 및 이후의 Stability AI 모델보다 훨씬 덜 인기가 있다는 것을 발견했습니다.
“그들은 가드레일을 세웠을 때 아무도 자신의 모델을 사용하고 싶어하지 않는다는 것을 깨달았을 때 모든 사람들이 모델을 다시 사용하고 싶어하도록 즉시 가드레일을 접었습니다.”라고 Martin은 말했습니다. “그들은 이러한 행동을 통제하는 방법을 정확히 알고 있었으며 이익을 위해 그러한 행동을 하지 않기로 결정했습니다.”
Stability AI는 의견 요청에 응답하지 않았습니다.




