최상위 AI 컨퍼런스도 침투한 'AI 슬롭(Slop)': 환각 인용 급증으로 학술 출판 신뢰도 붕괴 위기

트렌드 키워드

• 환각 인용 (Hallucinated Citation, Hallucinated Citations):

  <

  대규모 언어 모델(LLM)이 훈련 데이터의 패턴을 기반으로 생성해내는, 실제로는 존재하지 않거나 부정확하게 변형된 출처나 참고 문헌을 의미. 이는 논문이 기존 연구의 기반 위에 세워졌다는 학술적인 신뢰를 근본적으로 훼손하며, 저자 이름, 논문 제목, 심지어 출판된 저널이나 컨퍼런스 자체가 조작되는 형태로 나타남. 이 현상은 단순히 인용 오류를 넘어 연구의 진정성을 의심하게 만드는 심각한 문제로, 인용 검증 도구를 통해 실제 웹과 학술 데이터베이스를 검색해야만 그 조작 여부를 확인할 수 있는 경우가 많음

  >

  1 / 2

  “논문을 검토하는 리뷰어들이 각 제출물에 지정되었음에도 불구하고, 수백 개의 AI가 만들어낸 환각 인용을 발견했습니다.”
• AI 슬롭 (AI Slop):

  <

  생성형 인공지능(Generative AI) 기술을 사용하여 빠르고 대량으로 제작되었으나 내용의 깊이, 정확성, 독창성이 부족하고 검증되지 않은 저품질 콘텐츠를 통칭하는 용어. 학술 환경에서는 특히 지루하고 평범한 주제의 논문을 대량 생산하여 동료 심사(Peer Review) 과정의 허점을 파고드는 방식으로 나타나며, 이로 인해 지식 저장소의 신호 대 잡음 비율(Signal-to-Noise Ratio)이 급격히 떨어져 진정한 연구 발견이 저질 콘텐츠에 묻히게 만드는 결과

  >

  1 / 7

  “과학계에 저질 AI 생성물이 범람하고 있으며, 한때 가장 신뢰할 수 있는 정보원 중 하나였던 지식 저장소가 이미 감염되었을 가능성이 있는 질병에 압도당하기 직전입니다.AI 슬롭”
• 아카이브 (arXiv):

  1991년 코넬 대학교의 폴 긴스파그(Paul Ginsparg)가 설립한 온라인 과학 자료 저장소로, 연구자들이 공식적인 동료 심사(Peer Review) 과정을 거치기 전에 자신의 논문을 미리 업로드하고 공개하여 피드백을 받을 수 있도록 하는 프리프린트(Preprint) 서버. 전통적인 학술지 게재가 느리다는 단점을 보완하여 물리학, 수학, 컴퓨터 과학 등 분야의 최신 연구 결과를 과학계에 신속하게 공유하는 데 혁혁한 공을 세웠으나, 최근 챗지피티(ChatGPT) 등장 이후 AI가 생성하거나 보조한 것으로 추정되는 논문 제출이 급증하며 시스템의 관리 및 신뢰성이 크게 위협받는 상황

  “아카이브는 동료 심사를 거치기 전에 모든 최신 발견과 혁신이 조심스럽게 즉시 다뤄질 수 있는 쉽고 중간 단계의 과정을 추가합니다.”
• 페이퍼 밀 (Paper Mills):

  과학자 고객에게 유료로 대량의 위조 논문을 판매하는 산업화된 사기 조직. 연구 데이터나 이미지를 조작하고, 기존 논문을 재활용하는 템플릿을 사용하여 저품질 논문을 대규모로 생산하는 특징. 인공지능이 도입되면서 가짜 논문의 제작 속도와 그럴듯한 외관이 개선되어 학술 시스템의 감시망을 더욱 효율적으로 회피하게 되었으며, 특히 복제가 어렵고 평범한 결과를 주장하는 연구 분야(예: 암 연구)를 집중적으로 공략

  “이러한 '페이퍼 밀'들은 대량으로 작업해야 하므로, 동일한 자료를 재활용하는 경향이 있으며, 심지어 매우 유사한 텍스트를 가진 여러 논문을 발행합니다.”
• 출판 아니면 몰락 (Publish or Perish):

  연구자가 자신의 경력, 승진, 또는 고용을 유지하기 위해 끊임없이 많은 수의 연구 논문을 출판해야 한다는 학계의 극심한 압박을 표현하는 용어. 특히 중국의 엘리트 대학과 같이 연구 생산성을 엄격한 순위 요구 사항으로 해석하는 제도적 압력이 강한 곳에서 윤리적 일탈을 유발하는 주요 원인으로 지목되며, 이러한 압박이 인공지능과 결합하여 연구자들이 데이터 조작이나 유령 작가 서비스(현재는 생성형 AI)를 이용하는 동기로 작용하는 구조적 문제

  “이러한 압박은 목표와 수단의 분리를 야기하며, 연구자들은 비현실적인 생산성 목표를 달성하기 위해 윤리 규범에서 멀어지게 됩니다.출판 아니면 몰락”