인터넷 기록 보존의 종말: 인공지능 크롤러 방어 조치가 초래한 디지털 아카이브의 위기

트렌드 키워드

• 웨이백 머신 (Wayback Machine):

  비영리 단체인 인터넷 아카이브가 운영하는 도구로, 수조 개의 웹페이지 스냅샷을 캡처하여 과거 특정 시점의 인터넷 모습을 누구나 열람할 수 있도록 저장하는 서비스

  “인공지능 봇들이 모델 학습용 데이터를 찾기 위해 웹을 샅샅이 뒤지기 시작하면서, 정보의 자유로운 접근을 추구해 온 인터넷 아카이브의 사명은 일부 뉴스 출판사들에게 잠재적인 위협 요소가 되었습니다.웨이백 머신”
• 로봇 배제 표준 (Robots.txt):

  웹사이트의 루트 디렉토리에 위치하여 검색 엔진 크롤러에게 사이트의 어느 부분을 수집해도 되는지 알려주는 규약으로, 강제성은 없으나 신뢰할 수 있는 봇들은 이를 준수함

  “뉴욕 타임스는 자사 콘텐츠에 대한 권한 없는 접근을 막기 위해 2025년 말 아카이브봇을 로봇 배제 표준 파일에 추가하여 차단 조치를 시행했습니다.”
• 데이터 긁어오기 (Scraping):

  자동화된 소프트웨어를 사용하여 웹사이트에서 방대한 양의 정보를 추출하는 행위로, 최근 인공지능 학습 데이터 확보의 핵심 수단으로 부상함

  “레딧은 인공지능 기업들이 플랫폼 정책을 위반하고 웨이백 머신에서 데이터를 긁어가는 사례를 인지했으며, 사용자 보호를 위해 아카이브의 접근을 제한하기로 했습니다.데이터 긁어오기”
• 규제 준수 증거 (Compliance Evidence):

  보안 인증이나 법적 규제 준수를 입증하기 위해 보관해야 하는 문서나 기록물로, 웹상의 정책 문서가 사라질 경우 심각한 인증 실패 사유가 됨

  “웹을 아카이브할 수 없게 되는 현상은 단순한 문화적 손실을 넘어, 특정 시점에 어떤 정책이 사실이었음을 감사인에게 증명해야 하는 모든 이들에게 실질적인 운영상의 문제를 야기합니다.규제 준수 증거”
• 공통 크롤 (Common Crawl):

  웹을 대규모로 수집하여 공개적인 데이터셋을 제공하는 또 다른 비영리 프로젝트로, 인공지능 모델 학습에 광범위하게 사용되어 언론사들의 주요 차단 대상이 됨

  “뉴스 사이트들은 인터넷 아카이브뿐만 아니라 상업용 대규모 언어 모델 개발과 밀접하게 연관된 공통 크롤의 봇도 함께 차단하고 있는 추세입니다.”