로봇 배제 표준 (Robots.txt)
웹사이트의 루트 디렉토리에 위치하여 검색 엔진 크롤러에게 사이트의 어느 부분을 수집해도 되는지 알려주는 규약으로, 강제성은 없으나 신뢰할 수 있는 봇들은 이를 준수함
용례
"뉴욕 타임스는 자사 콘텐츠에 대한 권한 없는 접근을 막기 위해 2025년 말 아카이브봇을 로봇 배제 표준 파일에 추가하여 차단 조치를 시행했습니다."
웹사이트의 루트 디렉토리에 위치하여 검색 엔진 크롤러에게 사이트의 어느 부분을 수집해도 되는지 알려주는 규약으로, 강제성은 없으나 신뢰할 수 있는 봇들은 이를 준수함
"뉴욕 타임스는 자사 콘텐츠에 대한 권한 없는 접근을 막기 위해 2025년 말 아카이브봇을 로봇 배제 표준 파일에 추가하여 차단 조치를 시행했습니다."