robots.txt 웹 사이트의 특정 부분을 검색 엔진 크롤러가 접근하지 못하도록 제한하는 텍스트 파일 용례 "일부 AI 서비스는 robots.txt를 무시하고 웹 사이트를 크롤링하는 경우가 있습니다." - 구글 검색, AI 오버뷰 시대: SEO의 본질과 디지털 마케팅 전략 변화
