editoy

데이터 스크래핑 (Data Scraping, Scraping Bots)

웹사이트에서 대량의 정보를 추출해가는 자동화 기술로 최근 생성형 인공지능 모델 고도화를 위해 광범위하게 사용되는 방식

1 / 5

용례

"언론사 측은 이번 조치가 특정 기관을 겨냥한 것이 아니라 자사 콘텐츠를 무단으로 긁어가는 모든 자동화 봇으로부터 자산을 보호하기 위한 광범위한 보안 전략임을 강조함."
"링크드인은 회원 동의 없이 데이터를 추출하거나 이용 약관을 위반하는 확장 프로그램을 식별하기 위해 스캔을 수행한다고 주장합니다."
"AI 학습에 필요한 대량의 데이터를 확보하기 위해 데이터 스크래핑이 활발하게 이루어지고 있으며, 이는 HDD 수요 증가로 이어지고 있습니다."
"Anthropic은 LibGen과 같은 'shadow library'에서 데이터를 스크래핑하여 AI 모델 학습에 활용했습니다."
"이번 유출은 인스타그램의 API를 통해 공개된 데이터를 스크래핑하여 이루어진 것으로 추정됩니다."