웹 스크래핑 특정한 목적으로 특정 웹 페이지에서 데이터를 추출하는 것 -> 데이터 추출 Ex_) 날씨 데이터 가져오기, 주식 데이터 가져오기 웹 크롤링 URL을 타고 다니며 반복적으로 데이터를 가져오는 과정 -> 데이터 색인 (indexing) Ex_) 검색 엔진의 웹 크롤러 로봇 배제 프로토콜 (REP) 로봇이 모든 사이트에 대해 모든 정보를 취득하는 것을 막기 위함 1994년, REP (Robot Exclusion Protocol) 탄생 설정을 통해 접근 권한 # 모든 user-agent에 대해서 접근 거부 User-agent: * Disallow: / # 모든 user-agent에 대해서 접근 허가 User-agent: * allow: / # 특정 user-agent에 대해서 접근 불허 User-a..