[Web] 웹 데이터 수집 및 가공 관련 용어정리
·
Study/ETC
웹에 존재하는 데이터를 처리하는 프로그램을 작성하기 위해 데이터 수집 및 가공의 과정을 거치게 된다. 데이터를 수집 및 가공하는 과정에서 파싱, 크롤링, 스크래핑 등 용어를 사용하는데, 본 포스팅에서는 웹에서 데이터를 수집 및 가공과 관련된 용어에 대해 정리한다. 파싱(Parsing) 분석하다(parse)의 사전적 의미로, 웹페이지 내에서 특정 패턴, 순서로 데이터를 추출하여 데이터를 가공하는 것. 크롤링(Crawling) 기어가다(Crawl)의 사전적 의미로, 광대한 웹사이트에서 필요한 정보를 수집/분류/저장하여 사용자가 필요한 시기에 쉽게 참조 할 수 있도록하는 일련의 로봇임. 스크래핑(Scraping) 조각/단편의 정보(scrap)의 사전적 의미로, 데이터(자료)를 수집하는 모든 과정. 크롤링도 스..