[Web] 웹 데이터 수집 및 가공 관련 용어정리

ETC/ETC

dev.parkjh 2021. 9. 13. 16:47

728x90

웹에 존재하는 데이터를 처리하는 프로그램을 작성하기 위해 데이터 수집 및 가공의 과정을 거치게 된다.

데이터를 수집 및 가공하는 과정에서 파싱, 크롤링, 스크래핑 등 용어를 사용하는데, 본 포스팅에서는 웹에서 데이터를 수집 및 가공과 관련된 용어에 대해 정리한다.

파싱(Parsing)

분석하다(parse)의 사전적 의미로, 웹페이지 내에서 특정 패턴, 순서로 데이터를 추출하여 데이터를 가공하는 것.

크롤링(Crawling)

기어가다(Crawl)의 사전적 의미로, 광대한 웹사이트에서 필요한 정보를 수집/분류/저장하여 사용자가 필요한 시기에 쉽게 참조 할 수 있도록하는 일련의 로봇임.

스크래핑(Scraping)

조각/단편의 정보(scrap)의 사전적 의미로,

데이터(자료)를 수집하는 모든 과정. 크롤링도 스크래핑의 일부분이다.

정리하자면 크롤링과 스크래핑을 구분은 큰 의미가 없으며, 둘다 웹상에서의 정보를 수집하는 일을 의미하며, 파싱은 사용자가 원하는 데이터를 추출하여 가공하는 일을 의미한다.

웹 데이터 수집관련 용어정리 끝.

728x90