개발자와 화가 개발자와 화가

1. 크롤러 크롤러는 WWW(world wide web)인 인터넷 속을 자유롭게 다니는 프로그램을 의미한다. 크롤러 = 스크래퍼 = 지능 에이전트 = 봇 = 스파이더 크롤러가 동작하는 것을 크롤링, 스크래퍼가 동작하는 것을 스크래핑이라고 한다. 정확히는 페이지를 돌아다니는 행위를 크롤링, 특정 페이지의 데이터를 수집하는 행위는 스크래핑이다. 2. 크롤러를 만들어야 하는 이유 1) 데이터 생산 2GB는 바이트로는 20억 바이트로 2바이트 크기를 가진 한글 문자 1억 자에 해당하는 양의 데이터이다. 데이터가 생산되고 데이터를 접하는 양이 점점 더 많아져 직접 데이터를 수집하기 쉽지 않다. 2) 데이터 사용 인공지능, 머신러닝, 딥러닝 분야에서 학습용 데이터로 많은 양을 필요로 한다. 데이터가 많을 수록 예측..