Programming/web
-
웹 크롤러와 서버,클라이언트 간단 정리Programming/web 2022. 3. 14. 22:33
1. 크롤러 크롤러는 WWW(world wide web)인 인터넷 속을 자유롭게 다니는 프로그램을 의미한다. 크롤러 = 스크래퍼 = 지능 에이전트 = 봇 = 스파이더 크롤러가 동작하는 것을 크롤링, 스크래퍼가 동작하는 것을 스크래핑이라고 한다. 정확히는 페이지를 돌아다니는 행위를 크롤링, 특정 페이지의 데이터를 수집하는 행위는 스크래핑이다. 2. 크롤러를 만들어야 하는 이유 1) 데이터 생산 2GB는 바이트로는 20억 바이트로 2바이트 크기를 가진 한글 문자 1억 자에 해당하는 양의 데이터이다. 데이터가 생산되고 데이터를 접하는 양이 점점 더 많아져 직접 데이터를 수집하기 쉽지 않다. 2) 데이터 사용 인공지능, 머신러닝, 딥러닝 분야에서 학습용 데이터로 많은 양을 필요로 한다. 데이터가 많을 수록 예측..
-
[AJAX] 서버-클라이언트 비동기 통신Programming/web 2022. 3. 6. 23:40
서버-> 클라이언트로 데이터를 보내는 형식은 JSON으로 key:value 값으로 되어 있는 형식이다. GET 방식: 헤더가 없다. 데이터 조회를 요청하는 경우에 사용 POST 방식: 헤더가 있어서 대량의 정보를 전송 가능하다. 데이터를 생성, 변경, 삭제 할 때 사용한다. 1. Jquery html의 사이에 아래 코드를 삽입 2. ajax 기본 형식 html의 제일 하단에 사이에 아래 내용을 삽입 function test(){ $.ajax({ type: "GET", //GET방식으로 요청 url: 'http://localhost:5000?q=test', //요청할 url주소를 기입한다. q값은 test로 한다. data: {}, //요청하면서 주는 데이터, GET방식이라면 비워둔다. success: f..