기본 지식

Web

HTML

HTML 주요 태그

URL(Uniform Resource Loader)

Web

[Client] 브라우저 실행

[Client] URL 주소 입력

[Client] 클라이언트가 서버에게 컨텐츠 요청(request)

[Server] 서버는 클라이언트에게 요청받은 컨텐츠를 응답(response)

[Client] 브라우저는 서버가 전달한 응답을 해석하여 화면에 표시

HTML

•

시작줄, 헤더(Header), 본문(Body)으로 이루어짐

◦

헤더는 정책적인 부분, 바디는 화면에 표시하기 위한 레이아웃을 설명하는 부분

HTML 주요 태그

태그	설명
H1~H6	제목 태그, h1 ~ h6 순서로 크기가 작아짐.
p	문단(Paragraph) 태그
ul	순서가 없는 목록
ol	순서가 있는 목록
li	ul 또는 ol 하위에 각 항목을 넣는 태그
a	하이퍼링크를 생성하는 태그
div	레이아웃을 나누는데(division) 사용(박스 형태로 묶음)
span	인라인 요소(inline-element)들을 하나로 묶을 때 사용(라인 별로 묶음)

URL(Uniform Resource Loader)

•

인터넷에 존재하는 리소스(파일 등)의 위치를 나타내는 식별자

•

사용자가 브라우저 주소창에 직접 주소를 입력하기도 하고, 버튼 클릭 등의 이벤트를 통해 자동으로 URL이 서버로 전달되기도 함

•

HTML에서 URL을 나타내는 방법

◦

<a href =“URL주소” ></a>

•

크롤링을 하기 위해서는?

◦

웹 페이지에 있는 a 태그의 href 속성에서 다른 페이지의 URL을 추출

◦

상대 URL을 절대 URL로 변환하는 과정이 필요

▪

상대 URL : 절대 URL을 기반으로 상대적인 경로를 잡는 URL(예. /articles/)

▪

절대 URL : http:// 등의 스키마로 시작하는 URL(예: http://example.com/articles/) 

크롤링(Crawling)

•

웹 페이지의 하이퍼링크를 순회하면서 웹 페이지를 다운로드하는 작업

크롤러는 웹 페이지에 존재하는 하이퍼링크를 따라 돌아다니므로, URL에 대한 이해가 필요

•

인터넷 상의 정보를 효율적으로 수집하여 저장

•

방문할 URL 리스트를 통해 웹 페이지를 내려 받아 해당 링크의 존재와 HTML 코드의 유효성을 검사하여, 유효성이 통과되면 텍스트 정보와 메타정보를 저장

크롤링 사례

•

구글: 수많은 웹사이트를 크롤링하여 검색 서비스 제공

•

쿠차: 각종 소셜 커머스 사이트를 크롤링하여 최저가 정보 제공

크롤링 주의사항

•

크롤링 대상 웹 사이트의 성능 저하

◦

동시 접속 수 고려 : 한 웹사이트가 동시에 처리할 수 있는 접속 수는 제한

◦

접속 시간 간격 : 연속적으로 웹 페이지를 추출하면 서버에 과부하가 걸림

▪

단일 접속으로 1초 이상의 시간 간격을 두고 웹사이트를 크롤링 하는 것이 무난함

•

저작권 침해

◦

저작권이 있는 데이터를 무단으로 수집해서 사용 시, 문제 발생

•

오류 처리

◦

HTTP 통신 오류 시, 일시적인 오류인지 아닌지를 판단하여 재시도 여부 결정

•

연락처 명시

◦

크롤러의 User-Agent 헤더에 연락처 URL 또는 메일 주소를 작성

◦

robots.txt

스크래핑(Scraping)

•

다운로드한 웹 페이지에서 필요한 정보를 추출하는 작업

•

Parser와 데이터 전처리에 대한 이해가 필요

파싱(Parsing)

•

일련의 문자열을 의미있는 토큰으로 분해하고 이들로 이루어진 파스 트리(parse tree)를 만드는 과정

parse tree