selenium

•

동적으로 브라우저 제어

•

직접 브라우저를 실행하여 python code로 mouse click, keyboard input 등의 event를 발생시킴

•

실제 브라우저로 실행한 것과 동일한 값을 얻을 수 있음

•

속도가 느림

•

pip install selenium

사전 준비 - 크롬 드라이버

•

PC에 설치된 크롬 버전 확인

◦

chrome://settings/help

•

크롬 드라이버 설치 페이지 이동

◦

https://chromedriver.chromium.org/downloads

•

크롬 버전, OS에 알맞는 드라이버를 선택하여 다운로드

•

chromedriver.exe 파일을 ipynb 파일 실행 경로로 이동시키기

사용 방법

from selenium import webdriver

# 크롬창을 직접 실행
driver= webdriver.Chrome()
# 크롬드라이버 경로를 지정하여 호출할 경우, 아래 코드 사용
#driver= webdriver.Chrome(executable_path=r'C:\Users\Downloads\chromedriver_win64\chromedriver.exe')

driver.get('접속할 사이트주소')
html = driver.page_source

# BeautifulSoup을 활용하여 데이터 파싱
soup = BeautifulSoup(html, 'html.parser')
Python
복사

[실습] 네이버 검색

•

‘Chrome’ 브라우저를 실행시켜서 네이버(www.naver.com)을 실행시켜 검색창에 “파이썬”을 입력하고 검색 결과를 확인

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys

# 크롬창을 직접 실행 
driver = webdriver.Chrome()
# 주소 창에 네이버 URL 입력
driver.get("http://www.naver.com")

# 검색창("query")에 "파이썬" 입력하고 엔터키 실행
driver.find_element(By.NAME, "query").send_keys("파이썬" + Keys.ENTER)
Python
복사

주요 기능

메서드	설명
find_elements_by_id	ID 속성으로 웹 페이지의 구성 요소 찾기
find_elements_by_class_name	클래스 이름(class name)속성으로 웹 페이지의 구성 요소 찾기
find_elements_by_css_selector	CSS(CSS selector) 속성으로 웹 페이지의 구성 요소 찾기
find_elements_by_name	이름(name) 속성으로 웹 페이지의 구성 요소 찾기
find_elements_by_xpath	Xpath 속성으로 웹 페이지의 구성 요소 찾기

주요 키 이벤트	설명
clear()	입력창 작성 문구 삭제
key_down()	키를 누르고 있는 상태
key_up()	키를 누르고 있는 상태를 해제
send_keys()	특정 키 이벤트 또는 입력문장을 전달

Keys	설명
Keys.ENTER	엔터(Enter)키
Keys.ALT	알트(Alt)키
Keys.SHIFT	시프트(Shift)키
Keys.CONTROL	컨트롤(Control)키

(예시) 웹 페이지에서 Ctrl + c 를 실행

# Ctrl 키를 누르고 있는 상태에서 c 키를 누름
webdriver.ActionChains(driver).key_down(Keys.CONTROL).send_keys("c").perform()
Python
복사

[실습] 트립어드바이저 이미지

•

크롤링 사이트: https://www.tripadvisor.co.kr/Restaurants-g294197-Seoul.html

•

참고 소스코드: [주피터노트북]

크롤링 절차

브라우저를 직접 실행해서 사이트의 html을 읽어들이기

•

options.headless = True (크롬을 백그라운드에서 실행)

크롬창을 직접 오픈해서 html 페이지를 받아옴

테스트 형태의 데이터를 html 태그별로 구분하여 파싱하기 : BeutifulSoup

특정 태그값 찾기 : findAll, find필요한 데이터값 정제하기

이미지 데이터 저장하기

•

폴더에 이미지 데이터 다운로드 받기