requests

•

Python으로 HTTP request를 서버로 보내기 위한 패키지

•

속도가 빠름

•

Javascript 실행은 불가능함

사용 방법

import requests
url = "https://www.naver.com/"
#GET 방식
response = requests.get(url)
print(response.text)
Python
복사

import requests
url = "https://httpbin.org/post"
data = {'key1': 'value1', 'key2': 'value2'}
# POST 방식
response = requests.post(url, data)
print(response.text)
Python
복사

구분	주요 기능	설명
request	requests.get(‘사이트 주소’)	HTTP GET 요청
	requests.post(‘사이트 주소’, data = {‘key’ : ‘value’})	HTTP POST 요청
response	response.status_code	상태코드 (200: 성공, 403: 권한없음, 404: 찾을 수 없음)
	response.text	서버의 응답 형태가 html 문서인 경우
	response.content	서버의 응답 형태가 바이트(이미지 등)인 경우
	response.json()	서버의 응답 형태가 json인 경우 내장 디코더를 사용

실습1 - 구글 HTML 읽어오기

import requests
url = 'http://www.google.com'
r = requests.get(url)
print(r.text)
print(r.status_code)
Python
복사

실습2 - 구글 이미지 읽어오기

import requests
url = 'https://www.google.co.kr/images/branding/googlelogo/1x/googlelogo_color_272x92dp.png'
r = requests.get(url)
print(r.status_code)   #200
Python
복사

이미지 화면에 표시하기

from PIL import Image
from io import BytesIO
Image.open(BytesIO(r.content))
Python
복사

이미지 저장하기

import os
# url에서 image 이름에 해당하는 부분('/'이후 가장 마지막) 추출
image_name = os.path.basename(url)  # 'googlelogo_color_272x92dp.png'

# 이미지 저장을 위한 폴더 생성
image_folder = f"{os.getcwd()}/image"
if not os.path.isdir(folder):
    os.mkdir(folder)
 
# 이미지 저장 경로 지정: image_folder/image_name
image_path = os.path.join(image_folder, image_name)
 
# 이미지 저장 
image = open(image_path, 'wb') 
image.write(r.content) 
image.close()
Python
복사

과제

•

파이썬 페이지(https://www.python.org/)에 있는 로고를 읽어와서 저장하는 코드를 작성하시오.

User Agent String

•

HTTP 요청을 보내는 디바이스와 브라우저 등 사용자 소프트웨어의 식별 정보를 담고 있는 request header의 한 종류

•

보통 HTTP 요청 에러가 발생했을 때 요청을 보낸 사용자 환경을 알아보기 위해 사용

•

크롤링 하는 사이트에 따라 User-Agent 정보를 함께 전달하지 않을 경우, 응답코드를 성공(200)으로 전달하지만 값이 전달되지 않는 경우가 있음

•

이 경우에, headers 매개변수에 User-Agent 정보를 함께 전달해야함

import requests
url = '사이트 주소'
headers = {'User-Agent': '클라이언트 정보'}
r = requests.get(url, headers=headers)
Python
복사

내 브라우저의 User Agent 확인하는 방법

User Agent String.com(http://www.useragentstring.com/)

•

위의 사이트에 접속하여 내가 작업하는 브라우저의 정보를 헤더 정보에 복사해서 넣어줌

requests > GET 방식

requests

사용 방법

실습1 - 구글 HTML 읽어오기

실습2 - 구글 이미지 읽어오기

과제

User Agent String

내 브라우저의 User Agent 확인하는 방법