다양한 정보 확인


from urllib.request import urlopen, Request


url = "https://sang-gamja.tistory.com/"


req = request(url)

page = urlopen(req)


print(page)

print(page.code)

print(page.headers)

print(page.url)

print(page.info().get_content_charset( ))


데이터 요청


from urllib.request import urlopen, Request

import urllib


url = "https://sang-gamja.tistory.com/"


data = {'key1' : 'value1', 'key2' : 'value2'}

data = urllib.parse.urlencode(data)

data = data.encode('utf-8')


print(data)


req_post = Request(url, data=data, headers={})


page = urlopen(req_post)


print(page)


urllib는 Request( )함수를 이용하여 요청 객체를 만들 때 두 번째 인자에는 데이터, 세번째 인자에는 헤더가 들어갑니다. 만약 두 번째 인자 값이 존재한다면 POST 요청, 존재하지 않는다면 GET 요청을 보냅니다. 두번째 인자의 존재에 따라서 GET인지 POST인지가 결정됩니다.


'웹 서버 > 크롤러' 카테고리의 다른 글

bs4 함수  (0) 2018.05.16
bs4  (0) 2018.05.16
requests 모듈  (0) 2018.05.15
requests VS urllib  (0) 2018.05.15
python 상속  (0) 2018.05.15

requests 모듈과 urllib 모듈은 굉장히 비슷한 역할을 합니다.

하지만 많은 사람들이 python에서는 requests 모듈을 사용하고 있습니다.

그렇다면 차이점에 대해서 알아보겠습니다.


1. 데이터를 보낼때 requests는 딕셔너리 형태, urllib는 인코딩하여 바이너리 형태로 전송합니다.

2. requests는 요청 메소드(get, post)를 명시하지만 urllib는 데이터의 여부에 따라 get과 post 요청을 구분합니다.

3. 없는 페이지 요청시 requests는 에러를 띄우지 않지만 urllib는 에러를 띄웁니다.

'웹 서버 > 크롤러' 카테고리의 다른 글

bs4 함수  (0) 2018.05.16
bs4  (0) 2018.05.16
urllib 모듈  (0) 2018.05.15
requests 모듈  (0) 2018.05.15
python 상속  (0) 2018.05.15

+ Recent posts