웹 서버/크롤러

urllib 모듈

상감자 2018. 5. 15. 23:46

다양한 정보 확인


from urllib.request import urlopen, Request


url = "https://sang-gamja.tistory.com/"


req = request(url)

page = urlopen(req)


print(page)

print(page.code)

print(page.headers)

print(page.url)

print(page.info().get_content_charset( ))


데이터 요청


from urllib.request import urlopen, Request

import urllib


url = "https://sang-gamja.tistory.com/"


data = {'key1' : 'value1', 'key2' : 'value2'}

data = urllib.parse.urlencode(data)

data = data.encode('utf-8')


print(data)


req_post = Request(url, data=data, headers={})


page = urlopen(req_post)


print(page)


urllib는 Request( )함수를 이용하여 요청 객체를 만들 때 두 번째 인자에는 데이터, 세번째 인자에는 헤더가 들어갑니다. 만약 두 번째 인자 값이 존재한다면 POST 요청, 존재하지 않는다면 GET 요청을 보냅니다. 두번째 인자의 존재에 따라서 GET인지 POST인지가 결정됩니다.