requests
requests在论坛里关于爬虫的示例最多的除了jiandan便是有道了，现在以有道翻译为例子，让我们来看看如何发起请求获取数据，用urllib的写法是这样子的
import urllib.request
import urllib.parse
import json
from faker import Faker
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
ua = Faker().user_agent()
key = input("请输入你需要翻译的内容: ")
# 请求头
headers = {
'User-Agent': ua,
'Host': 'fanyi.youdao.com',
'Origin': 'http://fanyi.youdao.com',
'Referer': 'http://fanyi.youdao.com/',
}
# 表单数据
from_data = {
'i': key,
'from': 'UTO',
'to': 'UTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME'
}
from_data = urllib.parse.urlencode(from_data).encode('utf-8')
request = urllib.request.Request(url, from_data, headers)
response = urllib.request.urlopen(request).read().decode("utf-8")
target = json.loads(response)
result = target['translateResult']['tgt']
print(result)
要是用 requests 库写会是什么样子呢？
# -*-coding:utf-8-*-
import requests
from faker import Faker
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
ua = Faker().user_agent()
key = input("请输入你需要翻译的内容: ")
# 请求头
headers = {
"User-Agent": ua,
"Host": "fanyi.youdao.com",
"Origin": "http://fanyi.youdao.com",
"Referer": "http://fanyi.youdao.com/",
}
# 表单数据
from_data = {
"i": key,
"from": "UTO",
"to": "UTO",
"smartresult": "dict",
"client": "fanyideskweb",
"doctype": "json",
"version": "2.1",
"keyfrom": "fanyi.web",
"action": "FY_BY_REALTlME",
}
res = requests.get(url , headers=headers, params=from_data)
target = res.json()
result = target["translateResult"]["tgt"]
print(result)
可以看到，后者比前者简便许多。当然，它还有更多的优点。
requests最常用的方法为 get() 与 post()，使用方式为
requests.get(url) / requests.post(url)，两者等价于
requests.request("get", url) / requests.request("post", url)
这些方法会返回一个 Response 对象，该对象常用方法与属性为
res.text
res.content
res.json()
res.encoding
res.status_code
....
1. faker 是一个伪造数据的库，这里暂不用管。另外不是很理解的小伙伴也可以自己尝试使用 requests 爬取数据。
2. 我懒得打字，也不愿意说很基础的东西，我更愿意用 demo来展示 requests 的使用方法。
3. 如果评论区有甩 url 的，我会抽一个使用 requests 进行爬取，并写在下篇文章开头。（不能违法，不能是重要信息或隐私数据等）
4. 希望我能坚持下去。
页:
[1]