requests

°蓝鲤歌蓝

requests

在论坛里关于爬虫的示例最多的除了jiandan便是有道了，现在以有道翻译为例子，让我们来看看如何发起请求获取数据，用urllib的写法是这样子的

import urllib.request
import urllib.parse
import json
from faker import Faker
 
 
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
ua = Faker().user_agent()
 
key = input("请输入你需要翻译的内容: ")
 
# 请求头
headers = {
    'User-Agent': ua,
    'Host': 'fanyi.youdao.com',
    'Origin': 'http://fanyi.youdao.com',
    'Referer': 'http://fanyi.youdao.com/',
 
}
 
 
# 表单数据
from_data = {
    'i': key,
    'from': 'UTO',
    'to': 'UTO',
    'smartresult': 'dict',
    'client': 'fanyideskweb',
    'doctype': 'json',
    'version': '2.1',
    'keyfrom': 'fanyi.web',
    'action': 'FY_BY_REALTlME'
}
 
from_data = urllib.parse.urlencode(from_data).encode('utf-8')
request = urllib.request.Request(url, from_data, headers)
response = urllib.request.urlopen(request).read().decode("utf-8")
 
target = json.loads(response)
result = target['translateResult'][0][0]['tgt']
 
print(result)

要是用 requests 库写会是什么样子呢？

# -*-coding:utf-8-*-

import requests
from faker import Faker


url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
ua = Faker().user_agent()

key = input("请输入你需要翻译的内容: ")

# 请求头
headers = {
    "User-Agent": ua,
    "Host": "fanyi.youdao.com",
    "Origin": "http://fanyi.youdao.com",
    "Referer": "http://fanyi.youdao.com/",
}

# 表单数据
from_data = {
    "i": key,
    "from": "UTO",
    "to": "UTO",
    "smartresult": "dict",
    "client": "fanyideskweb",
    "doctype": "json",
    "version": "2.1",
    "keyfrom": "fanyi.web",
    "action": "FY_BY_REALTlME",
}


res = requests.get(url , headers=headers, params=from_data)
target = res.json()

result = target["translateResult"][0][0]["tgt"]
print(result)

可以看到，后者比前者简便许多。当然，它还有更多的优点。
requests最常用的方法为 get() 与 post()，使用方式为

requests.get(url) / requests.post(url)

，两者等价于

requests.request("get", url) / requests.request("post", url)

这些方法会返回一个 Response 对象，该对象常用方法与属性为

res.text
res.content
res.json()
res.encoding
res.status_code
....

°蓝鲤歌蓝

1. faker 是一个伪造数据的库，这里暂不用管。另外不是很理解的小伙伴也可以自己尝试使用 requests 爬取数据。
2. 我懒得打字，也不愿意说很基础的东西，我更愿意用 demo来展示 requests 的使用方法。
3. 如果评论区有甩 url 的，我会抽一个使用 requests 进行爬取，并写在下篇文章开头。（不能违法，不能是重要信息或隐私数据等）
4. 希望我能坚持下去。