requests

°蓝鲤歌蓝

requests

在论坛里关于爬虫的示例最多的除了jiandan便是有道了，现在以有道翻译为例子，让我们来看看如何发起请求获取数据，用urllib的写法是这样子的

1. 
   
2. import urllib.request
   
3. import urllib.parse
   
4. import json
   
5. from faker import Faker
   
6. 
   
7. 
   
8. url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
   
9. ua = Faker().user_agent()
   
10. 
    
11. key = input("请输入你需要翻译的内容: ")
    
12. 
    
13. # 请求头
    
14. headers = {
    
15.     'User-Agent': ua,
    
16.     'Host': 'fanyi.youdao.com',
    
17.     'Origin': 'http://fanyi.youdao.com',
    
18.     'Referer': 'http://fanyi.youdao.com/',
    
19. 
    
20. }
    
21. 
    
22. 
    
23. # 表单数据
    
24. from_data = {
    
25.     'i': key,
    
26.     'from': 'UTO',
    
27.     'to': 'UTO',
    
28.     'smartresult': 'dict',
    
29.     'client': 'fanyideskweb',
    
30.     'doctype': 'json',
    
31.     'version': '2.1',
    
32.     'keyfrom': 'fanyi.web',
    
33.     'action': 'FY_BY_REALTlME'
    
34. }
    
35. 
    
36. from_data = urllib.parse.urlencode(from_data).encode('utf-8')
    
37. request = urllib.request.Request(url, from_data, headers)
    
38. response = urllib.request.urlopen(request).read().decode("utf-8")
    
39. 
    
40. target = json.loads(response)
    
41. result = target['translateResult'][0][0]['tgt']
    
42. 
    
43. print(result)
    

复制代码

要是用 requests 库写会是什么样子呢？

1. # -*-coding:utf-8-*-
   
2. 
   
3. import requests
   
4. from faker import Faker
   
5. 
   
6. 
   
7. url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
   
8. ua = Faker().user_agent()
   
9. 
   
10. key = input("请输入你需要翻译的内容: ")
    
11. 
    
12. # 请求头
    
13. headers = {
    
14.     "User-Agent": ua,
    
15.     "Host": "fanyi.youdao.com",
    
16.     "Origin": "http://fanyi.youdao.com",
    
17.     "Referer": "http://fanyi.youdao.com/",
    
18. }
    
19. 
    
20. # 表单数据
    
21. from_data = {
    
22.     "i": key,
    
23.     "from": "UTO",
    
24.     "to": "UTO",
    
25.     "smartresult": "dict",
    
26.     "client": "fanyideskweb",
    
27.     "doctype": "json",
    
28.     "version": "2.1",
    
29.     "keyfrom": "fanyi.web",
    
30.     "action": "FY_BY_REALTlME",
    
31. }
    
32. 
    
33. 
    
34. res = requests.get(url , headers=headers, params=from_data)
    
35. target = res.json()
    
36. 
    
37. result = target["translateResult"][0][0]["tgt"]
    
38. print(result)
    

复制代码

可以看到，后者比前者简便许多。当然，它还有更多的优点。
requests最常用的方法为 get() 与 post()，使用方式为

1. requests.get(url) / requests.post(url)

复制代码

，两者等价于

1. requests.request("get", url) / requests.request("post", url)

复制代码

这些方法会返回一个 Response 对象，该对象常用方法与属性为

1. 
   
2. res.text
   
3. res.content
   
4. res.json()
   
5. res.encoding
   
6. res.status_code
   
7. ....
   

复制代码

°蓝鲤歌蓝

1. faker 是一个伪造数据的库，这里暂不用管。另外不是很理解的小伙伴也可以自己尝试使用 requests 爬取数据。
2. 我懒得打字，也不愿意说很基础的东西，我更愿意用 demo来展示 requests 的使用方法。
3. 如果评论区有甩 url 的，我会抽一个使用 requests 进行爬取，并写在下篇文章开头。（不能违法，不能是重要信息或隐私数据等）
4. 希望我能坚持下去。