爬虫用Requests还是urllib好？

Py与C。。。 · 发表于 2021-7-26 17:08:04

我认为大多数情况下还是Requests比较好用。原因有:
1.requests可以直接构建常用的get和post请求并发起，urllib一般要先构建get或者post请求，然后再发起请求。
2.requests相当于urllib的封装，和urllib效率上差别不大，还可以方便的使用get和post请求，urllib非常麻烦
3.urllib只能简单发送请求，不能headers伪装,被拦截可能性大。不能操作其他复杂功能，如ip代理,只能借助urllib2.

鸬鹚鸟 · 发表于 2021-7-28 10:31:53

urllib

鸬鹚鸟 · 发表于 2021-7-28 10:32:33

我觉的是urllib 好

Goland · 发表于 2021-7-28 20:11:09

像大佬学习

975050208@qq.co · 发表于 2021-7-29 08:24:59

我爱大媛宝 · 发表于 2021-7-29 09:55:16

urllib功能更全面更强一点

591821661 · 发表于 2021-10-6 23:39:21

Py与C。。。发表于 2021-7-26 17:08
我认为大多数情况下还是Requests比较好用。原因有:
1.requests可以直接构建常用的get和post请求并发起，ur ...

"urllib只能简单发送请求，不能headers伪装"

可以伪装，两种方式
1.使用req
req = urllib.request.Request()
req.add_header('User-agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36')
res = urllib.request.urlopen(url)
2.使用opener
opener = urllib.request.build_opener(proxy_support,cookie_support)
opener.addheaders = [('User-agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36')]

如果想要动态变化Headers,可以将urllib.request.urlretrieve 改写以抗盗链。
你用了urllib就会发现，这个东西比requests更加接近底层。

hornwong · 发表于 2021-10-7 11:30:52

试试

_荟桐_ · 发表于 2021-10-7 21:33:11

学渣李某人发表于 2021-7-20 22:12
我*

哈哈哈，非到极致就是欧

chenpa · 发表于 2021-10-8 10:07:26

975050208@qq.co · 发表于 2021-10-8 14:38:20

PFBZSC · 发表于 2022-1-10 22:24:13

个人觉得requests好，因为方便

1205768305 · 发表于 2022-1-30 20:08:42

时节米 · 发表于 2023-3-14 09:16:51

学习前辈门总结的说法。刚学到urllib

账号		自动登录	找回密码
密码			立即注册

[技术交流] 爬虫用Requests还是urllib好？

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币

浏览过的版块