爬虫用Requests还是urllib好？

591821661 · 发表于 2021-3-26 22:08:42

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

最近在写多线程+代理+爬虫项目的时候发现 urllib 似乎更加好用。

下面说明笔者实践发现这两者的不同：

requests 能够使用proxy 但是存在一个问题：

当多线程多次调用该requests.get(url,proxies)方法的时候会向代理服务器发出很多建立连接的请求。

线程一多建立请求一多这会导致后续无法获取代理。

urllib 使用opener设置代理其只建一个opener 故只有一次代理服务器的连接

之后线程调用urllib.request.Request 方法都会基于这次连接上。不需要开辟新的代理通道

hornwong · 发表于 2021-7-5 16:39:24

在学习中

wcq15759797758 · 发表于 2021-7-5 20:28:04

可能还没有学到你这么深我初期还是requests用的多

ridiculum · 发表于 2021-7-5 20:40:04

学习中

fr1518 · 发表于 2021-7-5 21:21:06

还没学到这个地步

BanCan笑 · 发表于 2021-7-14 13:57:53

urllib 吧，其实requests的组件很多也是借鉴了urllib，只是requests比较简介，容易学

xz1998 · 发表于 2021-7-14 14:56:07

大佬大佬

超级玛尼哄 · 发表于 2021-7-20 11:09:26

学习学习

超级玛尼哄 · 发表于 2021-7-20 11:09:56

学习学习，顺便领个币

学渣李某人 · 发表于 2021-7-20 22:08:29

其实, urllib和requests的关系就像c++和python一样, 你写一个项目, 你可能会用c++处理底层的运算, 因为快, 但高层的算法就要用python, 因为语法简单, 所以, 主要看爬取的是什么网页, 需要怎样的通用性(爬指定的一个还是符合条件的一群)

学渣李某人 · 发表于 2021-7-20 22:09:00

写了这么多, 没有鱼币

学渣李某人 · 发表于 2021-7-20 22:11:49

还是没有

学渣李某人 · 发表于 2021-7-20 22:12:26

我*

学渣李某人 · 发表于 2021-7-20 22:13:13

币还有吗

临时号 · 发表于 2021-7-21 14:31:21

requests适合写小型爬虫
urllib适合写中型爬虫

majian890324 · 发表于 2021-7-21 17:22:05

66666

majian890324 · 发表于 2021-7-21 17:22:50

其实，我想得个鱼币……

小超超超 · 发表于 2021-7-26 03:00:48

还没开始学

waixiong · 发表于 2021-7-26 14:52:23

领个币

fxj2002 · 发表于 2021-7-26 14:53:19

账号		自动登录	找回密码
密码			立即注册

[技术交流] 爬虫用Requests还是urllib好？

马上注册，结交更多好友，享用更多功能^_^

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币

回帖奖励 +5 鱼币