591821661 发表于 2021-3-26 22:08:42

爬虫用Requests还是urllib好？

最近在写多线程+代理+爬虫项目的时候发现 urllib 似乎更加好用。

下面说明笔者实践发现这两者的不同：

requests 能够使用proxy 但是存在一个问题：

当多线程 多次调用该requests.get(url,proxies)方法的时候 会向代理服务器发出很多建立连接的请求。

线程一多 建立请求一多 这会导致后续无法获取代理。

urllib 使用opener设置代理其只建一个opener 故只有一次代理服务器的连接

之后线程调用urllib.request.Request 方法都会基于这次连接上。不需要开辟新的代理通道

hornwong 发表于 2021-7-5 16:39:24

在学习中

wcq15759797758 发表于 2021-7-5 20:28:04

可能还没有学到你这么深我初期还是requests用的多

ridiculum 发表于 2021-7-5 20:40:04

学习中

fr1518 发表于 2021-7-5 21:21:06

{:5_94:}还没学到这个地步

BanCan笑 发表于 2021-7-14 13:57:53

urllib 吧，其实requests的组件很多也是借鉴了urllib，只是requests比较简介，容易学

xz1998 发表于 2021-7-14 14:56:07

大佬大佬

超级玛尼哄 发表于 2021-7-20 11:09:26

学习学习

超级玛尼哄 发表于 2021-7-20 11:09:56

学习学习，顺便领个币{:10_250:}{:10_250:}

学渣李某人 发表于 2021-7-20 22:08:29

其实, urllib和requests的关系就像c++和python一样, 你写一个项目, 你可能会用c++处理底层的运算, 因为快, 但高层的算法就要用python, 因为语法简单, 所以, 主要看爬取的是什么网页, 需要怎样的通用性(爬指定的一个还是符合条件的一群)

学渣李某人 发表于 2021-7-20 22:09:00

写了这么多, 没有鱼币{:10_266:}

学渣李某人 发表于 2021-7-20 22:11:49

还是没有{:10_266:}

学渣李某人 发表于 2021-7-20 22:12:26

我*{:10_266:}

学渣李某人 发表于 2021-7-20 22:13:13

币还有吗{:10_266:}

临时号 发表于 2021-7-21 14:31:21

requests适合写小型爬虫
urllib适合写中型爬虫

majian890324 发表于 2021-7-21 17:22:05

66666

majian890324 发表于 2021-7-21 17:22:50

其实，我想得个鱼币……

小超超超 发表于 2021-7-26 03:00:48

还没开始学{:9_222:}

waixiong 发表于 2021-7-26 14:52:23

领个币

fxj2002 发表于 2021-7-26 14:53:19

{:5_90:}
页: [1] 2
查看完整版本: 爬虫用Requests还是urllib好？