[已解决]urllib爬图片全靠玄学？？？

我真的是个好人 · 发表于 2020-7-27 15:58:09

您需要登录才可以下载或查看，没有账号？立即注册

x

RT,urllib做了一个批量爬猫片的，想打包给同学也玩玩，结果下载速度时好时坏，有时直接连接超时，想找个解决办法

最佳答案

Twilight6

2020-7-27 16:27:29

用 requests 吧，urllib 不好用感觉

下载速度应该没办法解决吧，和网站和网络有主要关系

要不你 try 一下如果报错就休息几秒重新 continue ？

weiter · 发表于 2020-7-27 16:20:40

加上错误排查，然后放几个备用代理吧？
我到现在连代理怎么用都不会……

weiter · 发表于 2020-7-27 16:21:31

还有，让同学换个好一点的路由器，换一卷好一点的网线

Twilight6 · 发表于 2020-7-27 16:27:29

用 requests 吧，urllib 不好用感觉

下载速度应该没办法解决吧，和网站和网络有主要关系

要不你 try 一下如果报错就休息几秒重新 continue ？

zltzlt · 发表于 2020-7-27 16:31:23

没办法，网站在国外，访问是很慢

我真的是个好人 · 发表于 2020-7-27 16:44:24

Twilight6 发表于 2020-7-27 16:27
用 requests 吧，urllib 不好用感觉

下载速度应该没办法解决吧，和网站和网络有主要关系

求一个requests的中文帮助文档啊
然后，怎么让程序知道它有没有报错啊
怎么在程序里让程序重新运行它自己啊(禁止套娃)

我真的是个好人 · 发表于 2020-7-27 17:27:38

weiter 发表于 2020-7-27 16:21
还有，让同学换个好一点的路由器，换一卷好一点的网线

啊这，这些钱足够本地吸猫了

1q23w31 · 发表于 2020-7-27 18:24:25

本帖最后由 1q23w31 于 2020-7-27 18:34 编辑

我真的是个好人发表于 2020-7-27 16:44
求一个requests的中文帮助文档啊
然后，怎么让程序知道它有没有报错啊
怎么在程序里让程序重新运行它自 ...

1中文文档：https://fishc.com.cn/thread-95893-1-1.html
2让程序进行异常捕获，得到异常值
3重新运行，只要让程序捕获到异常后重新运行之前程序不就行了

Twilight6 · 发表于 2020-7-27 18:36:35

我真的是个好人发表于 2020-7-27 16:44
求一个requests的中文帮助文档啊
然后，怎么让程序知道它有没有报错啊
怎么在程序里让程序重新运行它自 ...

呃你不会是那种动作的吧，噗，我还是太单纯

liuzhengyuan · 发表于 2020-7-27 18:52:08

我真的是个好人 · 发表于 2020-7-27 20:26:50

Twilight6 发表于 2020-7-27 18:36
呃你不会是那种动作的吧，噗，我还是太单纯

啊，疑惑了，只是想爬些猫片来吸啦，没有瑟琴啥的啦（再说你也是做过蝗虫的人了

）

我真的是个好人 · 发表于 2020-7-27 20:27:50

1q23w31 发表于 2020-7-27 18:24
1中文文档：https://fishc.com.cn/thread-95893-1-1.html
2让程序进行异常捕获，得到异常值
3重新运 ...

不会的是怎么进行异常捕获

1q23w31 · 发表于 2020-7-27 20:31:44

我真的是个好人发表于 2020-7-27 20:27
不会的是怎么进行异常捕获

登录/注册后可看大图

Levin-e · 发表于 2020-7-27 20:49:55

网络因素真的很玄学，不同的宽带供应商的网络质量也不一样
你能做的就是像前面大佬们说的，做异常捕获，重复尝试
顺便爬虫写的不要太暴力，很多网站检测到会封你的IP

账号		自动登录	找回密码
密码			立即注册