爬虫IP被封的对策，讨论一下。附爬虫源码。

John_farmer · 发表于 2015-10-25 17:44:19

Reed 发表于 2015-10-25 14:34
没有爬虫，百度和谷歌的搜索引擎就可以歇了

只能说这个对于搜索引擎有用，但是对于我们有啥用，我们又不做搜索引擎

yyzqab · 发表于 2015-10-26 00:33:35

目前还看不太懂，看看高手们讨论吧

cartons · 发表于 2015-10-26 10:53:53

正是我想学习的内容

ianv · 发表于 2015-10-26 14:58:00

学习学习

gudutxh · 发表于 2015-10-26 17:08:04

budong,bangding/////////

爱你一万年1 · 发表于 2015-10-26 17:51:23

aotailifjlin · 发表于 2015-10-26 21:31:42

同问

archlord7 · 发表于 2015-10-27 16:27:25

f布式爬虫

Reed · 发表于 2015-10-28 09:34:23

John_farmer 发表于 2015-10-25 17:44
只能说这个对于搜索引擎有用，但是对于我们有啥用，我们又不做搜索引擎

对哈，也是~！确实~！

lh81561505 · 发表于 2015-10-29 15:44:00

没看懂

lh81561505 · 发表于 2015-10-30 13:19:23

非常好学习了

零距离2 · 发表于 2015-10-31 21:53:02

先马以后来看看

gudutxh · 发表于 2015-10-31 22:51:29

好高级的样子。。。。。。。

roar123 · 发表于 2015-11-14 21:27:44

403 Forbidden啊:mad:

Reed · 发表于 2015-11-16 14:33:31

roar123 发表于 2015-11-14 21:27
403 Forbidden啊

添加一下Header{'User-Agent': 'Mozilla/5.0'} 好像是这么写的，你找找你的浏览器里面的贴上就行

Joecy · 发表于 2015-12-26 09:49:11

鱼币奖励有概率

@小甲鱼@ · 发表于 2015-12-27 17:22:53

神人也

学学看看 · 发表于 2018-7-26 13:39:17

提示: 作者被禁止或删除内容自动屏蔽

云甡 · 发表于 2018-11-17 16:48:24

厉害啊，我先学习学习

qiuyouzhi · 发表于 2018-11-18 19:51:44

学习一下~~~

账号		自动登录	找回密码
密码			立即注册

学学看看学学看看当前离线 UID 522173 日志相册贡献荣誉积分 588 狗仔卡头像被屏蔽	发表于 2018-7-26 13:39:17 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
	想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
	回复支持反对使用道具举报显身卡

[作品展示] 爬虫IP被封的对策，讨论一下。附爬虫源码。


40 鱼币	回复本帖可获得 5 鱼币奖励! 每人限 1 次(中奖概率 50%)