网络小说爬取

wp231957 · 发表于 2019-4-11 14:20:58

def getHeader():
agent = ['Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0',
'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'
]
i = random.randint(0,len(agent)-1)
header = {'User-Agent':agent}
return header

复制代码

我猜测你是从agent列表中随机抽取一个agent 可是却没看明白这两句代码是如何关联的呢
i = random.randint(0,len(agent)-1)
header = {'User-Agent':agent}

大裤衩子 · 发表于 2019-4-11 14:28:07

wp231957 发表于 2019-4-11 14:20
我猜测你是从agent列表中随机抽取一个agent 可是却没看明白这两句代码是如何关联的呢
i = random.ra ...

header = {'User-Agent':agent[i]}
后面有个i，代码传上来就没有i了，重新编辑修复的时候又有了

goodboy2019 · 发表于 2019-4-11 15:14:08

...........

hahazzz · 发表于 2019-4-11 15:20:47

哈哈

xieyu1125 · 发表于 2019-4-12 12:24:24

1014667249 · 发表于 2019-4-12 13:01:22

学来有用

zhaoxq · 发表于 2019-4-12 13:35:13

看看

一世长安呢 · 发表于 2019-4-13 10:26:42

学习学习

一世长安呢 · 发表于 2019-4-13 10:35:42

请问小说下到哪里了

一世长安呢 · 发表于 2019-4-13 10:38:34

乱码啊，都是

liluodanyu · 发表于 2019-4-14 23:38:33

dalao

做爱的烦恼 · 发表于 2019-4-15 00:19:00

学习学习

fread丶 · 发表于 2019-4-15 14:41:53

学习学习

5ywin · 发表于 2019-4-22 02:41:12

哈哈哈哈

wy1018651314 · 发表于 2019-4-22 09:01:50

crj375915011 · 发表于 2019-4-22 09:23:36

研究谢谢

qyj123 · 发表于 2019-4-22 13:02:27

6666

南朴 · 发表于 2019-4-22 15:23:57

学习学习

yh6788 · 发表于 2019-4-22 18:31:57

nice

黑夜的影子 · 发表于 2019-4-23 14:07:05

学习下

账号		自动登录	找回密码
密码			立即注册

[作品展示] 网络小说爬取