龖釋 发表于 2021-8-4 17:34:09

小甲鱼网易云音乐爬虫,如何一次性爬取多首歌的评论,而不是一次次input

url = input("请输入链接地址:")

现在有多首歌的url,
请问怎么让程序运行完后自动去爬第二首歌,
而不是一次次点run再input。

nahongyan1997 发表于 2021-8-5 10:09:26

弄个列表(list1)把url全都输进去,可以是爬虫输的也可以是手动输的,

然后

for each in list1:
    balabala

King丨小义 发表于 2021-8-10 08:30:40

本帖最后由 King丨小义 于 2021-8-10 08:34 编辑

如果评论页的url有规律就直接for循环就行
如果没规律但是下一首个能够在当前页面跳转到的话,就可以从当前页面解析出下一首歌的url,然后再爬取。
像这种全站数据的爬取我习惯用CrawlSpider,它可以通过正则自动解析下一个页面的url
页: [1]
查看完整版本: 小甲鱼网易云音乐爬虫,如何一次性爬取多首歌的评论,而不是一次次input