小甲鱼网易云音乐爬虫,如何一次性爬取多首歌的评论,而不是一次次input
url = input("请输入链接地址:")现在有多首歌的url,
请问怎么让程序运行完后自动去爬第二首歌,
而不是一次次点run再input。 弄个列表(list1)把url全都输进去,可以是爬虫输的也可以是手动输的,
然后
for each in list1:
balabala
本帖最后由 King丨小义 于 2021-8-10 08:34 编辑
如果评论页的url有规律就直接for循环就行
如果没规律但是下一首个能够在当前页面跳转到的话,就可以从当前页面解析出下一首歌的url,然后再爬取。
像这种全站数据的爬取我习惯用CrawlSpider,它可以通过正则自动解析下一个页面的url
页:
[1]