爬取scihub的文献，为什么网页源代码中button中没有下载地址
使用requests爬取scihub的文章，本来想通过下载的按钮，在网页源代码的button按钮里找到下载文献的网址，但是发现并没有，找了一段时间后仍然没有找到解决办法，特来论坛求助大家。本想附上图片的网页源代码，但我好像等级不够。因此附上链接：https://sci-hub.tw/10.1126/science.aay5663非常感谢本帖最后由 suchocolate 于 2020-7-12 13:50 编辑
import requests
url = 'https://sci-hub.tw/downloads/2020-07-10/23/10.1126@science.aay5663.pdf'
headers = {'Host': 'sci-hub.tw',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Referer': 'https://sci-hub.tw/10.1126/science.aay5663',
'Cookie': '__ddg1=KBCRwlHgnKghCvEgEK4S; session=6f3048c2d9a48e0aa3201e27928dfe8e; refresh=1594524422.6663',
'Upgrade-Insecure-Requests': '1'}
r = requests.get(url, headers=headers)
with open('test.pdf', 'wb') as f:
f.write(r.content) 嗯，发现了这个问题，链接地址在network可以查到，但是分析了一下链接，发现没什么规律。请问有批量下载的方法吗 瓜子仁 发表于 2020-7-12 17:22
嗯，发现了这个问题，链接地址在network可以查到，但是分析了一下链接，发现没什么规律。请问有批量下载的 ...
把批量url放到列表里，然后用requests.get遍历。 suchocolate 发表于 2020-7-12 19:30
把批量url放到列表里，然后用requests.get遍历。
那如何批量获得URL呢，有没有方法可以从network内获得链接呢？感谢 瓜子仁 发表于 2020-7-12 22:53
那如何批量获得URL呢，有没有方法可以从network内获得链接呢？感谢
这个看你如何获得了，你只给了一个pdf的页面。
一般爬取时会有一个相当于目录的页面，能从中获得各个分支的入口，然后遍历各个入口得到pdf的url。
这和爬取美女图什么的差不多。 suchocolate 发表于 2020-7-13 09:57
这个看你如何获得了，你只给了一个pdf的页面。
一般爬取时会有一个相当于目录的页面，能从中获得各个分 ...
好，我去了解一下
页:
[1]