[已解决]爬取scihub的文献，为什么网页源代码中button中没有下载地址

瓜子仁

使用requests爬取scihub的文章，本来想通过下载的按钮，在网页源代码的button按钮里找到下载文献的网址，但是发现并没有，找了一段时间后仍然没有找到解决办法，特来论坛求助大家。本想附上图片的网页源代码，但我好像等级不够。因此附上链接：https://sci-hub.tw/10.1126/science.aay5663非常感谢

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-13 09:57:26

瓜子仁 发表于 2020-7-12 22:53
那如何批量获得URL呢，有没有方法可以从network内获得链接呢？感谢

这个看你如何获得了，你只给了一个pdf的页面。
一般爬取时会有一个相当于目录的页面，能从中获得各个分支的入口，然后遍历各个入口得到pdf的url。
这和爬取美女图什么的差不多。

跳转到最佳答案楼层

suchocolate

import requests

url = 'https://sci-hub.tw/downloads/2020-07-10/23/10.1126@science.aay5663.pdf'
headers = {'Host': 'sci-hub.tw',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0',
           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
           'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
           'Accept-Encoding': 'gzip, deflate, br',
           'Connection': 'keep-alive',
           'Referer': 'https://sci-hub.tw/10.1126/science.aay5663',
           'Cookie': '__ddg1=KBCRwlHgnKghCvEgEK4S; session=6f3048c2d9a48e0aa3201e27928dfe8e; refresh=1594524422.6663',
           'Upgrade-Insecure-Requests': '1'}
r = requests.get(url, headers=headers)
with open('test.pdf', 'wb') as f:
    f.write(r.content)

瓜子仁

嗯，发现了这个问题，链接地址在network可以查到，但是分析了一下链接，发现没什么规律。请问有批量下载的方法吗

suchocolate

瓜子仁 发表于 2020-7-12 17:22
嗯，发现了这个问题，链接地址在network可以查到，但是分析了一下链接，发现没什么规律。请问有批量下载的 ...

把批量url放到列表里，然后用requests.get遍历。

瓜子仁

suchocolate 发表于 2020-7-12 19:30
把批量url放到列表里，然后用requests.get遍历。

那如何批量获得URL呢，有没有方法可以从network内获得链接呢？感谢

suchocolate

瓜子仁 发表于 2020-7-12 22:53
那如何批量获得URL呢，有没有方法可以从network内获得链接呢？感谢

这个看你如何获得了，你只给了一个pdf的页面。
一般爬取时会有一个相当于目录的页面，能从中获得各个分支的入口，然后遍历各个入口得到pdf的url。
这和爬取美女图什么的差不多。

瓜子仁

suchocolate 发表于 2020-7-13 09:57
这个看你如何获得了，你只给了一个pdf的页面。
一般爬取时会有一个相当于目录的页面，能从中获得各个分 ...

好，我去了解一下