Iseul 发表于 2020-10-15 19:00:50

获取网页源代码出错

本帖最后由 Iseul 于 2020-10-15 22:09 编辑

import requests
url = 'http://yuedu.sogou.com/book/view/F47199374CD03259E3FF63710DAF5ADD/F0BAA3E21F3DD0F4F3A4F5562BA8BD8B?w=1497&'
headers = {
    'User-Agent':'http://yuedu.sogou.com/book/view/F47199374CD03259E3FF63710DAF5ADD/F0BAA3E21F3DD0F4F3A4F5562BA8BD8B?w=1497&'
}
r=requests.get(url=url,headers=headers)
print(r.text)

我想获取的是elements下的HTML代码，但是输出的是sources下的代码，请问两者有什么区别，怎么能获取到我想要的代码呢

疾风怪盗 发表于 2020-10-16 14:37:55

看不懂你的意思。。。。。。。。。。。。
你的headers为什么UA是网址？不是应该这样的么？
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38'
}

你是想要获取什么？

Iseul 发表于 2020-10-18 19:09:15

疾风怪盗 发表于 2020-10-16 14:37
看不懂你的意思。。。。。。。。。。。。
你的headers为什么UA是网址？不是应该这样的么？



嗯嗯，UA错了，改正之后，我获得的源代码和页面本身的源代码不一样，源代码的部分内容我获取不到，请问是怎么回事

Iseul 发表于 2020-10-18 19:12:29

Iseul 发表于 2020-10-18 19:09
嗯嗯，UA错了，改正之后，我获得的源代码和页面本身的源代码不一样，源代码的部分内容我获取不到，请问是 ...

我想获取的是小说的文本

疾风怪盗 发表于 2020-10-18 19:22:20

Iseul 发表于 2020-10-18 19:12
我想获取的是小说的文本

这个就是小说文本，只要两个参数：bkey，ckey，这两个貌似可以从之前的网页中获取的，你自己看看吧
import requests
import json
url = 'http://yuedu.sogou.com/ajax/user/buy/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38'
}
params={'bkey': 'F47199374CD03259E3FF63710DAF5ADD',
'ckey': 'F0BAA3E21F3DD0F4F3A4F5562BA8BD8B'
}
response=requests.get(url=url,headers=headers,params=params)
html_str=response.content.decode()
data=json.loads(html_str)
content=data['detail']['content']
print(content)

Iseul 发表于 2020-10-19 08:21:50

好的 谢谢
页: [1]
查看完整版本: 获取网页源代码出错