[已解决]获取网页源代码出错

Iseul

import requests
url = 'http://yuedu.sogou.com/book/view/F47199374CD03259E3FF63710DAF5ADD/F0BAA3E21F3DD0F4F3A4F5562BA8BD8B?w=1497&'
headers = {
    'User-Agent':'http://yuedu.sogou.com/book/view/F47199374CD03259E3FF63710DAF5ADD/F0BAA3E21F3DD0F4F3A4F5562BA8BD8B?w=1497&'
}
r=requests.get(url=url,headers=headers)
print(r.text)

我想获取的是elements下的HTML代码，但是输出的是sources下的代码，请问两者有什么区别，怎么能获取到我想要的代码呢

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-10-18 19:22:20

Iseul 发表于 2020-10-18 19:12
我想获取的是小说的文本

这个就是小说文本，只要两个参数：bkey，ckey，这两个貌似可以从之前的网页中获取的，你自己看看吧

1. import requests
   
2. import json
   
3. url = 'http://yuedu.sogou.com/ajax/user/buy/'
   
4. headers = {
   
5.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38'
   
6. }
   
7. params={'bkey': 'F47199374CD03259E3FF63710DAF5ADD',
   
8. 'ckey': 'F0BAA3E21F3DD0F4F3A4F5562BA8BD8B'
   
9. }
   
10. response=requests.get(url=url,headers=headers,params=params)
    
11. html_str=response.content.decode()
    
12. data=json.loads(html_str)
    
13. content=data['detail']['content']
    
14. print(content)

复制代码

跳转到最佳答案楼层

疾风怪盗

看不懂你的意思。。。。。。。。。。。。
你的headers为什么UA是网址？不是应该这样的么？

1. headers = {
   
2.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38'
   
3. }

复制代码

你是想要获取什么？

Iseul

疾风怪盗 发表于 2020-10-16 14:37
看不懂你的意思。。。。。。。。。。。。
你的headers为什么UA是网址？不是应该这样的么？

嗯嗯，UA错了，改正之后，我获得的源代码和页面本身的源代码不一样，源代码的部分内容我获取不到，请问是怎么回事

Iseul

Iseul 发表于 2020-10-18 19:09
嗯嗯，UA错了，改正之后，我获得的源代码和页面本身的源代码不一样，源代码的部分内容我获取不到，请问是 ...

我想获取的是小说的文本

疾风怪盗

Iseul 发表于 2020-10-18 19:12
我想获取的是小说的文本

这个就是小说文本，只要两个参数：bkey，ckey，这两个貌似可以从之前的网页中获取的，你自己看看吧

1. import requests
   
2. import json
   
3. url = 'http://yuedu.sogou.com/ajax/user/buy/'
   
4. headers = {
   
5.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36 Edg/86.0.622.38'
   
6. }
   
7. params={'bkey': 'F47199374CD03259E3FF63710DAF5ADD',
   
8. 'ckey': 'F0BAA3E21F3DD0F4F3A4F5562BA8BD8B'
   
9. }
   
10. response=requests.get(url=url,headers=headers,params=params)
    
11. html_str=response.content.decode()
    
12. data=json.loads(html_str)
    
13. content=data['detail']['content']
    
14. print(content)

复制代码

Iseul

好的 谢谢