[已解决]求助！爬虫遇到docement！！！

学习编程中的Ben

贯串我平常的原则，先文字描述问题：


在我爬取http://www.woyaotingshu.com//play/5440-0-1.html这个网站时
它的mp3文件地址

下图所指箭头即我要求的文件，很长，就不放了

                               
登录/注册后可看大图

根据我的代码，已经能爬到<iframe>这里了，
但在#documentt这一行，里面的代码被隐藏了，不信你们去爬爬看
如何获取到#document里面的内容？


我的代码：

1. 
   
2. from lxml import html
   
3. from requests_html import HTMLSession
   
4. 
   
5. # 书的地址
   
6. url="http://www.woyaotingshu.com//play/5440-0-1.html"
   
7. 
   
8. 
   
9. # 创建会话
   
10. session = HTMLSession()
    
11. # UA伪装，防止反爬
    
12. headers = {
    
13.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
    
14.                       " (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    
15.     }
    
16. r = session.get(url=url, headers=headers)
    
17. if r.status_code == 200:
    
18.     r.html.render()
    
19.     r.html.encoding = 'utf-8'
    
20.     print(r.html.html)
    
21.     class_wp = r.html.xpath('.//script[@type="text/javascript"]')
    
22.     print(class_wp)   #  输出网页源码
    

复制代码

谁来救救孩子啊？

@Twilight6 @Hello. @青出于蓝 @嘉岳呀 @人造人

最佳答案

月排行榜 / 总排行榜

人造人

2023-1-3 19:05:41

非要给我最佳吗？上面好多人也给你解决了问题，你也可以设置他们最佳的，^_^
不过为什么你@我，我没有收到提醒？
你@的下面没有下划线，应该是你没有成功@到我吧

跳转到最佳答案楼层

人造人

非要给我最佳吗？上面好多人也给你解决了问题，你也可以设置他们最佳的，^_^
不过为什么你@我，我没有收到提醒？
你@的下面没有下划线，应该是你没有成功@到我吧

学习编程中的Ben

@人造人

学习编程中的Ben

大佬们，救命啊！！！！

学习编程中的Ben

@不二如是 求大佬指教

学习编程中的Ben

求大佬指教

@不二如是

临时号

是document,把单词打对

suchocolate

把html码源文件保存一下，看看有没有你说的document，有可能是浏览器渲染出来的，实际直接get不到。

wp231957

1. url="http://t3344t.tingchina.com/yousheng/%E7%A7%91%E5%B9%BB%E6%9C%89%E5%A3%B0/%E5%90%9E%E5%99%AC%E6%98%9F%E7%A9%BA_%E5%8D%8E%E9%A3%8E%E7%A5%9E%E9%9F%B5/001%E7%AC%AC1%E7%AF%87%E7%AC%AC1%E9%9B%86%E7%AC%AC01%E7%AB%A0_%E7%BD%97%E5%B3%B0.mp3?key=714a82ef7a048ec3fb0158857b1c2f00_694472778"
   
2. import requests
   
3. data=requests.get(url).content
   
4. with open("1.mp3","wb") as f:
   
5.     f.write(data)
   
6. print("over...")   
   

复制代码

wp231957

学习编程中的Ben 发表于 2023-1-3 19:56
大佬们，救命啊！！！！

下载的mp3可以正常收听  测试over......

学习编程中的Ben

suchocolate 发表于 2023-1-4 10:04
把html码源文件保存一下，看看有没有你说的document，有可能是浏览器渲染出来的，实际直接get不到。

人造人大佬已经给我解决完了

学习编程中的Ben

@人造人

学习编程中的Ben

大佬，回一下
@人造人

阿奇_o

似乎没啥难度，直来直去，即可

1. import requests, re
   
2. 
   
3. response = requests.get('https://www.woyaotingshu.com/play/5440-0-1.html')
   
4. # response.text  # 看看，直接就有播放器的请求地址
   
5. 
   
6. html = response.text
   
7. ym = 'https://www.woyaotingshu.com'
   
8. url_jplayer = re.findall('<iframe .*?src="(/jplayer.*?)" width', html)[0]
   
9. res = requests.get(ym + url_jplayer)
   
10. # res.text  # 再看看，MP3音频资源url，也有
    
11. 
    
12. mp3 = re.findall('{mp3:"(http://.*?)",', res.text)[0]
    
13. res_mp3 = requests.get(mp3)
    
14. res_mp3.headers   # Content-Type 就是音频资源（MP3）
    
15. {'Content-Type': 'audio/mpeg', 'Last-Modified': 'Tue, 04 Jan 2011 16:00:00 GMT', 'Accept-Ranges': 'bytes', 'ETag': '"080b87028accb1:0"', 'Server': 'Microsoft-IIS/8.5', 'X-Powered-By': 'ASP.NET', 'Date': 'Wed, 04 Jan 2023 03:01:22 GMT', 'Content-Length': '4405125'}
    
16. 
    
17. # 保存MP3
    
18. with open('001第1篇第1集第01章_罗峰.mp3', 'wb') as f:
    
19.     f.write(res_mp3.content)
    

复制代码

学习编程中的Ben

@人造人

学习编程中的Ben

人造人 发表于 2023-1-3 19:05
非要给我最佳吗？上面好多人也给你解决了问题，你也可以设置他们最佳的，^_^
不过为什么你@我，我没有收到 ...

你最先给我答案的，当让要给你了。
实在很感谢，我的一个巨大项目在你的帮助下已经算完成一半！
能完整趴下一本小说了！

人造人

学习编程中的Ben 发表于 2023-1-5 19:35
你最先给我答案的，当让要给你了。
实在很感谢，我的一个巨大项目在你的帮助下已经算完成一半！
能完整 ...

^_^