[已解决]python爬虫爬到的网页源码和按F12查看的网页源码不一致问题

丶霁灵

刚学完小甲鱼的爬虫课，尝试爬取一网站的图片成功了，然后就想试试爬取网易云音乐的评论
这是还没有完成的代码

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     '''
   
7. 打开url
   
8.     '''
   
9.     req = urllib.request.Request(url)
   
10.     req.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36')
    
11.    
    
12.     '''检测连接失败错误'''
    
13.     count = 0
    
14.     while 1:
    
15.         if count == 10:            
    
16.             temp =input('此连接(%s)已经失败10次，按任意键继续',url)
    
17.         try:
    
18.             response = urllib.request.urlopen(req)
    
19.         except urllib.error.HTTPError as e:
    
20.             print("服务器没有响应")
    
21.             print("Error code:",e.code)
    
22.             count += 1
    
23.             continue
    
24.         except urllib.error.URLError as e:
    
25.             print("链接服务器失败")
    
26.             print("Reason:",e.reason)
    
27.             count += 1
    
28.             continue
    
29.         else:
    
30.             html = response.read().decode('utf-8')
    
31.             break
    
32.     '''检测连接失败错误'''
    
33.    
    
34.     #print(html)
    
35.     return(html)
    
36.     #pass
    
37. 
    
38. def find_song(url):
    
39.     '''
    
40. 在此界面找到所有音乐
    
41.     '''
    
42.     html = open_url(url)
    
43.     print(html)
    
44.     p = re.compile(r'(<a href="/song?id=\d?)"><b title="(.?)">')
    
45.     song_url_list = p.findall(html)
    
46.     print(song_url_list)#------------------------------------------------------------这里面一直是空的
    
47.     return(song_url_list)
    
48.     #pass
    
49.    
    
50. def find_review(url):
    
51.     '''
    
52. 在此界面找到所有精彩评论
    
53.     '''
    
54.     pass
    
55. 
    
56. def download(url):
    
57.     '''
    
58. 网易云前100音乐精彩评论爬虫
    
59.     '''
    
60.     os.chdir(os.curdir)
    
61.    
    
62.     song_url_list = find_song(url)
    
63.     for i in song_url_list:
    
64.         review_list = find_review(i[0])
    
65.         with open(i[1]+".txt",'w+',encoding='utf-8') as f:
    
66.             for j in review_list:
    
67.                 f.write(j[0]+':'+j[1])
    
68.                 f.write('\n')
    
69.     temp = input('爬取完成，按任意键继续')
    
70. 
    
71. if __name__ == '__main__':
    
72.     url = 'https://music.163.com/#/discover/toplist'
    
73.     download(url)
    

复制代码

我的想法是先找到排行榜上的歌曲，然后进去爬评论。
然后我发现爬的歌曲列表一直是空的，html解析正常，但是就是搜不到。我单独保存了html去用ctrl+f原来也搜不到。
对照了一下我发现我爬到的html和我在浏览器按F12看到的并不一样，少东西

请问这种情况该怎么办呢？

百度了说一种是直接从JavaScript中采集加载的数据，用json模块处理；

                  另一种方式是直接采集浏览器中已经加载好的数据，借助工具--PhantomJS

请问有没有学了现行课程能简单掌握的方法？

最佳答案

月排行榜 / 总排行榜

Hoiste

2020-4-1 16:32:42

丶霁灵 发表于 2020-4-1 16:25
学到了，这就去和网易云对线

这个不能解决所有问题，如果只是要爬一些确定的对象的话还好，但是涉及搜索等功能就不好用了，如果要深入学习爬虫的话最好多去看一下大神们爬网易云的代码。

跳转到最佳答案楼层

丶霁灵

有没有大大前来救场

Hoiste

网易云有个反爬机制，多数情况下可以通过去掉井号来解决问题，有个别情况则需要一些别的模块帮助，我试了一下把url改成了https://music.163.com/discover/toplist（就是去掉了井号）然后HTML复制到TXT没有问题，应该不是麻烦的情况，接下来进入到歌曲里面爬取评论看看是不是也需要去掉井号吧。

永恒的蓝色梦想

网易云会用一种奇奇怪怪的方式来加密歌名

丶霁灵

Hoiste 发表于 2020-4-1 15:27
网易云有个反爬机制，多数情况下可以通过去掉井号来解决问题，有个别情况则需要一些别的模块帮助，我试了一 ...

学到了，这就去和网易云对线

Hoiste

丶霁灵 发表于 2020-4-1 16:25
学到了，这就去和网易云对线

这个不能解决所有问题，如果只是要爬一些确定的对象的话还好，但是涉及搜索等功能就不好用了，如果要深入学习爬虫的话最好多去看一下大神们爬网易云的代码。

丶霁灵

永恒的蓝色梦想 发表于 2020-4-1 15:39
网易云会用一种奇奇怪怪的方式来加密歌名

貌似不管用呢 还是爬不到