[已解决]爬取网页问题

fytfytf

1. import requests
   
2. import bs4
   
3. import json
   
4. def open_url(url):
   
5.     head={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',
   
6.           'referer':'https://music.163.com/playlist?id=2855302461'}
   
7.     params='O/iSOGlFamQTc1S42vPPqc4qeRcIVcCv2P9BWkk2IHDHKNVZ+1gsPeH3shaQ0QuL0GSSvFWi44QEdGHu1FB28vQOJimcDZb+D8kc1SpRGRMCisQmCmSjp46/nvBgWlkAjkAZUeaJZZbt7RwkLJxOHwyeyyJ/lkIA2j5Efx+ZoUHcdwf0/xO9iO8IIM2EcXWVvJQiBaYbCAw8jkwRyt6ev34iAtC67JZTGiikn/gLn3tgehl//fAhGUWY0Y6/YZb0toJ4yP5Y8/MqVrWOpsbuY2pga8R8NCZTFHlYQQi37SH5wPkYTllhqpGCc3pxhw3vdN2Yw+VYjLykebof97EWm5slHhETN0akr2iYPKOciAk='
   
8.     encSecKey='3d18dd75fd89a39362bdb6291aaeded0cf67efbd2bbedc025cd620aef1b6b0e931100c718413120b517c4b1270bafdaa178d178a44a055681e932543294f2d3022f3184b49994a11cf743b7b72f609bb94292fdee5983b8dec4fcf976df8a43ab7a329fa569666cc53b65f57a9eb6fdb683a81370042e1c8d9a9bdbf4a3387ba'
   
9.     data={'params':params,'encSecKey':encSecKey}
   
10.     server_url='https://music.163.com/weapi/comment/resource/comments/get?csrf_token=b33ce1a1e64e35e82ebfdc1884bb4063'
    
11.     res=requests.get(server_url,headers=head,data=data)
    
12.     return res
    
13. def main():
    
14.     url=input('请输入网址:')
    
15.     res=open_url(url)
    
16.     with open('res.txt','w',encoding='utf-8') as f:
    
17.         f.write(res.text)
    
18.    
    
19. 
    
20. if __name__=='__main__':
    
21.     main()
    

复制代码

没有报错，但是爬下来的文件是空的，求解

最佳答案

月排行榜 / 总排行榜

_2_

2020-7-25 15:57:31

fytfytf 发表于 2020-7-25 15:51
想爬网易云的评论

好像在哪里见过
应该是小甲鱼的一个案例吧
大概是因为网页改版了，所以原来的不管用了

跳转到最佳答案楼层

_2_

你要爬取什么内容

Twilight6

因为你的 server_url 网站内容是空的呀

_2_

Twilight6 发表于 2020-7-25 15:01
因为你的 server_url 网站内容是空的呀

……

zltzlt

一两年了，网站可能改版了，用书里的方法可能不行了

fytfytf

_2_ 发表于 2020-7-25 14:59
你要爬取什么内容

想爬网易云的评论

_2_

fytfytf 发表于 2020-7-25 15:51
想爬网易云的评论

好像在哪里见过
应该是小甲鱼的一个案例吧
大概是因为网页改版了，所以原来的不管用了