fytfytf 发表于 2020-7-25 14:54:09

爬取网页问题

import requests
import bs4
import json
def open_url(url):
    head={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER',
          'referer':'https://music.163.com/playlist?id=2855302461'}
    params='O/iSOGlFamQTc1S42vPPqc4qeRcIVcCv2P9BWkk2IHDHKNVZ+1gsPeH3shaQ0QuL0GSSvFWi44QEdGHu1FB28vQOJimcDZb+D8kc1SpRGRMCisQmCmSjp46/nvBgWlkAjkAZUeaJZZbt7RwkLJxOHwyeyyJ/lkIA2j5Efx+ZoUHcdwf0/xO9iO8IIM2EcXWVvJQiBaYbCAw8jkwRyt6ev34iAtC67JZTGiikn/gLn3tgehl//fAhGUWY0Y6/YZb0toJ4yP5Y8/MqVrWOpsbuY2pga8R8NCZTFHlYQQi37SH5wPkYTllhqpGCc3pxhw3vdN2Yw+VYjLykebof97EWm5slHhETN0akr2iYPKOciAk='
    encSecKey='3d18dd75fd89a39362bdb6291aaeded0cf67efbd2bbedc025cd620aef1b6b0e931100c718413120b517c4b1270bafdaa178d178a44a055681e932543294f2d3022f3184b49994a11cf743b7b72f609bb94292fdee5983b8dec4fcf976df8a43ab7a329fa569666cc53b65f57a9eb6fdb683a81370042e1c8d9a9bdbf4a3387ba'
    data={'params':params,'encSecKey':encSecKey}
    server_url='https://music.163.com/weapi/comment/resource/comments/get?csrf_token=b33ce1a1e64e35e82ebfdc1884bb4063'
    res=requests.get(server_url,headers=head,data=data)
    return res
def main():
    url=input('请输入网址:')
    res=open_url(url)
    with open('res.txt','w',encoding='utf-8') as f:
      f.write(res.text)
   

if __name__=='__main__':
    main()

没有报错，但是爬下来的文件是空的，求解

_2_ 发表于 2020-7-25 14:59:13

你要爬取什么内容

Twilight6 发表于 2020-7-25 15:01:29



因为你的 server_url 网站内容是空的呀


_2_ 发表于 2020-7-25 15:03:14

Twilight6 发表于 2020-7-25 15:01
因为你的 server_url 网站内容是空的呀

……

zltzlt 发表于 2020-7-25 15:49:53

一两年了，网站可能改版了，用书里的方法可能不行了

fytfytf 发表于 2020-7-25 15:51:30

_2_ 发表于 2020-7-25 14:59
你要爬取什么内容

想爬网易云的评论

_2_ 发表于 2020-7-25 15:57:31

fytfytf 发表于 2020-7-25 15:51
想爬网易云的评论

好像在哪里见过
应该是小甲鱼的一个案例吧
大概是因为网页改版了，所以原来的不管用了
页: [1]
查看完整版本: 爬取网页问题