设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 请问大神爬取ajax数据 怎么运行后没反应呢？
返回列表 发新帖
查看: 1244|回复: 4

请问大神爬取ajax数据 怎么运行后没反应呢？

[复制链接]
fishclove
发表于 2018-12-29 21:48:11 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
代码如下：

  1. import requests
  2. import json

  4. url = "http://parsevideo.com/api.php?callback=jQuery1124039626883728769524_1546046324968"

  6. data = {
  7.     url: 'http://www.bilibili.com/video/av38148327',
  8.     hash: '18b21d17da5ff834c5058b9450d21459'

  10. }

  12. headers = {
  13.     'Accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
  14.     'Accept-Encoding': 'gzip, deflate',
  15.     'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
  16.     'Connection': 'keep-alive',
  17.     'Content-Length': '92',
  18.     'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
  19.     'Cookie': '_ga=GA1.2.1798389822.1546046046; PHPSESSID=7cd63583f1e5c95ad6a3ab161615acb6; _gid=GA1.2.348540794.1546146294; _gat=1; __atuvc=7%7C52; __atuvs=5c2851f5037ee8eb001',
  20.     'Host': 'parsevideo.com',
  21.     'Origin': 'http://parsevideo.com',
  22.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
  23.     'X-Requested-With': 'XMLHttpRequest'
  24. }
  25. params = {
  26.     'callback': 'jQuery112404036000642410289_1546146331353'
  27. }
  28. test = requests.post(url,params=params,headers=headers)
  29. r = test.status_code
  30. print(r)
  31. print(test.text)
  32. html =test.text
  33. print('html')
  34. print(html)

  36. html = html.lstrip('jQuery1124039626883728769524_1546046324968(').rstrip(');')
  37. print(html)
  38. dat = json.loads(html)
  39. print(dat)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

fishclove
 楼主| 发表于 2018-12-29 21:49:36 | 显示全部楼层
在网上搜索 看了好多帖子 还是没解决
求帮忙 谢谢
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

fishclove
 楼主| 发表于 2018-12-29 22:42:30 | 显示全部楼层
目前改了一下，有结果 但是返回的都是乱码
代码如下：
  1. import requests
  2. import json

  4. url = "https://www.parsevideo.com/api.php?callback=jQuery1124007030330478221525_1546150553014"

  6. data = {
  7.     url: 'http://www.bilibili.com/video/av38148327',
  8.     hash: '18b21d17da5ff834c5058b9450d21459'

  10. }

  12. headers = {
  13.     'authority': 'www.parsevideo.com',
  14.     'method': 'POST',
  15.     'path': '/api.php?callback=jQuery1124022369922868051262_1546150012304',
  16.     'scheme': 'https',
  17.     'accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
  18.     'accept-encoding': 'gzip, deflate, br',
  19.     'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
  20.     'content-length': '92',
  21.     'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
  22.     'cookie': '_ga=GA1.2.1798389822.1546046046; __cfduid=d7305f802fb5b22dfd3c61e5d8e3d91ba1545988790; _gid=GA1.2.348540794.1546146294',
  23.     'origin': 'https://www.parsevideo.com',
  24.     'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36',
  25.     'x-requested-with': 'XMLHttpRequest'
  26. }
  27. params = {
  28.     'callback': 'jQuery112404036000642410289_1546146331353'
  29. }
  30. print(1)
  31. test = requests.post(url,data = data,headers=headers)
  32. print(2)
  33. test.encoding ='UTF-8'
  34. r = test.status_code
  35. print(r)
  36. print(test.text)
  37. html =test.content
  38. html_doc = html.decode('utf-8','ignore')
  39. print('html')
  40. print(html_doc)


  43. html_doc = html_doc.lstrip('jQuery1124039626883728769524_1546046324968(').rstrip(');')
  44. html
  45. print(html)

  47. dat = json.loads(html)
  48. print(dat)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

fishclove
 楼主| 发表于 2018-12-29 22:43:42 | 显示全部楼层
目前改了下 有响应返回了 但是全是乱码。。
求指导。
  1. import requests
  2. import json

  4. url = "https://www.parsevideo.com/api.php?callback=jQuery1124007030330478221525_1546150553014"

  6. data = {
  7.     url: 'http://www.bilibili.com/video/av38148327',
  8.     hash: '18b21d17da5ff834c5058b9450d21459'

  10. }

  12. headers = {
  13.     'authority': 'www.parsevideo.com',
  14.     'method': 'POST',
  15.     'path': '/api.php?callback=jQuery1124022369922868051262_1546150012304',
  16.     'scheme': 'https',
  17.     'accept': 'text/javascript, application/javascript, application/ecmascript, application/x-ecmascript, */*; q=0.01',
  18.     'accept-encoding': 'gzip, deflate, br',
  19.     'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
  20.     'content-length': '92',
  21.     'content-type': 'application/x-www-form-urlencoded; charset=UTF-8',
  22.     'cookie': '_ga=GA1.2.1798389822.1546046046; __cfduid=d7305f802fb5b22dfd3c61e5d8e3d91ba1545988790; _gid=GA1.2.348540794.1546146294',
  23.     'origin': 'https://www.parsevideo.com',
  24.     'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36',
  25.     'x-requested-with': 'XMLHttpRequest'
  26. }
  27. params = {
  28.     'callback': 'jQuery112404036000642410289_1546146331353'
  29. }
  30. print(1)
  31. test = requests.post(url,data = data,headers=headers)
  32. print(2)
  33. test.encoding ='UTF-8'
  34. r = test.status_code
  35. print(r)
  36. print(test.text)
  37. html =test.content
  38. html_doc = html.decode('utf-8','ignore')
  39. print('html')
  40. print(html_doc)


  43. html_doc = html_doc.lstrip('jQuery1124039626883728769524_1546046324968(').rstrip(');')
  44. html
  45. print(html)

  47. dat = json.loads(html)
  48. print(dat)
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

fishclove
 楼主| 发表于 2018-12-29 22:44:24 | 显示全部楼层
为什么我的回复都看不到 没发出去吗？
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-12 17:43

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表