[已解决]爬虫爬出的数据为空数据

学知识拯救世界 · 发表于 2021-1-2 10:32:53

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

# 导入包
import requests
from lxml import etree
import json

if __name__ == '__main__':
target = ['中证消费'
            ]
session = requests.Session()

# 登录地址
url = 'https://www.lixinger.com/api/account/sign-in/by-account'

# UA
headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}

data = {
      'accountName': "abcdely",
      'password': "abcdely66"
}
response = session.post(url=url, headers=headers, data=data)
print(response.status_code)

value_url = 'https://www.lixinger.com/api/analyt/company/price-metrics/get-price-metrics-chart-info'

headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}
#  在这个后面加入数据进行数据传输
value_param = {
      "stockIds": ['601688', "601688"],
      "granularity": "y10",
      "leftMetricNames": {
         "0", 'pb_wo_gw'
      },
      "rightMetricNames": {
         "0", 'lxr_fc_rights'
      }
}
value_response = session.post(url=value_url, headers=headers, data=value_param).text
# print(value_response)
lst = json.loads(value_response)
# lst 中的数据为{}
print(lst)

最佳答案

月排行榜 / 总排行榜

kaohsing

2021-1-4 09:42:52

本帖最后由 kaohsing 于 2021-1-4 09:44 编辑

跳转到最佳答案楼层

suchocolate · 发表于 2021-1-2 12:54:21

本帖最后由 suchocolate 于 2021-1-2 13:09 编辑

value_url 这个url是从哪个操作得到的，我们分析一下提交的参数。

学知识拯救世界 · 发表于 2021-1-2 13:37:38

suchocolate 发表于 2021-1-2 12:54
value_url 这个url是从哪个操作得到的，我们分析一下提交的参数。

value_response = session.post(url=value_url, headers=headers, data=value_param).text

学知识拯救世界 · 发表于 2021-1-2 13:38:47

suchocolate 发表于 2021-1-2 12:54
value_url 这个url是从哪个操作得到的，我们分析一下提交的参数。

value_url = 'https://www.lixinger.com/api/analyt/company/price-metrics/get-price-metrics-chart-info'

学知识拯救世界 · 发表于 2021-1-2 13:40:06

对应获取url的网址

Daniel_Zhang · 发表于 2021-1-2 18:05:44

suchocolate · 发表于 2021-1-2 20:01:44

学知识拯救世界发表于 2021-1-2 13:40
对应获取url的网址

你是点击了什么触发了这个url发访问，我这里没有？

心驰神往 · 发表于 2021-1-3 08:47:19

尴尬

bonst · 发表于 2021-1-3 18:24:10

你打印一下value_response的内容和长度看看,debug一下还是能解决很多问题的

more_ · 发表于 2021-1-3 18:51:45

前来学习

记忆的欠片 · 发表于 2021-1-3 22:33:10

看你的注释是有登录操作吧，那数据获取时需不要需要Cookies？
分析请求头，该有的都要有

kaohsing · 发表于 2021-1-4 08:02:22

贴出网址，以及需要的数据。

kaohsing · 发表于 2021-1-4 09:42:52

这个最佳答案由 kaohsing 给出，感谢 kaohsing 的回答。

单击隐藏图章

本帖最后由 kaohsing 于 2021-1-4 09:44 编辑

z5560636 · 发表于 2021-1-4 10:21:11

bhcqzf · 发表于 2021-1-4 11:04:47

不懂帮顶

小古比鱼 · 发表于 2021-1-4 17:29:08

账号		自动登录	找回密码
密码			立即注册

[已解决]爬虫爬出的数据为空数据

马上注册，结交更多好友，享用更多功能^_^

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币

回帖奖励 +1 鱼币