爬虫问题。用xpath插件能查询到内容，但用爬虫程序爬出来的是空的列表

wk934530

                               
登录/注册后可看大图

import requests
from lxml import etree
import os

if __name__ == "__main__":

    url = 'http://quote.eastmoney.com/center/gridlist.html#hs_a_board'
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'}

    response = requests.get(url=url,headers=headers)
    stocks_text = response.text

    tree = etree.HTML(stocks_text)
    ls_list = tree.xpath('//*[@id="table_wrapper-table"]')
    for td in ls_list:
        id = td.xpath('.//tr/td[2]/a/text()')
        name = td.xpath('.//tr/td[3]/a')
        #delivery = td.xpath('./td[9]/a/text()')

        print(id,name)

suchocolate

数据在其他请求里，这个爬取估计你的用selenium。

import requests


if __name__ == "__main__":
    url = 'http://86.push2.eastmoney.com/api/qt/clist/get?cb=jQuery1124042877305978362634_1638009527518&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1638009527519'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'}
    r = requests.get(url=url, headers=headers)
    print(r.text)

wk934530

suchocolate 发表于 2021-11-27 18:47
数据在其他请求里，这个爬取估计你的用selenium。

好嘞，谢谢。requests是没有办法爬出来吗

suchocolate

wk934530 发表于 2021-11-27 22:10
好嘞，谢谢。requests是没有办法爬出来吗

requests能爬是能爬出来，但是上面的url的生成方式不好办，得分析一下网页，可能要用逆向js相关的技术，才能知道上面的url是如何生成的，我在html没搜到上面的url，应该是浏览器根据js生成的。

mongoole

自己要抓包分析一下：
"http://68.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112400238512513163176_1638175880651&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1638175880652"

代码小白liu

mongoole 发表于 2021-11-29 16:55
自己要抓包分析一下：
"http://68.push2.eastmoney.com/api/qt/clist/get?cb=jQuery112400238512513163176 ...

像这种怎么去抓包分析出来这个地址呀 ，麻烦能讲一下么

mongoole

代码小白liu 发表于 2021-12-2 20:49
像这种怎么去抓包分析出来这个地址呀 ，麻烦能讲一下么

chrome浏览器，F12。抓包工具fiddler，都可以，，刚开始就一条条去看，时间长了有经验就可以节省很多时间

Stubborn

截取两次请求，目测是pn是翻页函数，get请求，payload表单

url = 'http://38.push2.eastmoney.com/api/qt/clist/get?'
requests.get(url=url, data=json.dumps({}), headers=headers)

#!/usr/bin/env python
# -*- coding: utf-8 -*-


txt = """
cb: jQuery112403713310545920947_1638505060052
pn: 2
pz: 20
po: 1
np: 1
ut: bd1d9ddb04089700cf9c27f6f7426281
fltt: 2
invt: 2
fid: f3
fs: m:0 t:6,m:0 t:80,m:1 t:2,m:1 t:23,m:0 t:81 s:2048
fields: f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152
_: 1638505060057
"""


t = """
cb: jQuery112403713310545920947_1638505060054
pn: 3
pz: 20
po: 1
np: 1
ut: bd1d9ddb04089700cf9c27f6f7426281
fltt: 2
invt: 2
fid: f3
fs: m:0 t:6,m:0 t:80,m:1 t:2,m:1 t:23,m:0 t:81 s:2048
fields: f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152
_: 1638505060083
"""

Stubborn

代码小白liu 发表于 2021-12-2 20:49
像这种怎么去抓包分析出来这个地址呀 ，麻烦能讲一下么

抓想要的数据，点击就可以，比如当前页面数据，需要翻页，点击下一页，单独抓下一页的url，对比一下翻页的规律