soup.find_all使用

令狐陈

鱼友好

     不懂就问哈


我在爬取交易所里指标（DMI）的数据，不知道如何应用soup.find_all这个（看了说明，可惜基础知识不足哈 ），大佬指导。（新手，有可能代码有问题哈）

目标网址：https://www.binance.com/zh-CN/futures/ETHUSDT

------目标数据：


------代码：


------print 无反应：



大佬指导哈！！！

wp231957

bs4仅限于静态解析，所以你应该先判断一下
你要的信息是静态的还是动态的

令狐陈

wp231957 发表于 2022-9-7 18:35
bs4仅限于静态解析，所以你应该先判断一下
你要的信息是静态的还是动态的

那应该是动态的，随着时间的变化，数值就变化。
动态的应该怎么获取呢？

ZhKQYu

令狐陈 发表于 2022-9-8 08:53
那应该是动态的，随着时间的变化，数值就变化。
动态的应该怎么获取呢？

f12->network 看看里面有没有对应的接口

suchocolate

贴代码

ZhKQYu

令狐陈 发表于 2022-9-8 08:53
那应该是动态的，随着时间的变化，数值就变化。
动态的应该怎么获取呢？

而且貌似国内无法访问，国外网站吧

令狐陈

ZhKQYu 发表于 2022-9-8 09:16
f12->network 看看里面有没有对应的接口

我同事跟我说， 指标数据是前端实时计算出来的（只保存价格，通过价格和算法计算而得），后端没有存储指标数据的。我已经咨询了交易所，等那边回复吧。，学python就是为了爬数据做分析的。

令狐陈

suchocolate 发表于 2022-9-8 09:16
贴代码

问了交易所那边，指标数据确实是前端实时计算出来的。后端没有储存。估计爬不到。

suchocolate

令狐陈 发表于 2022-9-8 10:35
问了交易所那边，指标数据确实是前端实时计算出来的。后端没有储存。估计爬不到。

能看到就能爬，如果是实时变动，那么爬的结果就是那一刻的数据。
贴代码，没空手输你的图片里的代码。

令狐陈

suchocolate 发表于 2022-9-8 11:23
能看到就能爬，如果是实时变动，那么爬的结果就是那一刻的数据。
贴代码，没空手输你的图片里的代码。

感谢您的帮忙哈！！

源码放.txt文件里，也放了源码截图。

指标源码.rar (212.47 KB, 下载次数: 1)

2022-9-9 14:02 上传

点击文件名下载附件

ZhKQYu

令狐陈 发表于 2022-9-9 14:03
感谢您的帮忙哈！！

源码放.txt文件里，也放了源码截图。

selenium试试这个库吧  可能能解决你的问题

令狐陈

ZhKQYu 发表于 2022-9-9 18:31
selenium试试这个库吧  可能能解决你的问题

非常感谢你的指点。
不过这涉及到我这新手的又一个盲区了，哈哈。
大致看了一下，貌似可以达到我的要求，我会认真学习的 ，再次感谢！

suchocolate

令狐陈 发表于 2022-9-9 14:03
感谢您的帮忙哈！！

源码放.txt文件里，也放了源码截图。

贴你写的代码，那个压缩包里没有。
请别人帮忙，他们得复现问题，复现问题得有代码，请用<>发代码.

令狐陈

suchocolate 发表于 2022-9-10 08:01
贴你写的代码，那个压缩包里没有。
请别人帮忙，他们得复现问题，复现问题得有代码，请用发代码.

误解上面意思了，代码如下：

1. ### 爬取ADX ###
   
2. 
   
3. 
   
4. import urllib.request,urllib.error
   
5. import re
   
6. from bs4 import BeautifulSoup
   
7. import xlwt
   
8. 
   
9. 
   
10. def main():
    
11.     baseurl = "https://www.binance.com/zh-CN/futures/ETHUSDT"
    
12.     #爬取网页
    
13.     datalist = getData(baseurl)
    
14. 
    
15. #爬取网页
    
16. def getData():
    
17.     datalist=[]  #h获取地址中的数据封装成列表，并将数据返回
    
18.     html=askURL(url)  #将获取的网页源码保存到HTML中
    
19. 
    
20.         #逐一解析数据
    
21.     soup = BeautifulSoup(html,"html.parser")  #html.parser是网页解析器
    
22.     for item in soup.find_all('div',class_ = "chart-title-indicator-container"):
    
23.         print(item)
    
24.    
    
25.     return datalist
    
26. 
    
27. 
    
28. #获取指定一个网页的内容的方法
    
29. 
    
30. def askURL(url):
    
31.     #伪装成网页的形式
    
32.     headers = {
    
33.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36"
    
34.     }
    
35.     requests = urllib.request.Request(url=url,headers=headers)
    
36.     html=""  #存放到html中
    
37.     #防止出现意外
    
38.     try:
    
39.         response = urllib.request.urlopen(requests)
    
40.         html = response.read().decode("utf-8")   #读取response
    
41.     except urllib.error.URLError as e :  #捕获404 500等浏览器错误
    
42.         if hasattr(e,"code"):
    
43.             print(e.code)
    
44.         if hasattr(e,"reasin"):
    
45.             print(e.reason)
    
46.     return html

复制代码