Python爬虫find_all问题

编程小白艾雪儿

求助555
想要从东方财富爬取股票列表，遇到了'NoneType' object has no attribute 'find_all'问题，尝试多种方法无果（使用header、find添加 ‘attrs=’等）

1. import requests
   
2. import os
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. 
   
6. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.52'}
   
7. # 获取网址url 对应的Html文本信息 的函数
   
8. def downHtml(url):
   
9.     res=requests.get(url,headers=headers)
   
10.     #头等信息
    
11.     html=res.text
    
12.     return html
    
13. 
    
14. 
    
15. def parseHtml(html):
    
16.     # 设置编码格式GBK 避免控制台打印乱码
    
17.     soup = BeautifulSoup(html, 'html.parser', from_encoding='gbk')
    
18.     # 得到 <div id="quotesearch">  标签对应的内容
    
19.     div = soup.find('div', attrs={'id': 'quotesearch'})
    
20.     # 得到 <div> 标签下的所有 <li>标签内容
    
21.     lis = div.find_all('li')
    
22.     # 定义一个存股票名字的 列表
    
23.     names = []
    
24.     # 循环遍历 <li>标签
    
25.     for li in lis:
    
26.         # 此时得到的是<a>标签的所有内容
    
27.         # 示例：<a href="http://quote.eastmoney.com/sh201000.html" target="_blank">R003(201000)</a>,
    
28.         a = li.find('a', attrs={'target': '_blank'})
    
29.         # 此时才是得到<a> 标签内 对应的值 即股票名字及其代码 示例:'广州发展(600098)'
    
30.         name = a.text
    
31.         # 将名字 添加进names列表中
    
32.         names.append(name)
    
33.     return names
    
34. 
    
35. 
    
36. # 保存数据
    
37. def saveData(names):
    
38.     # 存储数据得文件夹
    
39.     file_dir = 'C:/Users/lq110/Desktop/研究生/4 Python与金融量化/第一次作业'
    
40.     # 存储数据得文件名
    
41.     file_name = 'StockName.txt'
    
42.     # 拼接一个完整得路径
    
43.     file = os.path.join(file_dir, file_name)
    
44.     # 如果此文件夹路径不存在，就创建文件夹
    
45.     if not os.path.exists(file_dir):
    
46.         os.makedirs(file_dir)
    
47.     # 打开一个文件，如果不存在 则创建该文件
    
48.     with open(file, 'w') as fileObj:
    
49.         # 将名字列表 names 拼接为一个字符串 并以 换行符'\n' 分隔
    
50.         fileObj.write('\n'.join(names))
    
51. 
    
52. 
    
53. # 主函数
    
54. if __name__ == '__main__':
    
55.     # 打印网址对应 的html文本信息
    
56.     html = downHtml("http://quote.eastmoney.com/stocklist.html#sz")
    
57.     stockName = parseHtml(html)
    
58.     saveData(stockName)

复制代码

wp231957

lis = div.find_all('li')
狠明显的错误啊，div没有取到数据

编程小白艾雪儿

wp231957 发表于 2022-10-28 12:22
lis = div.find_all('li')
狠明显的错误啊，div没有取到数据

嗯嗯，确实是这里的问题
就是不晓得该如何解决，按说是应该提取到数据的

specail

动态获取的数据，你去静态页面搜当然没有了。
http://76.push2.eastmoney.com/ap ... p;invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1666941778433
这个连接获取的。参数自己去测试吧

tiger20100907

大鹏展翼

kerln888