编程小白艾雪儿 发表于 2022-10-28 12:08:30

Python爬虫find_all问题

求助555
想要从东方财富爬取股票列表，遇到了'NoneType' object has no attribute 'find_all'问题，尝试多种方法无果（使用header、find添加 ‘attrs=’等）

import requests
import os
from bs4 import BeautifulSoup


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.52'}
# 获取网址url 对应的Html文本信息 的函数
def downHtml(url):
    res=requests.get(url,headers=headers)
    #头等信息
    html=res.text
    return html


def parseHtml(html):
    # 设置编码格式GBK 避免控制台打印乱码
    soup = BeautifulSoup(html, 'html.parser', from_encoding='gbk')
    # 得到 <div id="quotesearch">标签对应的内容
    div = soup.find('div', attrs={'id': 'quotesearch'})
    # 得到 <div> 标签下的所有 <li>标签内容
    lis = div.find_all('li')
    # 定义一个存股票名字的 列表
    names = []
    # 循环遍历 <li>标签
    for li in lis:
      # 此时得到的是<a>标签的所有内容
      # 示例：<a href="http://quote.eastmoney.com/sh201000.html" target="_blank">R003(201000)</a>,
      a = li.find('a', attrs={'target': '_blank'})
      # 此时才是得到<a> 标签内 对应的值 即股票名字及其代码 示例:'广州发展(600098)'
      name = a.text
      # 将名字 添加进names列表中
      names.append(name)
    return names


# 保存数据
def saveData(names):
    # 存储数据得文件夹
    file_dir = 'C:/Users/lq110/Desktop/研究生/4 Python与金融量化/第一次作业'
    # 存储数据得文件名
    file_name = 'StockName.txt'
    # 拼接一个完整得路径
    file = os.path.join(file_dir, file_name)
    # 如果此文件夹路径不存在，就创建文件夹
    if not os.path.exists(file_dir):
      os.makedirs(file_dir)
    # 打开一个文件，如果不存在 则创建该文件
    with open(file, 'w') as fileObj:
      # 将名字列表 names 拼接为一个字符串 并以 换行符'\n' 分隔
      fileObj.write('\n'.join(names))


# 主函数
if __name__ == '__main__':
    # 打印网址对应 的html文本信息
    html = downHtml("http://quote.eastmoney.com/stocklist.html#sz")
    stockName = parseHtml(html)
    saveData(stockName)

wp231957 发表于 2022-10-28 12:22:46

lis = div.find_all('li')
狠明显的错误啊，div没有取到数据

编程小白艾雪儿 发表于 2022-10-28 12:33:09

wp231957 发表于 2022-10-28 12:22
lis = div.find_all('li')
狠明显的错误啊，div没有取到数据

嗯嗯，确实是这里的问题
就是不晓得该如何解决，按说是应该提取到数据的{:10_266:}

specail 发表于 2022-10-28 15:25:38

动态获取的数据，你去静态页面搜当然没有了。
http://76.push2.eastmoney.com/api/qt/clist/get?cb=jQuery1124014555041141775726_1666941778432&pn=1&pz=20&po=1&np=1&ut=bd1d9ddb04089700cf9c27f6f7426281&fltt=2&invt=2&wbp2u=|0|0|0|web&fid=f3&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23,m:0+t:81+s:2048&fields=f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152&_=1666941778433
这个连接获取的。参数自己去测试吧

tiger20100907 发表于 2022-10-28 17:14:51

{:10_279:}

大鹏展翼 发表于 2022-10-29 08:02:24

{:5_102:}

kerln888 发表于 2022-10-29 08:17:52

{:10_256:}{:10_256:}{:10_256:}{:10_256:}
页: [1]
查看完整版本: Python爬虫find_all问题