[已解决]Python爬虫获取元素

编程小白艾雪儿

网站元素如图，求问如何爬取股票代码000001

1. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.52'}
   
2. def downHtml(url):
   
3.     res=requests.get(url,headers=headers)
   
4.     #头等信息
   
5.     html=res.text
   
6.     return html
   
7. html = downHtml("http://quote.eastmoney.com/stocklist.html#sz")
   
8. 
   
9. soup = BeautifulSoup(html, 'html.parser', from_encoding='gbk')
   
10. div = soup.find('div', attrs={'class': 'listview full'})
    
11. lis = div.find_all('td')
    
12. names = []
    
13. for li in lis:
    
14.     a = li.find('a')
    
15.     name = a.text
    
16.     names.append(name)

复制代码

最佳答案

月排行榜 / 总排行榜

cflying

2022-10-31 22:50:33

如果不想麻烦的话，通过浏览器模拟来爬出来，然后pandas也基本可以达到这个效果
这网站前几年都直接是静态表格，改成动态应该也是1年内的事情

1. from playwright.sync_api import sync_playwright
   
2. import pandas as pd
   
3. 
   
4. with sync_playwright() as p:
   
5.     browser = p.chromium.launch()
   
6.     context = browser.new_context()
   
7.     page = context.new_page()
   
8.     page.goto('http://quote.eastmoney.com/center/gridlist.html')
   
9.     tables=pd.read_html(page.content())
   
10.     print(tables[0])

复制代码

跳转到最佳答案楼层

fcage

这个不能直接请求网页，这是动态请求的
你查看页面源代码就知道，里面没有你要的数据

你要打开开发者工具去抓包，直接搜你要的那个东西，可以找到你实际要请求的链接，它是一串JSON数据

zhangjinxuan

楼上正解

zyr1

楼上厉害

1molHF

楼上厉害

ll.pc

可以用xpath或者css

枭哓笑

谢谢楼主分享

cflying

如果不想麻烦的话，通过浏览器模拟来爬出来，然后pandas也基本可以达到这个效果
这网站前几年都直接是静态表格，改成动态应该也是1年内的事情

1. from playwright.sync_api import sync_playwright
   
2. import pandas as pd
   
3. 
   
4. with sync_playwright() as p:
   
5.     browser = p.chromium.launch()
   
6.     context = browser.new_context()
   
7.     page = context.new_page()
   
8.     page.goto('http://quote.eastmoney.com/center/gridlist.html')
   
9.     tables=pd.read_html(page.content())
   
10.     print(tables[0])

复制代码

平凡之路1314

谢谢楼主分享

wangyanren

只想领个币

diffuse

谢谢楼主分享