[已解决]如何用爬虫抓取网页表格中的数据

John2430

如何用爬虫抓取网页表格中某个单元格的数据，比如抓取图中“动力煤ZC”价格“593.00”？

最佳答案

月排行榜 / 总排行榜

新手·ing

2017-9-23 21:53:59

去学学爬虫吧
requests+beautifulsoup4
很简单

跳转到最佳答案楼层

新手·ing

网站

小人

用正则匹配出来

John2430

新手·ing 发表于 2017-9-23 11:44
网站

http://www.100ppi.com/sf/day-2017-01-04.html

新手·ing

去学学爬虫吧
requests+beautifulsoup4
很简单

John2430

新手·ing 发表于 2017-9-23 21:53
去学学爬虫吧
requests+beautifulsoup4
很简单

根据你的提示，我写了一下代码：

1. import requests
   
2. import bs4
   
3. 
   
4. req=requests.get('http://www.100ppi.com/sf/day-2017-01-04.html')
   
5. html=req.text
   
6. soup=bs4.BeautifulSoup(html,'html.parser')
   
7. soup.prettify()
   
8. node=soup.find('a',attrs={'style':'color:#21469f;'},string="动力煤ZC")
   
9. prePrice=node.next_element.next_element.next_element.string
   
10. neaPrice=prePrice.next_element.next_element.next_element.next_element.next_element.next_element.string
    
11. farPrice=neaPrice.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.next_element.string
    
12. print (prePrice,neaPrice,farPrice)

复制代码

虽然实现了功能，但是感觉不完美，还望高手耐心指教！

新手·ing

John2430 发表于 2017-9-24 14:54
根据你的提示，我写了一下代码：

虽然实现了功能，但是感觉不完美，还望高手耐心指教！

妙啊，我也在学这两个库

新手·ing

1. import requests
   
2. from bs4 import BeautifulSoup as bs
   
3. 
   
4. doc = requests.get('http://www.100ppi.com/sf/day-2017-01-04.html').content
   
5. soup = bs(doc, 'html.parser')
   
6. 
   
7. for link in soup.find_all('tr', align = 'center'):
   
8.     print(link.text)

复制代码

picky_girl

1. import urllib.request as ur
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. url=r'http://www.100ppi.com/sf/day-2017-01-04.html'
   
5. header={'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'}
   
6. req=ur.Request(url=url,headers=header)
   
7. html=ur.urlopen(req).read().decode('utf-8')
   
8. soup=BeautifulSoup(html,'html.parser')
   
9. tab=soup.find_all('table')
   
10. trs=soup.find_all('tr',align='center')
    
11. trs1=str(trs)
    
12. print(trs1)
    
13. res2=r'<td><a  style="color:#21469f;" target="_blank">(.*?)</a></td>\n<td>(.*?)</td>\n<td>(.*?)</td>\n<td>(.*?)</td>\n<td>\n<table width="100%"><tr><td align="center" width="50%"><font color=.*?>(.*?)</font></td><td align="center" width="50%"><font color=.*?>(.*?)</font></td></tr></table>\n</td>'
    
14. l=re.findall(res2,trs1,re.S|re.M)
    
15. l

复制代码

picky_girl

picky_girl 发表于 2018-4-10 00:26

弄出来了，但是不知道怎么把它生成表格形式，求大神指导