[已解决]爬虫 关于网页解析的问题

RIXO

在爬取网页的时候遇到这样的情况

1.                         <tbody>
   
2.                                         <tr>
   
3.                                             <td class="td1"><a href="//q.stock.sohu.com/cn/dxph_sy.shtml" target=_blank>每股收益</a></td>
   
4.                                                 <td class="td2">0.73</td>
   
5.                                                 <td class="td3 red">10.71</td>
   
6.                                                 <td class="td4 green">-123.70</td>
   
7.                                         </tr>
   
8.                                         <tr>
   
9.                                             <td class="td1"><a href="//q.stock.sohu.com/cn/dxph_jzc.shtml" target=_blank>每股净资产</a></td>
   
10.                                             <td class="td2">5.12</td>
    
11.                                             <td class="td3 green">-44.99</td>
    
12.                                             <td class="td4 ">-</td>
    
13.                                         </tr>
    
14. 
    

复制代码

这里有两个<tr>标签      我现在想要爬取的是<td class="td2">0.73</td>    中0.73的那个数字，也就是每股收益    但是有class = 'td2'属性的td标签相当多，如果直接爬会导致不知道目标的数值在哪里，但如果根据  每股收益  这个 内容爬，又爬到的是<td class="td1"><a href="//q.stock.sohu.com/cn/dxph_sy.shtml" target=_blank>每股收益</a></td>这个标签，请问如何解决？

我的解决方案特别复杂。。。。希望找个简单的
我自己代码如下

1. import requests,  openpyxl
   
2. from bs4 import BeautifulSoup
   
3. def has_id(tag):
   
4.      if '每股收益' in tag.stripped_strings:
   
5.           return True
   
6.      else:
   
7.           return False
   
8. url = 'http://q.stock.sohu.com/cn/002737/index.shtml'
   
9. r = requests.get(url,headers=headers)
   
10. r.encoding = 'gbk'
    
11. soup = BeautifulSoup(r.text,'lxml')
    
12. tags = soup.find_all('tr')
    
13. for tr in tags:
    
14.     tag = tr.find(has_id)
    
15.     if tag:
    
16.          per_earning =tag.parent.find(class_='td2').string
    
17.     break

复制代码

最佳答案

月排行榜 / 总排行榜

幽梦三影

2018-9-29 19:29:24

xpath多简单//tr/td[@class="td2"][2]

跳转到最佳答案楼层

幽梦三影

xpath多简单//tr/td[@class="td2"][2]

RIXO

幽梦三影 发表于 2018-9-29 19:29
xpath多简单//tr/td[@class="td2"][2]

呃，为啥是2呢，不应该是1吗

塔利班

每股收益的next_sibling

RIXO

幽梦三影 发表于 2018-9-29 19:29
xpath多简单//tr/td[@class="td2"][2]

兄弟，这个和我想的不太一样，用python怎么实现这段代码

幽梦三影

RIXO 发表于 2018-9-29 20:04
兄弟，这个和我想的不太一样，用python怎么实现这段代码

这个默认从1开始，xpath是很好用的
from lxml import etree
select = etree.HTML(html)
select.xpath(表达式)

RIXO

幽梦三影 发表于 2018-9-29 20:20
这个默认从1开始，xpath是很好用的
from lxml import etree
select = etree.HTML(html)

为啥我返回的是个这个东西啊[<Element span at 0x27ee3aa2fc8>]

RIXO

幽梦三影 发表于 2018-9-29 20:20
这个默认从1开始，xpath是很好用的
from lxml import etree
select = etree.HTML(html)

我代码这样的

1. import requests
   
2. from lxml import etree
   
3. url = 'http://q.stock.sohu.com/cn/002737/index.shtml'
   
4. r = requests.get(url)
   
5. 
   
6. html = etree.HTML(r.text)
   
7. a = html.xpath('//*[@id="FT_priceA2"]/tbody/tr[1]/td[1]/span')
   
8. print(a)

复制代码

RIXO

塔利班 发表于 2018-9-29 19:54
每股收益的next_sibling

我试过了，返回值为空值，你可以试一试

幽梦三影

RIXO 发表于 2018-9-29 20:37
我试过了，返回值为空值，你可以试一试

后面加个/text()