[已解决]关于爬虫读取html标签的疑问~请大家帮忙看看，谢谢！

wrpython

先贴上要请教的代码：

1. import requests
   
2. import bs4
   
3. res = requests.get('https://movie.douban.com/top250')
   
4. soup = bs4.BeautifulSoup(res.text,'html.parser')
   
5. targets = soup.find_all('div',class_='hd')
   
6. for each in targets:
   
7.     print(each.a.span.text)
   

复制代码

这是小甲鱼视频《爬取豆瓣TOP250电影排行榜》 中的代码。对于最后一段代码“print(each.a.span.text)”， 我有个疑问。

我在查看了这个网页中对应元素时发现<div class="hd">下面不仅仅只有一个span，而是有3个span,详见截图

                               
登录/注册后可看大图

我们在输出时只输出了<span class=''title''>这部分内容，如果我要输出另外两个span的话应该如何修改代码呢???

最佳答案

月排行榜 / 总排行榜

wp231957

2019-4-19 09:38:00

1. # coding: utf-8
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. if __name__ == '__main__':
   
7.   url="https://movie.douban.com/top250"
   
8.   response = etree.HTML(requests.get(url=url).text)
   
9.   rlen = response.xpath("//div[@class='article']/ol/li")
   
10.   for i in range(1,len(rlen)+1):
    
11.     ls=[]
    
12.     for j in range(1,4):
    
13.       path1 = response.xpath("//div[@class='article']/ol/li[%d]/div/div[2]/div[1]/a/span[%d]"%(i,j))
    
14.       try:
    
15.         out = "".join(path1[0].text.split())  #去除\Xa0 或是 &nbsp;
    
16.         ls.append(out)
    
17.       except:   
    
18.         continue
    
19.     print(ls)      

复制代码

跳转到最佳答案楼层

wp231957

soup =  ？？？

wrpython

哦，我现在还不能上传图片，我复制html的元素在这里吧.
<span class="title">肖申克的救赎</span>
<span class="title>/The Shawshank Redemption</span>
<span class="other">/月黑高飞(港)  /  刺激1995(台)</span>

我们输出的语句只输出了肖申克的救赎，如果我要输出英文名和港台名应该如何修改代码呢？

wrpython

wp231957 发表于 2019-4-19 08:30
soup =  ？？？

soup = bs4.BeautifulSoup(res.text,'html.parser')

不知道怎么格式不正确了...

wp231957

使用xpath吧  

wp231957

1. # coding: utf-8
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. if __name__ == '__main__':
   
7.   url="https://movie.douban.com/top250"
   
8.   response = etree.HTML(requests.get(url=url).text)
   
9.   rlen = response.xpath("//div[@class='article']/ol/li")
   
10.   for i in range(1,len(rlen)+1):
    
11.     ls=[]
    
12.     for j in range(1,4):
    
13.       path1 = response.xpath("//div[@class='article']/ol/li[%d]/div/div[2]/div[1]/a/span[%d]"%(i,j))
    
14.       try:
    
15.         out = "".join(path1[0].text.split())  #去除\Xa0 或是 &nbsp;
    
16.         ls.append(out)
    
17.       except:   
    
18.         continue
    
19.     print(ls)      

复制代码

mongoole

1. each.a.get_text()

复制代码

cwhsmile

第五行改成targets = soup.find_all('div')试试

wrpython

wp231957 发表于 2019-4-19 09:38

谢谢!

wrpython

mongoole 发表于 2019-4-19 09:57

十分感谢，这样也能取出全部的内容;-)

wrpython

cwhsmile 发表于 2019-4-19 10:05
第五行改成targets = soup.find_all('div')试试

这样不行哦，会报错

Traceback (most recent call last):
  File "C:\Users\WENrui\Desktop\Python\pachong-top250.py", line 36, in <module>
    print(each.a.span.text)
AttributeError: 'NoneType' object has no attribute 'text'