[已解决]爬虫标签

月魔同学

1. <div class="p-price">
   
2.        <strong class="J_100012820022" data-done="1">
   
3.         <em>￥</em><i>3298.00</i>
   
4.        </strong>
   
5.       </div>
   

复制代码

上面这个标签应该怎么找到3298.00，并且可以跳过<strong class="J_100012820022" data-done="1">？

1. price=[]
   
2.     price=soup.find_all('div',class_="p-price")
   
3.     for pri in price:
   
4.         price.append(pri.i)
   

复制代码

我是找到<div class="p-price">这个标签，然后pri.i直接找i这个节点，但是会报错AttributeError: 'NoneType' object has no attribute 'i'
price.append(pri.i.text)这样也会报错AttributeError: 'NoneType' object has no attribute 'text'
但是直接print(pri.i)却是有结果？
想知道原因？以及解决方法？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-9 17:13:17

月魔同学 发表于 2020-8-9 17:25

用 try-except 过滤下 None 的即可

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     headers = {
   
8.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
   
9.     res = requests.get(url, headers=headers)
   
10.     return res
    
11. 
    
12. 
    
13. def find_phone(res):
    
14.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
15. 
    
16.     # 手机名
    
17.     names = []
    
18.     name = soup.find_all('div', class_="p-name p-name-type-3")
    
19.     for each in name:
    
20.         names.append(each.a.em.text)
    
21. 
    
22.     # 价格
    
23.     price = []
    
24.     price = soup.find_all('div', class_="p-price")
    
25.     for pri in price:
    
26.         try:
    
27.             price.append(pri.i.text)
    
28.         except:
    
29.             pass
    
30.     # 将找到的每一页的内容放进result中
    
31.     result = []
    
32.     length = len(names)
    
33.     for i in range(length):
    
34.         result.append(names[i] + ':' + '\n' + str(price[i]) + '\n')
    
35.     return result
    
36. 
    
37. 
    
38. def main():
    
39.     result = []
    
40.     url = 'https://list.jd.com/list.html?cat=9987%2C653%2C655&page=1&s=1&click=0'
    
41.     res = open_url(url)
    
42.     result.extend(find_phone(res))
    
43. 
    
44.     with open("E:\京东手机.txt", "w", encoding="utf-8") as f:
    
45.         for each in result:
    
46.             f.write(each)
    
47. 
    
48.     time.sleep(1)
    
49. 
    
50. 
    
51. if __name__ == "__main__":
    
52.     main()

复制代码

跳转到最佳答案楼层

Twilight6

月魔同学 发表于 2020-8-9 17:25

用 try-except 过滤下 None 的即可

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     headers = {
   
8.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
   
9.     res = requests.get(url, headers=headers)
   
10.     return res
    
11. 
    
12. 
    
13. def find_phone(res):
    
14.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
15. 
    
16.     # 手机名
    
17.     names = []
    
18.     name = soup.find_all('div', class_="p-name p-name-type-3")
    
19.     for each in name:
    
20.         names.append(each.a.em.text)
    
21. 
    
22.     # 价格
    
23.     price = []
    
24.     price = soup.find_all('div', class_="p-price")
    
25.     for pri in price:
    
26.         try:
    
27.             price.append(pri.i.text)
    
28.         except:
    
29.             pass
    
30.     # 将找到的每一页的内容放进result中
    
31.     result = []
    
32.     length = len(names)
    
33.     for i in range(length):
    
34.         result.append(names[i] + ':' + '\n' + str(price[i]) + '\n')
    
35.     return result
    
36. 
    
37. 
    
38. def main():
    
39.     result = []
    
40.     url = 'https://list.jd.com/list.html?cat=9987%2C653%2C655&page=1&s=1&click=0'
    
41.     res = open_url(url)
    
42.     result.extend(find_phone(res))
    
43. 
    
44.     with open("E:\京东手机.txt", "w", encoding="utf-8") as f:
    
45.         for each in result:
    
46.             f.write(each)
    
47. 
    
48.     time.sleep(1)
    
49. 
    
50. 
    
51. if __name__ == "__main__":
    
52.     main()

复制代码

Twilight6

加上 .text 是没错的，你报错的原因是因为有的没有爬到数据，所以返回 None ，而你对 None 直接 .text 肯定会导致报错的

发个完整代码看看吧

月魔同学

Twilight6 发表于 2020-8-9 17:22
加上 .text 是没错的，你报错的原因是因为有的没有爬到数据，所以返回 None ，而你对 None 直接 .text  ...

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. def open_url(url):
   
6.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
   
7.     res = requests.get(url, headers=headers)
   
8.     return  res
   
9. 
   
10. def find_phone(res):
    
11.     soup=bs4.BeautifulSoup(res.text, 'html.parser')
    
12. 
    
13.     #手机名
    
14.     names=[]
    
15.     name=soup.find_all('div',class_="p-name p-name-type-3")
    
16.     for each in name:
    
17.         names.append(each.a.em.text)
    
18.         
    
19. 
    
20.     #价格
    
21.     price=[]
    
22.     price=soup.find_all('div',class_="p-price")
    
23.     for pri in price:
    
24.         price.append(pri.i.text)
    
25.         
    
26. 
    
27.     #将找到的每一页的内容放进result中
    
28.     result = []
    
29.     length = len(names)
    
30.     for i in range(length):
    
31.         result.append(names[i]+':'+'\n'+price[i] + '\n')
    
32.     return result   
    
33. 
    
34. 
    
35. def main():
    
36.     result=[]
    
37.     url='https://list.jd.com/list.html?cat=9987%2C653%2C655&page=1&s=1&click=0'
    
38.     res = open_url(url)
    
39.     result.extend(find_phone(res))
    
40.    
    
41.     with open("E:\京东手机.txt", "w", encoding="utf-8") as f:
    
42.         for each in result:
    
43.             f.write(each)
    
44. 
    
45.     time.sleep(1)
    
46.         
    
47. if __name__ == "__main__":
    
48.     main()
    

复制代码

月魔同学

Twilight6 发表于 2020-8-9 17:36
用 try-except 过滤下 None 的即可

是因为找到的有几个是None吗？所以过滤掉报错的信息

Twilight6

月魔同学 发表于 2020-8-9 17:42
是因为找到的有几个是None吗？所以过滤掉报错的信息

嗯 None 不能 .text