[已解决]055课后作业 爬取 猪八戒 题目 求助

Cminglyer

1. target_class = soup.find(True,{"class":["polysemantList-wrapper cmn-clearfix","main-content"]})
   
2. 
   
3. target_url = target_class.find_all("a",href=True)
   
4. 
   

复制代码

我在写055 课后作业，其中有个问，如何实现 使用soup.find 在 多个 class 内查找内容？

以上代码我想实现的是  在 class : "polysemantList-wrapper cmn-clearfix"   和  class :"main-content"  中，提取出 href 内容。   以上函数无法实现，只能得出第一个class 的内容。

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-5-21 22:47:23

要find_all吧？

跳转到最佳答案楼层

469945059

用正则吧

Twilight6

要find_all吧？

Cminglyer

自己回复自己：

昨天的问题，今天晚上搞明白了，055课后作业，原答案的代码也有些功能无法实现，自己写的如下，有些乱，但基本可以实现功能：

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. keyword = input("请输入关键字：")
   
7. 
   
8. keyword_new = urllib.parse.quote(keyword)
   
9. 
   
10. url = "https://baike.baidu.com/item/{}".format(keyword_new)
    
11. 
    
12. response = urllib.request.urlopen(url)
    
13. 
    
14. html = response.read().decode("utf-8")
    
15. 
    
16. soup = BeautifulSoup(html,"html.parser")
    
17. 
    
18. content1 = soup.find("dd",class_ = "lemmaWgt-lemmaTitle-title")
    
19. 
    
20. title1 = content1.find("h1").string
    
21. title2 = content1.find("h2").string
    
22. 
    
23. content2 = soup.find("div",class_ = "lemma-summary").text
    
24. 
    
25. print(title1,title2)
    
26. print("\n",content2)
    
27. 
    
28. 
    
29. print("下面打印相关链接：")
    
30. 
    
31. target_class = soup.find_all(True,{"class":["polysemantList-wrapper cmn-clearfix","main-content"]})   # 处理两个class类，输出的target_class 是含2个大列表的列表
    
32. target_url_temp =[]
    
33. target_url =[]
    
34. 
    
35. for each_class in target_class:   # 对target_class 含的2个大列表进行分别处理
    
36.     target_url_temp.append(each_class.find_all("a",href=True))    # target_url_temp 是含2个大列表的列表
    
37. 
    
38. for each in target_url_temp[0]:
    
39.     target_url.append(each)      # 对于target_url_temp 内的每个大列表中的元素，提取出来，导入进target_url
    
40. 
    
41. for each in target_url_temp[1]:
    
42.     target_url.append(each)
    
43. 
    
44. # 以上操作后，target_url 就成为了一个列表，里面每个元素都是上面提到的两个class 大类里的 许多<a>标签。
    
45. 
    
46. count = 0
    
47. 
    
48. list1 = []
    
49. 
    
50. for each in target_url:
    
51.     try:
    
52.         response2 = urllib.request.urlopen("".join(["https://baike.baidu.com",each["href"]]))
    
53.         html2 = response2.read().decode("utf-8")
    
54.         soup2 = BeautifulSoup(html2,"html.parser")
    
55.         content2 = soup2.find("dd",class_ = "lemmaWgt-lemmaTitle-title")
    
56.         title_a = content2.find("h1").string
    
57.     except:
    
58.         continue
    
59. 
    
60.     else:
    
61.         try:
    
62.             title_b = content2.find("h2").string
    
63. 
    
64.         except:
    
65.             print(title_a,"->","".join(["https://baike.baidu.com",each["href"]]))
    
66.             continue
    
67.         
    
68.         else:
    
69.             if title_b not in list1:
    
70.                
    
71.                 print(title_a,title_b,"->","".join(["https://baike.baidu.com",each["href"]]))
    
72.                
    
73.                 list1.append(title_b)
    
74.                
    
75.                 count = count+1
    
76.                
    
77.                 if count>10 :
    
78.                     order = input("请输入任何字符继续，输入“q”退出：")
    
79.                     if order != "q":
    
80.                         count = 0
    
81.                         continue
    
82.                     else:
    
83.                         count = 0
    
84.                         break
    
85.                 else:
    
86.                     continue
    
87. 
    

复制代码