[已解决]刚学完爬虫，请问大佬们我这代码错在哪里了

jiuridi

1. from bs4 import BeautifulSoup     #网页解析，获取数据
   
2. import re       #正则表达式，进行文字匹配
   
3. import urllib.request,urllib.error      #制定URL，获取网页数据
   
4. import xlwt     #进行excel操作
   
5. import sqlite3  #进行SQLite数据库操作
   
6. 
   
7. 
   
8. 
   
9. 
   
10. 
    
11. def main():
    
12.     baseurl = "https://www.zhipin.com/c101020100/?query=python&page="
    
13.     datalist = getData(baseurl)
    
14.     savepath = "BOSS直聘.xls"
    
15.     saveData(datalist,savepath)
    
16. 
    
17. 
    
18. #获取职业链接
    
19. findLink = re.compile(r'<div class="primary-box" href="(.*?)">')
    
20. 
    
21. 
    
22. #获取职业名称
    
23. findname = re.compile(r'<a href="/job_detail/c9fd4b764e292df61HFz2N26GFs~.html" title="Python" target="_blank" ka="search_list_jname_4" data-jid="c9fd4b764e292df61HFz2N26GFs~" data-itemid="4" data-lid="nlp-4mXnCYQcXG4.search.4" data-jobid="35930789" data-index="3">(.*)</a>')
    
24. 
    
25. #获取工作地址
    
26. findarea = re.compile(r'<span class="job-area">(.*)</span>')
    
27. 
    
28. 
    
29. #获取工资
    
30. findwage = re.compile(r'<span class="red">(\d*)K</span>')
    
31. 
    
32. #获取要求工作经验
    
33. findexp = re.compile(r'<p>(.*)年<em class="vline">')
    
34. 
    
35. #获取要求工作学历
    
36. findRec = re.compile(r'<em class="vline"></em>(.*)</em>')
    
37. 
    
38. #获取待遇
    
39. findTreatment = re.compile(r'<div class="info-desc">(.*)</div>')
    
40. 
    
41. 
    
42. 
    
43. #爬取网页
    
44. def getData(baseurl):
    
45.     datalist = []
    
46.     for i in range(0,10):       #调用获取页面信息的函数，10次
    
47.         url = baseurl + str(i*30)
    
48.         html = askURL(url)      #保存获取到的网页源码
    
49. 
    
50.          # 2.逐一解析数据
    
51.         soup = BeautifulSoup(html,"html.parser")
    
52.         for item in soup.find_all('div',class_="item"):     #查找符合要求的字符串，形成列表
    
53.             #print(item)   #测试：查看item全部信息
    
54.             data = []    #保存一部所有信息
    
55.             item = str(item)
    
56. 
    
57.             #工作的链接
    
58.             link = re.findall(findLink,item)[0]     #re库用来通过正则表达式查找指定的字符串
    
59.             data.append(link)                       #添加链接
    
60. 
    
61.             name = re.findall(findname,item)[0]
    
62.             data.append(name)                     #添加工作名字
    
63. 
    
64. 
    
65. 
    
66.             area = re.findall(findarea,item)[0]
    
67.             data.append(area)                        #添加工作地址
    
68. 
    
69.             wage = re.findall(findwage,item)[0]
    
70.             data.append(wage)                       #添加工资
    
71. 
    
72.             exp = re.findall(findexp,item)[0]
    
73.             data.append(exp)                        #添加要求工作经验
    
74. 
    
75. 
    
76.             rec = re.findall(findRec,item)[0]
    
77.             data.append(rec)                  #添加要求工作学历
    
78. 
    
79. 
    
80.             treatment = re.findall(findTreatment,item)          #工作待遇
    
81.             if len(treatment) != 0:
    
82.                 inq = treatment[0].replace("。","")    #去掉句号
    
83.                 data.append(treatment)                # 添加概述
    
84.             else:
    
85.                 data.append(" ")                #留空
    
86. 
    
87. 
    
88. 
    
89.             datalist.append(data)       #把处理好的信息放入datalist
    
90. 
    
91.     return datalist
    
92. 
    
93. 
    
94. #得到指定一个URL的网页内容
    
95. def askURL(url):
    
96.     head = {
    
97.         "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36"
    
98.     }
    
99. 
    
100. 
     
101.     request = urllib.request.Request(url,headers=head)
     
102.     html = ""
     
103.     try:
     
104.         response = urllib.request.urlopen(request)
     
105.         html = response.read().decode("utf-8")
     
106.         #print(html)
     
107.     except urllib.error.URLError as e:
     
108.         if hasattr(e,"code"):
     
109.             print(e.code)
     
110.         if hasattr(e,"reason"):
     
111.             print(e.reason)
     
112.     return html
     
113. 
     
114. 
     
115. def saveData(datalist,savepath):
     
116.     print("保存中....")
     
117.     book = xlwt.Workbook(encoding="utf-8",style_compression=0)                              #创建workbook对象
     
118.     sheet = book.add_sheet('BOSS直聘.xls',cell_overwrite_ok=True)                           #创建工作表
     
119.     col = ("工作链接","工作名字","工资","要求工作经验","要求工作学历","工作待遇",)
     
120.     for i in range(0,6):
     
121.         sheet.write(0,i,col[i])                                                             # 每一列列名
     
122.     for i in range(0,250):
     
123.         print("第%d条" %(i+1))
     
124.         data = datalist[i]
     
125.         for j in range(0,6):
     
126.             sheet.write(i+1,j,data[j])      #数据
     
127. 
     
128.     book.save(savepath)       #保存
     
129. 
     
130. if __name__ == "__main__":          #当程序执行时
     
131. #调用函数
     
132.     main()
     
133.     print("爬取完毕！")
     
134. 
     
135. 
     
136. 
     
137. 
     

复制代码

最佳答案

月排行榜 / 总排行榜

某一个“天”

2024-9-4 18:42:34

希望能帮你
1. 正则表达式不匹配
正则表达式 findLink 是不正确的，因为它试图匹配一个不存在的 href 属性在 div 标签中。实际上，链接通常位于 a 标签中。
2. BeautifulSoup 和正则表达式的混合使用
既然已经使用了 BeautifulSoup 来解析 HTML，最好继续使用它来提取数据，而不是混合使用正则表达式。
3. 网页结构可能变化
网页的结构可能会变化，使用 BeautifulSoup 可以更好地适应这些变化。
4. Excel 写入数据
在写入 Excel 时，您应该检查 datalist 的长度，以避免索引超出范围。
5. 改进的数据提取
我将使用 BeautifulSoup 来改进数据提取。

跳转到最佳答案楼层

wp231957

我怀疑你没有获取数据
你可以在适当的地方放置一些print语句，查看一下

某一个“天”

希望能帮你
1. 正则表达式不匹配
正则表达式 findLink 是不正确的，因为它试图匹配一个不存在的 href 属性在 div 标签中。实际上，链接通常位于 a 标签中。
2. BeautifulSoup 和正则表达式的混合使用
既然已经使用了 BeautifulSoup 来解析 HTML，最好继续使用它来提取数据，而不是混合使用正则表达式。
3. 网页结构可能变化
网页的结构可能会变化，使用 BeautifulSoup 可以更好地适应这些变化。
4. Excel 写入数据
在写入 Excel 时，您应该检查 datalist 的长度，以避免索引超出范围。
5. 改进的数据提取
我将使用 BeautifulSoup 来改进数据提取。