python爬虫练习

有点冷丶

第一次尝试，用的PyCharm不是很熟练，社区版也没搞懂数据库怎么用，就只能用excel保存了

1. # -*-codeing = utf-8 -*-
   
2. # @Time : 2021/10/1 15:57
   
3. # @Author : 有点冷丶
   
4. # @File : pachong.py
   
5. # @Software: PyCharm
   
6. 
   
7. 
   
8. #引入模块
   
9. from bs4 import BeautifulSoup     #网页解析
   
10. import re      #正则表达式，文字匹配
    
11. import urllib.request   #制定upl，获取网页数据
    
12. import urllib.error
    
13. import xlwt    #进行excel操作
    
14. import sqlite3    #进行sqlite数据库操作
    
15. 
    
16. def main():
    
17.     baseurl = "http://movie.douban.com/top250?start="
    
18.     #1.爬取网页
    
19.     datalist = getData(baseurl)
    
20.     #3.保存数据
    
21.     savepath = r".\\豆瓣电影top250.xls"
    
22.     saveData(datalist,savepath)    #保存到excel表格
    
23.     dppath = "movie250.db"
    
24.     #savedata2db(datalist,dbpath)   #保存到数据库
    
25. 
    
26. 
    
27. #影片详情链接规则
    
28. findLink = re.compile(r'<a href="(.*?)">')  #创建正则表达式对象，表示规则，字符串模式
    
29. #影片图片的链接
    
30. findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S)
    
31. #影片的片名
    
32. findname = re.compile(r'<span class="title">(.*?)</span>')
    
33. #影片的评分
    
34. finddafen = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
    
35. #评价人数
    
36. findpeople = re.compile(r'<span>(\d*)人评价</span>')
    
37. #找到概况
    
38. findInq = re.compile(r'<span class="inq">(.*)</span>')
    
39. #相关内容
    
40. finddy = re.compile(r'<p class="">(.*?)</p>',re.S)
    
41. 
    
42. 
    
43. 
    
44. 
    
45. 
    
46. #爬取网页
    
47. def getData(baseurl):
    
48.     datalist = []
    
49.     for i in range(0,1):     #调用获取页面
    
50.         url = baseurl + str(i*25)
    
51.         html = askURL(url)    #保存获取到的网页源码
    
52.         #print(html)
    
53.     # 2.逐一解析数据
    
54.         soup = BeautifulSoup(html,"html.parser")
    
55.         for item in soup.find_all('div',class_="item"):  #查找符合要求的字符串，形成列表
    
56.            #print(item)   #测试查看电影全部item信息
    
57.             data = []    #保存一个电影的全部信息
    
58.             item = str(item)
    
59. 
    
60.             #影片详情超链接
    
61.             link = re.findall(findLink,item)[0]     #re库
    
62.             data.append(link)        #添加链接
    
63. 
    
64.             imgSrc = re.findall(findImgSrc,item)[0]
    
65.             data.append(imgSrc)      #添加图片
    
66. 
    
67.             names = re.findall(findname,item)
    
68.             if(len(names) == 2):
    
69.                 cname = names[0]      #添加中文名
    
70.                 data.append(cname)
    
71.                 oname = names[1].replace("/","")    #去掉无关的符号
    
72.                 data.append(oname)     #添加外国名
    
73.             else:
    
74.                 data.append(names[0])
    
75.                 data.append('')   #外国名留空
    
76. 
    
77.             dafen = re.findall(finddafen,item)[0]
    
78.             data.append(dafen)     #添加评分
    
79. 
    
80.             people = re.findall(findpeople,item)[0]
    
81.             data.append(people)     #添加打分人数
    
82. 
    
83.             inq = re.findall(findInq,item)   #添加概况
    
84.             if len(inq) != 0:
    
85.                 inq = inq[0].replace("。","")
    
86.                 data.append(inq)  #添加概述
    
87.             else:
    
88.                 data.append("")  #留空
    
89. 
    
90.             dy = re.findall(finddy,item)[0]  #添加相关内容
    
91.             dy = re.sub('<br(\s+)?/>(\s+)?'," ",dy)
    
92.             dy = re.sub('/'," ",dy)
    
93.             data.append(dy.strip())    #strip去掉前后空格
    
94. 
    
95.             datalist.append(data)     #把处理好的信息储存进datalist
    
96.     #print(datalist, "\n")
    
97.     return datalist
    
98. 
    
99. 
    
100. 
     
101. 
     
102. #得到指定一个url的网页的内容
     
103. def askURL(url):
     
104.     head = {
     
105.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31"
     
106.             }
     
107.                 #用户代理，伪装
     
108.     request = urllib.request.Request(url,headers=head)
     
109.     html = ""
     
110.     try:
     
111.         response = urllib.request.urlopen(request)
     
112.         html = response.read().decode("utf-8")
     
113.     except urllib.error.URLError as e:
     
114.         if hasattr(e,"code"):
     
115.             print(e.code)
     
116.         if hasattr(e,"reason"):
     
117.             print(e.reason)
     
118.     return html
     
119. 
     
120. 
     
121. 
     
122. 
     
123. 
     
124. #保存数据到excel
     
125. def saveData(datalist,savepath):
     
126.     print("save...")
     
127.     book = xlwt.Workbook(encoding="utf-8",style_compression=0)  # 创建一个workbook对象
     
128.     sheet = book.add_sheet('豆瓣电影top250',cell_overwrite_ok=True)  # 创建工作表
     
129.     col = ("电影详情链接","图片链接","影片中文名","影片外国名","评分","评价数","概况","相关信息")
     
130.     for i in range(0,8):
     
131.         sheet.write(0,i,col[i])  #列名
     
132.     for i in range(0,250):
     
133.         print("第%d条"%(i+1))
     
134.         data = datalist[i]
     
135.         for j in range(0,8):
     
136.             sheet.write(i+1,j,data[j])
     
137. 
     
138.     book.save(savepath)  # 保存数据表
     
139. 
     
140. #保存到数据库
     
141. def savedata2db(datalist,dbpath):
     
142.     init_db(dbpath)
     
143.     conn = sqlite3.connect(dbpath)
     
144.     cur = conn.cursor()
     
145.     for data in datalist:
     
146.         for index in range(len(data)):
     
147.             if index == 4 or index == 5:
     
148.                 continue
     
149.             data[index] = '"'+data[index]+'"'
     
150.         sql = '''
     
151.                 insert into movie250(
     
152.                 info_link,pic_link,cname,ename,score,rated,introduction,info)
     
153.                 values(%s)'''%",".join(data)
     
154.         cur.execute(sql)
     
155.         conn.commit()
     
156.     cur.close()
     
157.     conn.close()
     
158.                
     
159. #创建数据库
     
160. def init_db(dbpath):
     
161.     sql = '''
     
162.         create table movie250
     
163.         (
     
164.         id integer primary key autoincrement,
     
165.         info_link text,
     
166.         pic_link text,
     
167.         cname varchar,
     
168.         ename varchar,
     
169.         score numeric,
     
170.         rated numeric,
     
171.         introduction text,
     
172.         info text
     
173.         )
     
174.       '''
     
175.     conn = sqlite3.connect(dbpath)
     
176.     cursor = conn.cursor()
     
177.     cursor.execute(sql)
     
178.     conn.commit()
     
179.     conn.close()
     
180. 
     
181. 
     
182. 
     
183. 
     
184. if __name__ == "__main__":
     
185.     main()
     
186.     #init_db("test.db")   #测试数据库
     
187.     print("爬取完毕")

复制代码

fishcllove

pycharm社区版本不支持大部分第三方库