爬取鱼C论坛问题求助板块

smog

1. import os
   
2. 
   
3. import requests, time  # 数据请求
   
4. import re  # 数据提取
   
5. 
   
6. 
   
7. class FishC:
   
8.     url = 'https://fishc.com.cn/bestanswer.php?mod=huzhu&type=undo&page=' # 鱼C论坛悬赏板块的url最后格式是 page=页数
   
9.     headers = {
   
10.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36 Edg/90.0.818.56'}  # 设置请求头部
    
11.     # 正则的设置请看下面的格式分析，分别提取 是否解决，标题，回答个数，提问时间
    
12.     reg = '<font color=green>(.*?)</font>|<a href="(https://fishc.com.cn/thread-\d{6}-1-1.html)" target="_blank">(.*?)</a>|<font color="#999999">(\d+?)</font>|<font color="#999999">(2021-.*?)</font>'
    
13.    
    
14.     # 每一个问题的格式都是这样子的
    
15.     # <tr>
    
16.     #                         <td>
    
17.     #                                                             <em>[<font color="green">待解决</font>]</em>
    
18.     #                                                             <a href="https://fishc.com.cn/thread-196132-1-1.html" target="_blank">列表:用for循环出的一组数如何加入到一个空的列表中</a>
    
19.     #                         </td>
    
20.     #                         <td style="text-align:center;">
    
21.     #                             <font color="#999999">1</font>
    
22.     #                         </td>
    
23.     #                         <td style="text-align:center;">
    
24.     #                             <font color="#999999">2021-05-16 22:12</font>
    
25.     #                         </td>
    
26.     #</tr>
    
27.    
    
28.     def getHtml(self, url):
    
29.         res = requests.get(url)
    
30.         code = res.status_code
    
31.         print(code)
    
32.         if code == 200:
    
33.             return res.text
    
34.         else:
    
35.             return None
    
36.    
    
37.     def run(self):
    
38.         if not os.path.exists('data.csv'):
    
39.             self.initial()
    
40.         for i in range(11): # 爬个11页不要太多
    
41.             url = self.url + str(i + 1)   # 获得完整的url
    
42.             rawHtml = self.getHtml(url)
    
43.             if rawHtml is not None:
    
44.                 res = re.findall(self.reg, rawHtml)  
    
45.                 res = [(res[i][0], res[i + 1][1], self.parse(res[i + 1][2]), res[i + 2][3], res[i + 3][4]) for i in
    
46.                        range(len(res)) if
    
47.                        i % 4 == 0]  # 将匹配的数据打包成一个个元组并生成一个list，这里建议自己打印输出看看（看看 res = re.findall(self.reg, rawHtml)  时res是啥再分析）
    
48.                 with open('data.csv', 'a', encoding='utf-8') as fp:
    
49.                     for j in res:
    
50.                         for k in range(len(j)):
    
51.                             fp.write(j[k])
    
52.                             if k != len(j) - 1:
    
53.                                 fp.write(',')
    
54.                         fp.write('\n')
    
55.                 print(len(res))  # 可以看到鱼C论坛每页都有15条数据
    
56.                 print(res)
    
57. 
    
58.             time.sleep(5)  # 设置请求间隔以免给鱼C论坛造成太大压力，不知道会不会封ip哈哈
    
59.    
    
60. 
    
61.     def parse(self, str):  # 这个是将html实体变为字符（其实可以省略）
    
62.         str = re.sub('&lt;', '<', str)
    
63.         str = re.sub('&gt;', '>', str)
    
64.         return str
    
65.    
    
66.     def initial(self): # 初始化数据文件
    
67.         dataHeads = ["是否解决", "链接", "标题", "回答数", "提问时间"]
    
68.         with open('data.csv', 'w', encoding='utf-8') as fp:
    
69.             for i in dataHeads:
    
70.                 fp.write(i)
    
71.                 if i != dataHeads[-1]:
    
72.                     fp.write(',')
    
73.             else:
    
74.                 fp.write('\n')
    
75.    
    
76.        
    
77. 
    
78. 
    
79.     def test(self):  # 这是自己调试时写的(先爬了一个页面分析正则)，还是留下来吧，（可以忽略）
    
80.         
    
81.         if not os.path.exists('data.csv'):
    
82.             self.initial()
    
83.         
    
84.         with open('raw.html', 'r', encoding='utf-8') as f:   # 这里打开html文件前要先爬一页数据，之前爬html保存到raw.html文件的代码被我删掉了。。。
    
85.             txt = f.read()
    
86.         
    
87.         res = re.findall(self.reg, txt)
    
88.         res = [(res[i][0], res[i + 1][1], self.parse(res[i + 1][2]), res[i + 2][3], res[i + 3][4]) for i in
    
89.                range(len(res)) if
    
90.                i % 4 == 0]
    
91.         # res = [{"是否解决": i[0], "链接": i[1], "标题": self.parse(i[2]), "回答数": i[3], "提问时间": i[4]} for i in res]
    
92.         with open('data.csv', 'a', encoding='utf-8') as fp:
    
93.             for i in res:
    
94.                 for j in range(len(i)):
    
95.                     fp.write(i[j])
    
96.                     if j != len(i) - 1:
    
97.                         fp.write(',')
    
98.                 fp.write('\n')
    
99.         print(len(res))
    
100.         print(res)
     
101.    
     
102. 
     
103. if __name__ == '__main__':
     
104.     fishc = FishC()
     
105.     fishc.run()
     

复制代码

每次请求输出格式：
200
15
[('待解决', 'https://fishc.com.cn/thread-196112-1-1.html', '操作符问题', '2', '2021-05-16 16:58'), ('待解决', 'https://fishc.com.cn/thread-196109-1-1.html', '碰到bug', '3', '2021-05-16 15:29'), ('待解决', 'https://fishc.com.cn/thread-196107-1-1.html', '初学者求救', '3', '2021-05-16 14:56'), ('待解决', 'https://fishc.com.cn/thread-196105-1-1.html', 'python作业谢谢', '7', '2021-05-16 14:51'), ('待解决', 'https://fishc.com.cn/thread-196104-1-1.html', '请教一下，怎么获取到验证码的请求地址呢', '0', '2021-05-16 14:48'), ('待解决', 'https://fishc.com.cn/thread-196102-1-1.html', '背景虚化问题 折磨了两个小时了', '2', '2021-05-16 14:21'), ('待解决', 'https://fishc.com.cn/thread-196101-1-1.html', 'LEGB原则', '1', '2021-05-16 14:01'), ('待解决', 'https://fishc.com.cn/thread-196099-1-1.html', '求助：python中怎么删除索引带单引号的列呢？', '3', '2021-05-16 13:36'), ('待解决', 'https://fishc.com.cn/thread-196098-1-1.html', 'KMP算法求助，大佬们帮忙看看代码有什么错', '0', '2021-05-16 12:50'), ('待解决', 'https://fishc.com.cn/thread-196097-1-1.html', '函数文档', '5', '2021-05-16 12:22'), ('待解决', 'https://fishc.com.cn/thread-196095-1-1.html', '老版本第20课课后题string1找字符问题', '7', '2021-05-16 11:10'), ('待解决', 'https://fishc.com.cn/thread-196080-1-1.html', 'c++ 高精度乘单精度', '1', '2021-05-15 23:30'), ('待解决', 'https://fishc.com.cn/thread-196078-1-1.html', 'position的一些问题', '2', '2021-05-15 22:55'), ('待解决', 'https://fishc.com.cn/thread-196077-1-1.html', '求助！！！求助！！！C语言', '2', '2021-05-15 22:51'), ('待解决', 'https://fishc.com.cn/thread-196076-1-1.html', 'notepad', '2', '2021-05-15 22:37')]

附上一个爬下来的文件地址：
文件地址
数据格式：
是否解决,链接,标题,回答数,提问时间
待解决,https://fishc.com.cn/thread-196130-1-1.html,计算嵌套列表某一层次的元素数量<新人求助>（可以的话麻烦看看我的代码怎么改）,0,2021-05-16 21:41
待解决,https://fishc.com.cn/thread-196129-1-1.html,求助！代理服务器ip设计不成功,0,2021-05-16 21:36
待解决,https://fishc.com.cn/thread-196128-1-1.html,学不进去怎么办？,3,2021-05-16 21:16
待解决,https://fishc.com.cn/thread-196127-1-1.html,大佬们 linux怎么用制作windows的启动盘,4,2021-05-16 21:03
待解决,https://fishc.com.cn/thread-196125-1-1.html,有看不懂的报错，求救,2,2021-05-16 20:20
待解决,https://fishc.com.cn/thread-196123-1-1.html,python作业，刚学，求助,2,2021-05-16 20:03
...

南归

我记得在哪里看过,不让爬本论坛

smog

南归 发表于 2021-5-17 09:23
我记得在哪里看过,不让爬本论坛

这样啊。。。