爬取论坛 xx 版块的帖子的标题和链接

一个账号

1. import requests
   
2. import bs4
   
3. import re
   
4. import sys
   
5. import threading
   
6. import time
   
7. 
   
8. from easygui import exceptionbox
   
9. 
   
10. 
    
11. # 返回最后一页
    
12. def return_last(res, method=1):
    
13.     try:
    
14.         soup = bs4.BeautifulSoup(res.text, "html.parser")
    
15.         
    
16.         if method == 1:
    
17.             try:
    
18.                 content = soup.find("a", class_="last")
    
19.                 p = re.compile(r"\d")
    
20.                 result = p.findall(content.text)
    
21.                 num = int("".join(result))
    
22. 
    
23.                 return num
    
24.             
    
25.             except AttributeError:
    
26.                 return return_last(res, 2)
    
27.       
    
28.         else:
    
29.             content = soup.find("div", class_="pg")
    
30.             num = content.text.find("/")
    
31.             p = re.compile(r"\d")
    
32.             result = p.findall(content.text[num:])
    
33.             num = int("".join(result))
    
34.             
    
35.             return num
    
36.     except:
    
37.         return False
    
38. 
    
39. 
    
40. # 写入内容并保存
    
41. def write(content, num=1, end=False, url=""):   
    
42.     file = open("帖子.txt", "a", encoding="utf-8")
    
43.     prefix = ""
    
44. 
    
45.     # 读取每一行并写入
    
46.     for each in content:
    
47.         file.write(str(num) + ". " + each.text + "  ————>  " + prefix + each["href"] + "\n\n")
    
48.         num += 1
    
49. 
    
50.     if not end:
    
51.         file.write("-" * 110 + "\n\n")
    
52. 
    
53.     file.close()
    
54. 
    
55.     return num
    
56. 
    
57. 
    
58. # 寻找帖子
    
59. def find_data(res):
    
60.     soup = bs4.BeautifulSoup(res.text, "html.parser")
    
61.     content = soup.find_all(class_="s xst")
    
62. 
    
63.     return content
    
64. 
    
65. 
    
66. # 打开链接
    
67. def open_url(url, cookie):
    
68.     headers = {}
    
69. 
    
70.     headers["User-Agent"] = "Mozilla/5.0"
    
71. 
    
72.     if cookie != None:
    
73.         headers["cookie"] = cookie
    
74.    
    
75.     res = requests.post(url, headers=headers)
    
76.    
    
77.     return res
    
78. 
    
79. 
    
80. # 主函数
    
81. def main(url, page, interval, cookie):   
    
82.     # 用于清除文件里面的内容
    
83.     with open("帖子.txt", "w", encoding="utf-8"):
    
84.         pass
    
85. 
    
86.     if page == 0:
    
87.         res = open_url(url)
    
88.         page = return_last(res)
    
89. 
    
90.     subject_num = 1
    
91.     judge = False   # 用于判断是否是最后一页，如果是，则不写入分隔线
    
92.     method = 1  # 用于分辨使用哪种方法来分隔
    
93. 
    
94.     if "&" not in url:
    
95.         new_url = url.split("-")
    
96.         
    
97.         p = re.compile(r"\d")
    
98.         num = p.findall(new_url[2])    # 用于翻页
    
99.         num = int("".join(num))
    
100.         
     
101.         new_url[2] = str(num)+".html"
     
102.         new_url = "-".join(new_url)
     
103.         method = 1
     
104. 
     
105.     else:
     
106.         if "&page" not in url:
     
107.             new_url = url
     
108.             new_url += "&page="
     
109.             num = 1
     
110.         else:
     
111.             new_url = url.split("=")
     
112.             num = int(new_url[-1])
     
113. 
     
114.             # 查找页数位置
     
115.             new_url = url
     
116.             p = re.compile(r"&page=")
     
117.             index = p.search(new_url).end()
     
118. 
     
119.             # 删除数字
     
120.             new_url = list(new_url)
     
121.             del new_url[index:]
     
122.             
     
123.             new_url = "".join(new_url)
     
124.             
     
125.         method = 2
     
126. 
     
127.     page += num - 1
     
128.               
     
129.     while num <= page:
     
130.         if num == page:
     
131.             judge = True
     
132. 
     
133.         content = ""
     
134. 
     
135.         while not content:
     
136.             res = open_url(new_url, cookie)
     
137.             content = find_data(res)
     
138.         
     
139.         subject_num = write(content, subject_num, judge, url)
     
140. 
     
141.         print(f"以爬取第 {num} 页...")
     
142. 
     
143.         num += 1
     
144. 
     
145.         if method == 1:
     
146.             new_url = url.split("-")
     
147.             new_url[2] = str(num)+".html"
     
148.             new_url = "-".join(new_url)
     
149.             
     
150.         else:
     
151.             new_url += str(num)
     
152. 
     
153.         time.sleep(interval)
     
154. 
     
155. if __name__ == "__main__":
     
156.     try:
     
157.         url = input("请输入板块地址：")
     
158.         page = int(input('请输入爬取的页数("0"表示全部)：'))
     
159.         interval = eval(input("请输入爬取间隔："))
     
160.         
     
161.         cookie = None
     
162. 
     
163.         if input("是否使用授权(y/n)：").lower() == "y":
     
164.             cookie = input("请输入 cookie：")
     
165. 
     
166.         main(url, page, interval, cookie)
     
167. 
     
168.         print("爬取完毕！")
     
169.         input()
     
170. 
     
171.     except SystemExit:
     
172.         pass
     
173.         
     
174.     except:
     
175.         exceptionbox("爬取失败，请将以下错误报告和您输入的内容反馈给管理员：")
     

复制代码