爬fihc.com最新帖子的评论的程序的分享

zxbin1

1. 
   
2. import requests
   
3. import bs4
   
4. import time
   
5. pl = input("请输入要爬取的最新帖子的评论：")
   
6. a = 1
   
7. payload = {"mod":"guide","view":"newthread","page":1}
   
8. res  = requests.get("https://fishc.com.cn/forum.php", params=payload)
   
9. sb = bs4.BeautifulSoup(res.text,features="lxml")
   
10. mzli = sb.find_all("a",class_="xst")
    
11. url = " "
    
12. while True:
    
13.     res  = requests.get("https://fishc.com.cn/forum.php", params=payload)
    
14.     sb = bs4.BeautifulSoup(res.text,features="lxml")
    
15.     mzli = sb.find_all("a",class_="xst")
    
16.     if not mzli:
    
17.         break
    
18.     else:
    
19.         for i in mzli:
    
20.             if i.text == pl:
    
21.                 url = i["href"]
    
22.     payload["page"]+=1
    
23.     time.sleep(0.2)
    
24. if url == " ":
    
25.     raise ValueError()
    
26. req = requests.get(url)
    
27. bs = bs4.BeautifulSoup(req.text,features="lxml")
    
28. ta = bs.find_all("div",class_ = "t_fsz")
    
29. for each in ta:
    
30.     print(each.table.text)
    
31.     print("------------------------------------------------------------")
    
32. 
    
33. time.sleep(10)
    

复制代码

我无聊写的
有什么修改建议写下面

FishC

你好，鱼油！你的程序总体思路是正确的，但是有一些地方需要修改和优化。下面是一些建议：

1. **优化爬取机制**：
   - `payload` 是一个字典，你不能直接用 `payload += 1` 来递增页面数。
   - 在查找评论的过程中，你应该在找到帖子 URL 后立刻跳出循环，而不是继续请求页面。

2. **错误处理**：
   - 尽量添加一些异常处理，防止因为网络错误或其他问题导致程序崩溃。

3. **提高可读性**：
   - 使用合适的变量名，使代码更容易理解。

修改后的代码如下：

1. import requests
   
2. import bs4
   
3. import time
   
4. 
   
5. # 输入要爬取的最新帖子标题
   
6. post_title = input("请输入要爬取的最新帖子的评论标题：").strip()
   
7. 
   
8. base_url = "https://fishc.com.cn/forum.php"
   
9. payload = {"mod": "guide", "view": "newthread", "page": 1}
   
10. 
    
11. post_url = None
    
12. 
    
13. while True:
    
14.     res = requests.get(base_url, params=payload)
    
15.     if res.status_code != 200:
    
16.         print("请求失败，状态码：", res.status_code)
    
17.         break
    
18.         
    
19.     soup = bs4.BeautifulSoup(res.text, features="lxml")
    
20.     post_links = soup.find_all("a", class_="xst")
    
21.    
    
22.     if not post_links:
    
23.         # 如果找不到帖子链接，说明已经到最后一页
    
24.         break
    
25. 
    
26.     for post_link in post_links:
    
27.         if post_link.text.strip() == post_title:
    
28.             post_url = post_link.get('href')
    
29.             break
    
30.     if post_url:
    
31.         # 找到了目标帖子 URL，退出循环
    
32.         break
    
33. 
    
34.     payload['page'] += 1
    
35.     time.sleep(0.2)
    
36. 
    
37. if post_url:
    
38.     # 拼接完整的帖子 URL
    
39.     full_post_url = "https://fishc.com.cn/" + post_url
    
40.    
    
41.     # 获取帖子页面
    
42.     req = requests.get(full_post_url)
    
43.     if req.status_code != 200:
    
44.         print("请求帖子页面失败，状态码：", req.status_code)
    
45.     else:
    
46.         soup = bs4.BeautifulSoup(req.text, features="lxml")
    
47.         comments = soup.find_all("div", class_="t_fsz")
    
48.         
    
49.         for comment in comments:
    
50.             print(comment.get_text(strip=True))
    
51.             print("------------------------------------------------------------")
    
52. else:
    
53.     print("未找到指定标题的帖子")
    
54. 
    
55. time.sleep(10)

复制代码

主要修改点：
1. 使用.strip()去除多余空格。
2. 将 `payload['page'] += 1` 代替 `payload+=1`。
3. 直接拼接 `post_url`，因为 `post_link.get('href')` 可能是相对路径。
4. 增加了对HTTP返回状态码的检查和错误提示。
5. 使用 `soup.get_text(strip=True)` 提取评论内容，以避免格式问题。

希望这些修改能帮助你使代码更加健壮和高效！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

zxbin1

FishC 发表于 2024-8-28 19:58
你好，鱼油！你的程序总体思路是正确的，但是有一些地方需要修改和优化。下面是一些建议：

1. **优化爬 ...

你的用不了

FishC

zxbin1 发表于 2024-08-28 20:01
你的用不了

抱歉之前的解释不够具体，我们来调整和优化你的代码：

1. 修正 `payload` 递增的方式。
2. 使用 `.format()` 或 `f-string` 来构建新帖子的 URL。
3. 改进错误处理和增强可读性。
4. 添加必要的头部信息和错误处理，确保连接不会因为频繁请求被阻断。

下面是修正后的代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. 
   
5. # 输入帖子标题
   
6. pl = input("请输入要爬取的最新帖子的评论：")
   
7. 
   
8. # 初始页码设定
   
9. page_num = 1
   
10. url = None
    
11. 
    
12. # 设置会话和请求头，模拟浏览器
    
13. session = requests.Session()
    
14. headers = {
    
15.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    
16. }
    
17. 
    
18. while page_num <= 10:  # 限制爬取页数，例如只爬取前10页
    
19.     payload = {"mod": "guide", "view": "newthread", "page": page_num}
    
20.     res = session.get("https://fishc.com.cn/forum.php", headers=headers, params=payload)
    
21. 
    
22.     # 检查请求是否成功
    
23.     if res.status_code != 200:
    
24.         print(f"请求第 {page_num} 页失败，状态码：{res.status_code}")
    
25.         break
    
26. 
    
27.     sb = BeautifulSoup(res.text, "lxml")
    
28.     mzli = sb.find_all("a", class_="xst")
    
29. 
    
30.     # 检查是否找到帖子
    
31.     found = False
    
32.     for i in mzli:
    
33.         if i.text == pl:
    
34.             url = "https://fishc.com.cn/" + i['href']
    
35.             found = True
    
36.             break
    
37. 
    
38.     if found:
    
39.         break
    
40. 
    
41.     page_num += 1
    
42.     time.sleep(0.5)  # 避免频繁请求被封禁
    
43. 
    
44. if not url:
    
45.     raise ValueError("未找到指定的帖子")
    
46. 
    
47. # 获取评论
    
48. req = session.get(url, headers=headers)
    
49. bs = BeautifulSoup(req.text, "lxml")
    
50. ta = bs.find_all("div", class_="t_fsz")
    
51. 
    
52. for each in ta:
    
53.     print(each.table.text.strip())
    
54.     print("------------------------------------------------------------")
    
55. 
    
56. time.sleep(10)

复制代码

### 修改要点：
1. **页码递增**：使用 `page_num` 变量来递增页码。
2. **检查请求状态码**：每次请求后检查返回的状态码，如果请求失败则输出错误信息并中止循环。
3. **组合URL**：当找到匹配的帖子时，组合完整的帖子URL进行下一步请求。
4. **错误处理**：如果找不到指定帖子，会抛出一个明确的错误信息。
5. **调整请求间隔**：增加请求间隔以避免频繁请求造成 IP 被封禁。

调整后的代码更具鲁棒性，可读性也提高了。希望这些修改能帮到你！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

zsy0226

zsy0226

没啥建议
单纯领个币

zxbin1

头请求和会话是什么
@fishc

FishC

zxbin1 发表于 2024-08-29 09:13
头请求和会话是什么
@fishc

头请求（HEAD）是一种HTTP请求方法，用于获取服务器资源的头部信息，而不获取资源本身的内容。它常用于检查资源是否存在或获取其元数据，例如文件大小或最后修改时间。

会话（Session）是一种在客户端和服务器之间保持状态的方法。会话通常通过cookie或其他机制跟踪某个用户的多个请求，使得服务器可以识别连续请求来自同一个用户。

希望这个解释对你有帮助！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

sunshine_8205

111000m

简柠啦

简柠啦

trinityee

看看，学习下