[已解决]关于爬虫的问题

一个账号

这是原本实现效果：



这是我想要的实现效果：



就是在原本的实现效果后面增加帖子的链接，我搞来搞去还是高不出这种效果，大家帮我看看怎么才能实现这种效果，谢谢。

以下是代码：

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. def return_last(res):
   
6.     soup = bs4.BeautifulSoup(res.text, "html.parser")
   
7.     content = soup.find("a", class_="last")
   
8.     return content
   
9. 
   
10. def write(content, num=1):
    
11.     file = open("帖子.txt", "a", encoding="utf-8")
    
12.    
    
13.     for each in content:
    
14.         file.write(str(num)+"."+each.text+"\n\n")
    
15.         num += 1
    
16. 
    
17.     file.write("-" * 50+"\n\n")
    
18. 
    
19.     file.close()
    
20. 
    
21.     return num
    
22. 
    
23. def find_data(res):
    
24.     soup = bs4.BeautifulSoup(res.text, "html.parser")
    
25.     content = soup.find_all(class_="s xst")
    
26. 
    
27.     return content
    
28. 
    
29. def open_url(url):
    
30.     headers = {"user-agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
    
31.     res = requests.get(url, headers=headers)
    
32. 
    
33.     return res
    
34.    
    
35. def main():
    
36.     # 用于清除文件里面的内容
    
37.     with open("帖子.txt", "w", encoding="utf-8"):
    
38.         pass
    
39.    
    
40.     url = input("请输入板块地址：")
    
41.     page = int(input('请输入爬取的页数("0"表示全部)：'))
    
42. 
    
43.     if page == 0:
    
44.         res = open_url(url)
    
45.         content = return_last(res)
    
46.         p = re.compile("\d")
    
47.         page = int("".join(p.findall(content.text)))
    
48. 
    
49.     num = 1                 # 用于翻页
    
50.     subject_num = 1
    
51.     new_url = url.split("-")
    
52.     new_url = new_url[0] + "-" + new_url[1] + "-" + str(num) + ".html"
    
53. 
    
54.     while num <= page:
    
55.         print("正在爬取：", new_url, sep="")
    
56.         res = open_url(new_url)
    
57.         content = find_data(res)
    
58.         subject_num = write(content, subject_num)
    
59.         num += 1
    
60.         new_url = url.split("-")
    
61.         new_url = new_url[0] + "-" + new_url[1] + "-" + str(num) + ".html"
    
62. 
    
63. if __name__ == "__main__":
    
64.     main()

复制代码

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-2-13 18:40:37

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. 
   
6. def return_last(res):
   
7.     soup = bs4.BeautifulSoup(res.text, "html.parser")
   
8.     content = soup.find("a", class_="last")
   
9.     return content
   
10. 
    
11. 
    
12. def write(content, num=1):
    
13.     file = open("帖子.txt", "a", encoding="utf-8")
    
14. 
    
15.     for each in content:
    
16.         file.write(str(num) + ". " + each.text + " -> " + each["href"] + "\n\n")
    
17.         num += 1
    
18. 
    
19.     file.write("-" * 50 + "\n\n")
    
20. 
    
21.     file.close()
    
22. 
    
23.     return num
    
24. 
    
25. 
    
26. def find_data(res):
    
27.     soup = bs4.BeautifulSoup(res.text, "html.parser")
    
28.     content = soup.find_all(class_="s xst")
    
29. 
    
30.     return content
    
31. 
    
32. 
    
33. def open_url(url):
    
34.     headers = {
    
35.         "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "
    
36.                       "(KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
    
37.     res = requests.get(url, headers=headers)
    
38. 
    
39.     return res
    
40. 
    
41. 
    
42. def main():
    
43.     # 用于清除文件里面的内容
    
44.     with open("帖子.txt", "w", encoding="utf-8"):
    
45.         pass
    
46. 
    
47.     url = input("请输入板块地址：")
    
48.     page = int(input('请输入爬取的页数("0"表示全部)：'))
    
49. 
    
50.     if page == 0:
    
51.         res = open_url(url)
    
52.         content = return_last(res)
    
53.         p = re.compile(r"\d")
    
54.         page = int("".join(p.findall(content.text)))
    
55. 
    
56.     num = 1  # 用于翻页
    
57.     subject_num = 1
    
58.     new_url = url.split("-")
    
59.     new_url = new_url[0] + "-" + new_url[1] + "-" + str(num) + ".html"
    
60. 
    
61.     while num <= page:
    
62.         print("正在爬取：", new_url, sep="")
    
63.         res = open_url(new_url)
    
64.         content = find_data(res)
    
65.         subject_num = write(content, subject_num)
    
66.         num += 1
    
67.         new_url = url.split("-")
    
68.         new_url = new_url[0] + "-" + new_url[1] + "-" + str(num) + ".html"
    
69. 
    
70. 
    
71. if __name__ == "__main__":
    
72.     main()

复制代码

跳转到最佳答案楼层

zltzlt

直接用 BS 获取就行了，等会帮你写一个

一个账号

zltzlt 发表于 2020-2-13 18:32
直接用 BS 就行了，等会帮你写一个

好的，谢谢

zltzlt

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. 
   
6. def return_last(res):
   
7.     soup = bs4.BeautifulSoup(res.text, "html.parser")
   
8.     content = soup.find("a", class_="last")
   
9.     return content
   
10. 
    
11. 
    
12. def write(content, num=1):
    
13.     file = open("帖子.txt", "a", encoding="utf-8")
    
14. 
    
15.     for each in content:
    
16.         file.write(str(num) + ". " + each.text + " -> " + each["href"] + "\n\n")
    
17.         num += 1
    
18. 
    
19.     file.write("-" * 50 + "\n\n")
    
20. 
    
21.     file.close()
    
22. 
    
23.     return num
    
24. 
    
25. 
    
26. def find_data(res):
    
27.     soup = bs4.BeautifulSoup(res.text, "html.parser")
    
28.     content = soup.find_all(class_="s xst")
    
29. 
    
30.     return content
    
31. 
    
32. 
    
33. def open_url(url):
    
34.     headers = {
    
35.         "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 "
    
36.                       "(KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"}
    
37.     res = requests.get(url, headers=headers)
    
38. 
    
39.     return res
    
40. 
    
41. 
    
42. def main():
    
43.     # 用于清除文件里面的内容
    
44.     with open("帖子.txt", "w", encoding="utf-8"):
    
45.         pass
    
46. 
    
47.     url = input("请输入板块地址：")
    
48.     page = int(input('请输入爬取的页数("0"表示全部)：'))
    
49. 
    
50.     if page == 0:
    
51.         res = open_url(url)
    
52.         content = return_last(res)
    
53.         p = re.compile(r"\d")
    
54.         page = int("".join(p.findall(content.text)))
    
55. 
    
56.     num = 1  # 用于翻页
    
57.     subject_num = 1
    
58.     new_url = url.split("-")
    
59.     new_url = new_url[0] + "-" + new_url[1] + "-" + str(num) + ".html"
    
60. 
    
61.     while num <= page:
    
62.         print("正在爬取：", new_url, sep="")
    
63.         res = open_url(new_url)
    
64.         content = find_data(res)
    
65.         subject_num = write(content, subject_num)
    
66.         num += 1
    
67.         new_url = url.split("-")
    
68.         new_url = new_url[0] + "-" + new_url[1] + "-" + str(num) + ".html"
    
69. 
    
70. 
    
71. if __name__ == "__main__":
    
72.     main()

复制代码

一个账号

zltzlt 发表于 2020-2-13 18:40

我好像找不到你改了哪里......你能不能告诉我你改了哪里？谢谢。

zltzlt

一个账号 发表于 2020-2-13 18:46
我好像找不到你改了哪里......你能不能告诉我你改了哪里？谢谢。

只改了第 16 行

一个账号

zltzlt 发表于 2020-2-13 18:46
只改了第 16 行

为什么你又添加了一个 user-agent

zltzlt

一个账号 发表于 2020-2-13 18:51
为什么你又添加了一个 user-agent

User-Agent 一行太长不美观

一个账号

zltzlt 发表于 2020-2-13 18:51
User-Agent 一行太长不美观

我知道了，你把那两个分开写了，原来还可以这样，谢谢。

一个账号

zltzlt 发表于 2020-2-13 18:51
User-Agent 一行太长不美观

我发现这个程序其他论坛也可以用，如卡饭。

因为那个 class 没变。

zltzlt

一个账号 发表于 2020-2-13 18:59
我发现这个程序其他论坛也可以用，如卡饭。

因为那个 class 没变。

哈哈