爬虫爬小说

君子好逑

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. def open_html(url):
   
6.     headers = {
   
7.     'Accept-Language': 'zh-CN',
   
8.     'Cache-Control': 'no-cache',
   
9.     'Connection': 'Keep-Alive',
   
10.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
11.     }
    
12. 
    
13.     res = requests.get(url=url,headers=headers)
    
14.     html = res.text
    
15.     return html
    
16. 
    
17. def get_mulu():    #拿到小说目录的地址
    
18.     url1 = 'https://www.biduo.cc/search.php?q='
    
19.     name = input("请输入小说名：")
    
20.     global f
    
21.     f = open(name + '.txt','w')
    
22.     url = url1 + name
    
23. 
    
24.     headers = {
    
25.         'Accept-Language': 'zh-CN',
    
26.         'Cache-Control': 'no-cache',
    
27.         'Connection': 'Keep-Alive',
    
28.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
29.         }
    
30. 
    
31.     res = requests.get(url,headers=headers)
    
32.     s = bs4.BeautifulSoup(res.text,features="lxml")
    
33. 
    
34.     xiaoshuo = s.find("h3",class_="result-item-title result-game-item-title") #找到 第一个 标签(即为搜索榜一) 找全部可用s.find_all
    
35. 
    
36.     url_ = xiaoshuo.find("a").get ('href')# 在获得的标签中 继续找到 a 标签，并get 到 href 属性
    
37.     return ("https://www.biduo.cc" + url_) #加前缀
    
38. 
    
39. def get_html(url):
    
40.     headers = {
    
41.         'Accept-Language': 'zh-CN',
    
42.         'Cache-Control': 'no-cache',
    
43.         'Connection': 'Keep-Alive',
    
44.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
45.         }
    
46. 
    
47.     response = requests.get(url=url,headers=headers)
    
48.     html = response.text
    
49.     return html
    
50. 
    
51. def get_first(url):
    
52.     html = open_html(url)
    
53. 
    
54.     regular1 = re.compile('<dd><a href="(.*?)"  >.*?</a></dd>')
    
55.     list1 = regular1.findall(html)
    
56. 
    
57.     url_1 = 'https://www.biduo.cc'
    
58. 
    
59.     for each in list1:
    
60.         url = url_1 + each
    
61.         html = open_html(url)
    
62.         if ('第一章') in html:
    
63.             break
    
64.     return url
    
65. 
    
66. def get_text(html):
    
67.     regular = re.compile("(.*?)&nbsp;&nbsp;&nbsp;&nbsp;")
    
68. 
    
69.     m = regular.findall(html)
    
70.     if m:
    
71.         m.pop(0)
    
72. 
    
73.     for each in m:
    
74.         print(each.split('<br>')[0])
    
75.         f.write(each.split('<br>')[0])
    
76.         f.write('\n')
    
77. 
    
78. def get_next(html):
    
79.     url_1 = 'https://www.biduo.cc'
    
80.     regular = re.compile(r'.*?">上一章</a> &larr; <a href=".*?">章节列表</a> .*?; <a href="(.*?)"')
    
81.     m = regular.findall(html)
    
82.     url_2 = m.pop()
    
83.     next_address = url_1 + url_2
    
84.     return next_address
    
85. 
    
86. def get_title(html):
    
87.     title = re.findall('<h1>(.*?)</h1>',html)
    
88.     title = title[0]
    
89.     return title
    
90. 
    
91. def main():
    
92.     catalog_address = get_mulu()
    
93.     number = int(input('请输入您想获取的章节总数：'))
    
94.     url = get_first(catalog_address)
    
95.     for each in range(number):
    
96.         html = get_html(url)
    
97.         title = get_title(html)
    
98.         next_address = get_next(html)
    
99.         f.write(title)
    
100.         f.write('\n')
     
101.         f.write('\n')
     
102.         get_text(html)
     
103.         url = next_address
     
104.         f.write('\n')
     
105.         f.write('\n')
     
106. 
     
107.     f.close()
     
108. 
     
109. if __name__ == "__main__":
     
110.     main()
     
111.    
     
112.    

复制代码

在大佬们的帮助下初步完成了这个程序。爬了无敌真寂寞的前三章和元尊的前六章（因为元尊的前三章都是更新预告），倒是还行。谢谢大佬们的指点。就是爬完之后发现爬的挺慢的，希望大佬们能给我一些改进的意见

Twilight6

如果感觉爬的慢就去试试多线程吧，下面代码没有改进只是把你代码中一些地方改动了下

比如文件写入直接写入两个 \n 就好，你却写了两行 f.write('\n') 哈哈

还有 headers 都是同一个，那么放全局作用域就好，不需要一个个方法来设置局部变量了

其他地方都没有改动，所以说没有把你的代码进行改进了

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. 
   
6. def open_html(url):
   
7.     res = requests.get(url=url, headers=headers)
   
8.     html = res.text
   
9.     return html
   
10. 
    
11. 
    
12. def get_mulu():  # 拿到小说目录的地址
    
13.     url1 = 'https://www.biduo.cc/search.php?q='
    
14.     name = input("请输入小说名：")
    
15.     global f
    
16.     f = open(name + '.txt', 'w')
    
17.     url = url1 + name
    
18. 
    
19.     res = requests.get(url, headers=headers)
    
20.     s = bs4.BeautifulSoup(res.text, features="lxml")
    
21. 
    
22.     xiaoshuo = s.find("h3", class_="result-item-title result-game-item-title")  # 找到 第一个 标签(即为搜索榜一) 找全部可用s.find_all
    
23. 
    
24.     url_ = xiaoshuo.find("a").get('href')  # 在获得的标签中 继续找到 a 标签，并get 到 href 属性
    
25.     return ("https://www.biduo.cc" + url_)  # 加前缀
    
26. 
    
27. 
    
28. def get_html(url):
    
29.     response = requests.get(url=url, headers=headers)
    
30.     html = response.text
    
31.     return html
    
32. 
    
33. 
    
34. def get_first(url):
    
35.     html = open_html(url)
    
36. 
    
37.     regular1 = re.compile('<dd><a href="(.*?)"  >.*?</a></dd>')
    
38.     list1 = regular1.findall(html)
    
39. 
    
40.     url_1 = 'https://www.biduo.cc'
    
41. 
    
42.     for each in list1:
    
43.         url = url_1 + each
    
44.         html = open_html(url)
    
45.         if ('第一章') in html:
    
46.             break
    
47.     return url
    
48. 
    
49. 
    
50. def get_text(html):
    
51.     regular = re.compile("(.*?)&nbsp;&nbsp;&nbsp;&nbsp;")
    
52. 
    
53.     m = regular.findall(html)
    
54.     if m:
    
55.         m.pop(0)
    
56. 
    
57.     for each in m:
    
58.         print(each.split('<br>')[0])
    
59.         f.write(each.split('<br>')[0])
    
60.         f.write('\n')
    
61. 
    
62. 
    
63. def get_next(html):
    
64.     url_1 = 'https://www.biduo.cc'
    
65.     regular = re.compile(r'.*?">上一章</a> &larr; <a href=".*?">章节列表</a> .*?; <a href="(.*?)"')
    
66.     m = regular.findall(html)
    
67.     url_2 = m.pop()
    
68.     next_address = url_1 + url_2
    
69.     return next_address
    
70. 
    
71. 
    
72. def get_title(html):
    
73.     title = re.findall('<h1>(.*?)</h1>', html)
    
74.     title = title[0]
    
75.     return title
    
76. 
    
77. 
    
78. def main():
    
79.     catalog_address = get_mulu()
    
80.     number = int(input('请输入您想获取的章节总数：'))
    
81.     url = get_first(catalog_address)
    
82.     for each in range(number):
    
83.         html = get_html(url)
    
84.         title = get_title(html)
    
85.         next_address = get_next(html)
    
86.         f.write(title)
    
87.         f.write('\n\n')
    
88.         get_text(html)
    
89.         url = next_address
    
90.         f.write('\n\n')
    
91. 
    
92.     f.close()
    
93. 
    
94. 
    
95. if __name__ == "__main__":
    
96.     headers = {
    
97.         'Accept-Language': 'zh-CN',
    
98.         'Cache-Control': 'no-cache',
    
99.         'Connection': 'Keep-Alive',
    
100.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
     
101.     }
     
102.     main()

复制代码

君子好逑

Twilight6 发表于 2020-8-22 22:31
如果感觉爬的慢就去试试多线程吧，下面代码没有改进只是把你代码中一些地方改动了下

比如文件写入直 ...

ok，谢谢大佬指点

lhgzbxhz

爬的慢就用Scrapy，一般这种大型的项目用Scrapy比较好，我爬1000多章在1分钟之内搞定

君子好逑

lhgzbxhz 发表于 2020-8-23 15:51
爬的慢就用Scrapy，一般这种大型的项目用Scrapy比较好，我爬1000多章在1分钟之内搞定

ok，主要是视频还没看到那么多