【爬虫】初次使用多线程

昨非

今天抽了两三个钟头学了学多线程相关的东西
比葫芦画瓢，算是画出来东西了
内容：下载《赘婿》全文并保存为txt
提示：初次尝试，全文保存为txt是会把记事本卡爆的哦
仅作参考

1. """
   
2. 多线程爬虫首次尝试：
   
3.     爬取赘婿小说全部章节，解析并保存为txt
   
4.     目标url：http://www.xbiquge.la/0/885/
   
5. @author: 昨非
   
6. """
   
7. 
   
8. from threading import Thread
   
9. from queue import Queue
   
10. from fake_useragent import UserAgent
    
11. import requests
    
12. from lxml import etree
    
13. 
    
14. headers = {
    
15.     "User-Agent": UserAgent().random
    
16. }
    
17. # 爬虫类
    
18. class GetInfo(Thread):
    
19.     def __init__(self,url_queue,html_queue):
    
20.         Thread.__init__(self)
    
21.         self.url_queue = url_queue
    
22.         self.html_queue = html_queue
    
23. 
    
24.     def run(self):
    
25.         while self.url_queue.empty() == False:
    
26.             url = self.url_queue.get()
    
27.             response = requests.get(url, headers=headers)
    
28.             if response.status_code == 200:
    
29.                 response.encoding = 'utf-8'  # 这步很关键
    
30.                 self.html_queue.put(response.text)
    
31. 
    
32. # 解析类
    
33. class ParseInfo(Thread):
    
34.     def __init__(self, html_queue):
    
35.         Thread.__init__(self)
    
36.         self.html_queue = html_queue
    
37. 
    
38.     def run(self):
    
39.         while self.html_queue.empty() == False:
    
40.             e = etree.HTML(self.html_queue.get())
    
41.             chapter_names = e.xpath('//div[@class = "bookname"]/h1/text()')
    
42.             chapter_contents = e.xpath('//div[@id = "content"]/text()')
    
43.             for chapter_name in chapter_names:
    
44. 
    
45.                 txt = ''
    
46.                 for i in chapter_contents:  # 先拼接
    
47.                     if i != '\n':
    
48.                         i = repr(i).replace(r'\xa0', '').replace("'", '')
    
49.                         txt += i
    
50.                 txt = repr(txt).replace("\\n", '\n').replace('\\', '')
    
51.                 txt = repr(txt).replace('rr', '\n')# 最终处理
    
52. 
    
53.                 with open('赘婿.txt', 'a', encoding='utf-8') as f:
    
54.                     f.write(chapter_name + '\n'+txt)
    
55. 
    
56. 
    
57. if __name__ == '__main__':
    
58.     # 存储url的容器
    
59.     url_queue = Queue()
    
60.     # 存储内容的容器
    
61.     html_queue = Queue()
    
62. 
    
63.     first_url = 'http://www.xbiquge.la/0/885/'
    
64.     response = requests.get(first_url, headers=headers)
    
65.     e = etree.HTML(response.content.decode('utf-8'))  # 返回字符串
    
66.     urls = e.xpath('//div[@class="box_con"]/div[@id="list"]/dl/dd/a/@href')
    
67.     for url in urls:
    
68.         chapter_url = 'http://www.xbiquge.la' + url
    
69.         url_queue.put(chapter_url)
    
70. 
    
71.     # 创建一个爬虫
    
72.     crawl_list = []
    
73.     for i in range(0, 100):
    
74.         crawl1 = GetInfo(url_queue, html_queue)
    
75.         crawl_list.append(crawl1)
    
76.         crawl1.start()
    
77. 
    
78.     for crawl in crawl_list:
    
79.         crawl.join()
    
80. 
    
81.     parse_list = []
    
82.     for i in range(0, 100):
    
83.         parse = ParseInfo(html_queue)
    
84.         parse_list.append(parse)
    
85.         parse.start()
    
86.     for parse in parse_list:
    
87.         parse.join()

复制代码

那么问题来了，这队列我也是第一次用，章节不按顺序该咋整呢
（我的“葫芦”就是这么教的，瓢只能做到这程度，求指点，大佬勿喷 ）

昨非

优先队列，顺序问题已解决，更新代码如下：

1. """
   
2. 多线程爬虫首次尝试：
   
3.     爬取赘婿小说全部章节，解析并保存为txt
   
4.     目标url：http://www.xbiquge.la/0/885/
   
5. @author: 昨非
   
6. """
   
7. 
   
8. from threading import Thread
   
9. from queue import PriorityQueue
   
10. from fake_useragent import UserAgent
    
11. import requests
    
12. from lxml import etree
    
13. 
    
14. headers = {
    
15.     "User-Agent": UserAgent().random
    
16. }
    
17. # 爬虫类
    
18. class GetInfo(Thread):
    
19.     def __init__(self,url_queue,html_queue):
    
20.         Thread.__init__(self)
    
21.         self.url_queue = url_queue
    
22.         self.html_queue = html_queue
    
23. 
    
24.     def run(self):
    
25.         while self.url_queue.empty() == False:
    
26.             item = self.url_queue.get()
    
27.             url = item[1]
    
28.             response = requests.get(url, headers=headers)
    
29.             if response.status_code == 200:
    
30.                 response.encoding = 'utf-8'  # 这步很关键
    
31.                 self.html_queue.put((item[0],response.text))
    
32. 
    
33. # 解析类
    
34. class ParseInfo(Thread):
    
35.     def __init__(self, html_queue):
    
36.         Thread.__init__(self)
    
37.         self.html_queue = html_queue
    
38. 
    
39.     def run(self):
    
40.         while self.html_queue.empty() == False:
    
41.             item2 = self.html_queue.get()
    
42.             e = etree.HTML(item2[1])
    
43.             chapter_names = e.xpath('//div[@class = "bookname"]/h1/text()')
    
44.             chapter_contents = e.xpath('//div[@id = "content"]/text()')
    
45.             for chapter_name in chapter_names:
    
46. 
    
47.                 txt = ''
    
48.                 for i in chapter_contents:  # 先拼接
    
49.                     if i != '\n':
    
50.                         i = repr(i).replace(r'\xa0', '').replace("'", '')
    
51.                         txt += i
    
52.                 txt = repr(txt).replace("\\n", '\n').replace('\\', '')
    
53.                 txt = repr(txt).replace('rr', '\n')# 最终处理
    
54. 
    
55.                 with open('赘婿.txt', 'a', encoding='utf-8') as f:
    
56.                     f.write(chapter_name + '\n'+txt + '\n')
    
57. 
    
58. 
    
59. if __name__ == '__main__':
    
60.     # 存储url的容器
    
61.     url_queue = PriorityQueue()
    
62.     # 存储内容的容器
    
63.     html_queue = PriorityQueue()
    
64. 
    
65.     first_url = 'http://www.xbiquge.la/0/885/'
    
66.     response = requests.get(first_url, headers=headers)
    
67.     e = etree.HTML(response.content.decode('utf-8'))  # 返回字符串
    
68.     urls = e.xpath('//div[@class="box_con"]/div[@id="list"]/dl/dd/a/@href')
    
69.     i = 0
    
70.     for url in urls:
    
71.         chapter_url = 'http://www.xbiquge.la' + url
    
72.         url_queue.put((i,chapter_url))
    
73.         i += 1
    
74. 
    
75. 
    
76. 
    
77. 
    
78.     # 创建一个爬虫
    
79.     crawl_list = []
    
80.     for i in range(0, 100):
    
81.         crawl1 = GetInfo(url_queue, html_queue)
    
82.         crawl_list.append(crawl1)
    
83.         crawl1.start()
    
84. 
    
85.     for crawl in crawl_list:
    
86.         crawl.join()
    
87. 
    
88.     parse_list = []
    
89.     for i in range(0, 100):
    
90.         parse = ParseInfo(html_queue)
    
91.         parse_list.append(parse)
    
92.         parse.start()
    
93.     for parse in parse_list:
    
94.         parse.join()
    

复制代码

昨非

体验还行

sinaop

wp231957

无序的小说还能看吗？

昨非

wp231957 发表于 2021-4-18 09:12
无序的小说还能看吗？

不能啊，我就试试
粗略搜了下，好像多线程乱序是挺经典的问题了

昨非

找到突破口了：
优先队列加个序号来处理

Daniel_Zhang

我有一个想法,比如说你有 1000 个章节,那就分成 50 份,每一份做 20 个线程,然后 for 循环 50 次

每次 start 20 个线程

每个章节作为一个单独的 txt 文件

给一个线程锁,在完成 20 个线程之前不能继续接下来的操作

如果你想要多个 txt 合并的话,下载完成以后,单独搞一个 function 去合并,按照 txt 文件的名称什么的

昨非

Daniel_Zhang 发表于 2021-4-20 00:17
我有一个想法,比如说你有 1000 个章节,那就分成 50 份,每一份做 20 个线程,然后 for 循环 50 次

每次 st ...

emmmm大晚上的不想思考，回头再说

小小の白

°蓝鲤歌蓝

用 concurrent.future 下的 map函数或者用协程

昨非

°蓝鲤歌蓝 发表于 2021-4-24 21:05
用 concurrent.future 下的 map函数或者用协程

听不懂，我先百度下