[已解决]爬取免费简历模板

弈秋呜呜呜

大佬们对于这个代码请发表你们的意见。帮忙看看这个代码有没有问题
由于爬取的网站老是连接失败，所以我就没有做分页爬取了。

1. import requests
   
2. from lxml.html import etree
   
3. from threading import Thread
   
4. import os
   
5. from multiprocessing import Queue
   
6. 
   
7. 
   
8. # 需求：运用多线程爬取免费模板
   
9. 
   
10. def detail_url(q, url, headers):
    
11.     '''获取模板页面url'''
    
12. 
    
13.     html = requests.get(url=url, headers=headers).text
    
14.     tree = etree.HTML(html)
    
15.     a_list = tree.xpath('//div[@class="main_list jl_main masonry"]/div/a')
    
16. 
    
17.     for a in a_list:
    
18.         href = a.xpath('./@href')[0]
    
19.         q.put(href)
    
20. 
    
21. 
    
22. def download_url(q1, q2, headers):
    
23.     '''获取模板的下载地址'''
    
24. 
    
25.     url = q1.get()
    
26.     html = requests.get(url=url, headers=headers).text
    
27.     tree = etree.HTML(html)
    
28.     a_list = tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li[1]/a')
    
29. 
    
30.     for a in a_list:
    
31.         href = a.xpath('./@href')[0]
    
32.         q2.put(href)
    
33. 
    
34. 
    
35. def download_file(q, headers):
    
36.     '''下载文件并保存'''
    
37. 
    
38.     global count
    
39.     count += 1
    
40.     url = q.get()
    
41.     file = requests.get(url=url, headers=headers).content
    
42.     with open(f'./模板/{count}.rar', 'wb') as f:
    
43.         f.write(file)
    
44. 
    
45. 
    
46. if __name__ == '__main__':
    
47.     # 创建文件夹
    
48.     if not os.path.exists('./模板'):
    
49.         os.mkdir('./模板')
    
50.     count = 0
    
51. 
    
52.     url = 'https://sc.chinaz.com/jianli/free.html'
    
53.     headers = {
    
54.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36 Edg/90.0.818.51'
    
55.     }
    
56. 
    
57.     # 创建队列
    
58.     q1 = Queue(20)
    
59.     q2 = Queue(20)
    
60.     # 创建线程
    
61.     t1 = Thread(target=detail_url, args=(q1, url, headers))
    
62.     t2 = Thread(target=download_url, args=(q1, q2, headers))
    
63.     t3 = Thread(target=download_file, args=(q2, headers))
    
64. 
    
65.     t1.start()
    
66.     t2.start()
    
67.     t3.start()
    
68. 
    
69.     t1.join()
    
70.     t2.join()
    
71.     t3.join()
    
72. 
    
73.     print('爬取完毕')
    

复制代码

最佳答案

月排行榜 / 总排行榜

YunGuo

2021-5-23 22:33:41

你试下这段代码看能不能获取到url，如果可以获取到，那要么就是你代码问题，要么是多线程请求太频繁被网站限制了。

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = 'https://sc.chinaz.com/jianli/free.html'
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0'
   
7. }
   
8. res = requests.get(url, headers=headers)
   
9. sel = etree.HTML(res.text)
   
10. urls = sel.xpath('//div[@id="main"]/div/div/a/@href')
    
11. for url_ in urls:
    
12.     res1 = requests.get('https:'+url_, headers=headers)
    
13.     sel1 = etree.HTML(res1.text)
    
14.     down_url = sel1.xpath('//div[@id="down"]/div[2]/ul/li[1]/a/@href')[0]
    
15.     print(down_url)
    
16.     break

复制代码

跳转到最佳答案楼层

wp231957

单线程爬取是否正常呢

路神

tree.xpath('//div[@class="main_list jl_main masonry"]/div/a')

弈秋呜呜呜

路神 发表于 2021-5-22 11:09
tree.xpath('//div[@class="main_list jl_main masonry"]/div/a')

好的，谢谢。还有几个小毛病我修改了

弈秋呜呜呜

wp231957 发表于 2021-5-22 09:35
单线程爬取是否正常呢

我用单线程试了一下，发现第15行的a_list是空的，这是为什么呢。附上网页的图片

YunGuo

你试下这段代码看能不能获取到url，如果可以获取到，那要么就是你代码问题，要么是多线程请求太频繁被网站限制了。

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = 'https://sc.chinaz.com/jianli/free.html'
   
5. headers = {
   
6.     'User-Agent': 'Mozilla/5.0'
   
7. }
   
8. res = requests.get(url, headers=headers)
   
9. sel = etree.HTML(res.text)
   
10. urls = sel.xpath('//div[@id="main"]/div/div/a/@href')
    
11. for url_ in urls:
    
12.     res1 = requests.get('https:'+url_, headers=headers)
    
13.     sel1 = etree.HTML(res1.text)
    
14.     down_url = sel1.xpath('//div[@id="down"]/div[2]/ul/li[1]/a/@href')[0]
    
15.     print(down_url)
    
16.     break

复制代码