Scrapy爬取漫画

lhgzbxhz

废话不多说，直接上代码
1、

1. cd F:\编程\Python\Scrapy
   
2. Scrapy startproject mkz

复制代码

2、

1. # in spiders\chapters.py
   
2. import scrapy
   
3. 
   
4. 
   
5. class ChapterSpider(scrapy.Spider):
   
6.     name = "chapter"
   
7.     start_urls = ["https://www.mkzhan.com/211692/"]
   
8. 
   
9.     def parse(self, response: scrapy.http.Response):
   
10.         for chapter in response.css("a.j-chapter-link"):
    
11.                 # 在<a>标签内有另外的标签
    
12.                 # 所以要用//text()获取所有文本
    
13.             title = chapter.xpath("..//text()").extract()
    
14.             if title is None:
    
15.                 self.log("None!")
    
16.                 continue
    
17.             # 获取到的文本中有"\n  "以及"     "一类
    
18.             # 所以要先strip()，再 if t != ""
    
19.             for i in range(len(title)):
    
20.                 title[i] = title[i].strip()
    
21.             yield {
    
22.                 "title": [t for t in title if t != ""][0],
    
23.                 "url": response.urljoin(chapter.css("::attr(data-hreflink)").extract_first()),
    
24.             }

复制代码

3、

1. Scrapy crawl chapter -o ch.json

复制代码

爬取到的ch.json节选如下：

1. [
   
2. {“title”: “\u7b2c553\u8bdd \u6838\u5fc3\u533a2”, “url”: “https://www.mkzhan.com/211692/903557.html”},
   
3. {“title”: “\u7b2c552\u8bdd \u6838\u5fc3\u533a1”, “url”: “https://www.mkzhan.com/211692/903553.html”},
   
4. {“title”: “\u7b2c551\u8bdd \u9053\u6b492”, “url”: “https://www.mkzhan.com/211692/902374.html”},
   
5. {“title”: “\u7b2c550\u8bdd \u9053\u6b491”, “url”: “https://www.mkzhan.com/211692/902375.html”},
   
6. {“title”: “\u7b2c549\u8bdd \u82cf\u91922”, “url”: “https://www.mkzhan.com/211692/901306.html”},
   
7. …
   
8. ]

复制代码

4、

1. # in spiders\images.py
   
2. import scrapy
   
3. import requests
   
4. import json
   
5. import os
   
6. 
   
7. 
   
8. class ImageSpider(scrapy.Spider):
   
9.     name = "images"
   
10. 
    
11.     def start_requests(self):
    
12.         with open("ch.json", 'r') as f:
    
13.             chapters_list = json.load(f)
    
14.         for chapter in chapters_list:
    
15.                 # 此处使用了requests对象的meta属性，具体的大家可以自行百度
    
16.             yield scrapy.Request(chapter["url"], callback=self.parse, meta={"title": chapter["title"]})
    
17. 
    
18.     def img_parse(self, response):
    
19.         with open(response.meta["path"], 'wb') as f:
    
20.             f.write(response.body)
    
21. 
    
22.     def parse(self, response):
    
23.         title = response.meta["title"]
    
24.         img_tags = response.xpath('//div[@class="rd-article__pic hide"]')
    
25.         page_ids = []
    
26.         image_urls = {}
    
27.         for tag in img_tags:
    
28.             # 按照data-page_id排序
    
29.             page_id = int(tag.xpath('./@data-page_id').extract_first())
    
30.             page_ids.append(page_id)
    
31.             image_urls[page_id] = response.urljoin(tag.xpath('./img/@data-src').extract_first())
    
32.         page_ids.sort()
    
33.         # 创建文件夹
    
34.         try:
    
35.             os.mkdir(".\\images\" + title)
    
36.         except FileExistsError:
    
37.             pass  # 如果文件夹已存在
    
38. 
    
39.         for page_id in page_ids:
    
40.             url = image_urls[page_id]
    
41.             # 文件格式：".\images\%title%\%page_id%.jpg"
    
42.             # 为了使爬取到的图片有序，必须这么干
    
43.             yield scrapy.Request(url, callback=self.img_parse, meta={"path": ".\\images\" + title + '\\' + str(page_id) + ".jpg"})
    
44. 
    

复制代码

5、

1. Scrapy crawl images

复制代码

爬取效果：

                               
登录/注册后可看大图

                               
登录/注册后可看大图

lhgzbxhz

怎么一直没人呀~

兢兢

不隐藏，沉得快