基于scrapy框架爬取某某某网站，25000+番号图

stonejianbu

mm.jpg

听说新鱼油都喜欢爬虫贴，特别是那种不断换动作的动作片，嘻...(一脸邪恶) 上图为su ren系列，年轻或清纯....(眼神迷离)直接上代码。

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. 
   
4. 
   
5. class Luxu8Spider(scrapy.Spider):
   
6.     name = 'luxu8'
   
7.     allowed_domains = ['www.259luxu8.com']
   
8.     start_urls = ['https://www.259luxu8.com/']
   
9. 
   
10.     def parse(self, response):
    
11.         list_link = response.xpath('//ul[@id="menu-259luxu"]/li')[1:]
    
12.         link_href_list = [(link.xpath('./a/@href').get(), link.xpath('./a/text()').get()) for link in list_link]
    
13.         for link, name in link_href_list:
    
14.             yield response.follow(link, callback=self.parse_list, meta={'name': name})
    
15. 
    
16.     def parse_list(self, response):
    
17.         article_list = response.xpath('//div[@id="post_list_box"]/article')
    
18.         article_href_list = [article.xpath('./header[@class="entry-header"]/h2/a/@href').get() for article in article_list]
    
19.         for link in article_href_list:
    
20.             yield response.follow(link, callback=self.parse_detail, meta={'name': response.meta['name']})
    
21. 
    
22.         # 获取下一页地址
    
23.         next_url = response.xpath('//a[@title="下页"]/@href').get()
    
24.         if next_url:
    
25.             yield response.follow(next_url, callback=self.parse_list, meta={'name': response.meta['name']})
    
26. 
    
27.     def parse_detail(self, response):
    
28.         img_name = response.xpath('//p/img/@alt').get()
    
29.         img_list = response.xpath('//p/img/@src').getall()
    
30.         img_path_list = [('{}/{}/{}_{}'.format(self.name, response.meta['name'], img_name, i+1),
    
31.                           img_list[i]) for i in range(len(img_list))]
    
32.         print('Downloading: {}'.format(img_name))
    
33.         yield {'img_list': img_path_list}

复制代码

        以上代码基于scrapy框架，看起来较为简单清晰，其思路大概为：首先获取网站首页取分类页的链接，然后爬取分类的列表页，接着进入详情页获取番号图，不断地提取<下一页>以爬取整个网站。

1. import scrapy
   
2. from scrapy.pipelines.images import ImagesPipeline
   
3. 
   
4. 
   
5. class MmSpiderPipeline(object):
   
6.     def process_item(self, item, spider):
   
7.         return item
   
8. 
   
9. 
   
10. class MyImagePipeline(ImagesPipeline):
    
11.     def get_media_requests(self, item, info):
    
12.         for name, image_url in item['img_list']:
    
13.             yield scrapy.Request(image_url, meta={'image_name': name})
    
14. 
    
15.     def file_path(self, request, response=None, info=None):
    
16.         name = request.meta['image_name']
    
17.         filename = '{}.jpg'.format(name)
    
18.         return filename

复制代码

        对于爬取到的番号链接列表，可使用继承scrapy内置类ImagesPipeline以达到下载并修改将图片名命名为相应的番号的目的，使用其还需要设置下IMAGES_STORE='./mm',这里指的是图片下载到目录mm下。
        以上网站有2500+番号图。标题25000+？哈，今天爬了三个网站，保存了25000+的番号图，但是由于首次发帖，不知道这样是否违规，但为了鱼油们的性福我还是铤而走险。各位鱼油可以自己把代码跑一遍，什么样mm都有（嘿～注意身体）。如果有鱼油对我另外的两个网站资源代码也感兴趣，可以联系下我邮箱，或者评论写邮箱地址，后面可考虑写个程序自动给你们发源码。如果有鱼油不重过程只重结果，只对25000+的番号图图有不轨，可私信我下，有空的话可以给你们发，太多人就不发了，所以还是建议你们自己跑程序，程序应该不会有什么问题，当然有问题可以评论下，鱼油互相帮助回答下！
mm_spider.zip (13.5 KB, 下载次数: 21, 售价: 1 鱼币)

2019-7-12 00:53 上传

点击文件名下载附件
scrapy源码

hdcomb

然后呢？？爬取下一步保存在哪了？请指教：hdcomb@163.com

stonejianbu

hdcomb 发表于 2019-7-11 19:43
然后呢？？爬取下一步保存在哪了？请指教：

帖子已编辑。对于爬取到链接后有很多中处理方式，我选择继承ImagesPipeline类然后直接下载到本地。

renmjchn

renmjchn@qq.com
求源码

3437899705

老铁，我是小白，能不能直接点，感谢啊

83519489

gkd，老司机带带我，最爱那些一言不合就变换着姿势的网站了
gerry0071@163.com

233倔强不秃

滴滴滴