Scrapy 如何把网页上的图片和文字都下载下来，保存成PDF格式

回忆的小豆豆

我用scrapy现在已经能抓到文字和图片的链接，但是下一步不知道怎么保存，如何把图片和文字保存在一起，格式和网页一样呢？

就是pipline那块不知道怎么写，保存成PDF是不是还要借助别的模块？

ooxx7788

1. from scrapy.pipelines.images import ImagesPipeline
   
2. from scrapy.exceptions import DropItem
   
3. from scrapy import Request
   
4. 
   
5. 
   
6. class MmjpgPipeline(ImagesPipeline):
   
7.     def get_media_requests(self, item, info):
   
8.         for image_url in item['image_url']:
   
9.             yield Request(image_url)
   
10. 
    
11.     def item_completed(self, result, item, info):
    
12.         image_paths = [x['path'] for ok, x in result if ok]
    
13.         if not image_paths:
    
14.             raise DropItem('图片未下载好 %s' % image_paths)
    
15. 
    
16. 这一段是我用的下载图片的piplines的代码，给你参考参考。然后setting里面也有个设置，在scrapy的官方文档里面有写，那个基本就是照抄。
    
17. 文字部分，在spider里面卸载parse里面写就可以了。
    
18. 但是如果你想直接把两者组合起来，那我就不知道了。

复制代码

回忆的小豆豆

ooxx7788 发表于 2017-3-6 11:20

嗯，我想结合在一起，相当于把网页扫描了一遍那样

ooxx7788

那你可以试试pdfkit，好像很简单！

回忆的小豆豆

ooxx7788 发表于 2017-3-6 16:39
那你可以试试pdfkit，好像很简单！

嗯嗯，谢谢啊

回忆的小豆豆

另外，想请教下，有没有scrapy和pdfkit结合使用的资料？找了一圈，好像pdfkit和Beautifulsoup结合起来用的比较多

ooxx7788

回忆的小豆豆 发表于 2017-3-7 16:39
另外，想请教下，有没有scrapy和pdfkit结合使用的资料？找了一圈，好像pdfkit和Beautifulsoup结合起来用的 ...

pdfkit只要有网页就可以把html生成pdf了，理论上只要在scrapy的spider 里面的parse里面添加进pdfkit就实现了扫描网页的功能了。至于你要扫描哪些页面，只要在start_urls和rules里面设定好，应该就可以实现。

jackche0214

学习了