Scrapy 如何把网页上的图片和文字都下载下来，保存成PDF格式

回忆的小豆豆

我用scrapy现在已经能抓到文字和图片的链接，但是下一步不知道怎么保存，如何把图片和文字保存在一起，格式和网页一样呢？

就是pipline那块不知道怎么写，保存成PDF是不是还要借助别的模块？

ooxx7788

from scrapy.pipelines.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy import Request


class MmjpgPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_url']:
            yield Request(image_url)

    def item_completed(self, result, item, info):
        image_paths = [x['path'] for ok, x in result if ok]
        if not image_paths:
            raise DropItem('图片未下载好 %s' % image_paths)

这一段是我用的下载图片的piplines的代码，给你参考参考。然后setting里面也有个设置，在scrapy的官方文档里面有写，那个基本就是照抄。
文字部分，在spider里面卸载parse里面写就可以了。
但是如果你想直接把两者组合起来，那我就不知道了。

回忆的小豆豆

ooxx7788 发表于 2017-3-6 11:20

嗯，我想结合在一起，相当于把网页扫描了一遍那样

ooxx7788

那你可以试试pdfkit，好像很简单！

回忆的小豆豆

ooxx7788 发表于 2017-3-6 16:39
那你可以试试pdfkit，好像很简单！

嗯嗯，谢谢啊

回忆的小豆豆

另外，想请教下，有没有scrapy和pdfkit结合使用的资料？找了一圈，好像pdfkit和Beautifulsoup结合起来用的比较多

ooxx7788

回忆的小豆豆 发表于 2017-3-7 16:39
另外，想请教下，有没有scrapy和pdfkit结合使用的资料？找了一圈，好像pdfkit和Beautifulsoup结合起来用的 ...

pdfkit只要有网页就可以把html生成pdf了，理论上只要在scrapy的spider 里面的parse里面添加进pdfkit就实现了扫描网页的功能了。至于你要扫描哪些页面，只要在start_urls和rules里面设定好，应该就可以实现。

jackche0214

学习了