[已解决]scrapy爬取图片

风尘岁月

最经开始学习scrapy框架
虽然文字会 但是图片就不会了
大体我已经写好了
问题:
如何在self.csv_write = csv.DictWriter(self.f,fieldnames=['img_url','file_name'])左右
直接提取出img_url和file_name
而不是写入data.csv文件
(别问我为什么不直接遍历)
dimensional.zip (15.93 KB, 下载次数: 13)

2020-9-26 20:18 上传

点击文件名下载附件
代码

最佳答案

月排行榜 / 总排行榜

Stubborn

2020-9-26 20:19:19

风尘岁月 发表于 2020-10-1 19:03
然后再丢到管道文件进行写入?
大佬

直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。

跳转到最佳答案楼层

Stubborn

风尘岁月 发表于 2020-10-1 19:03
然后再丢到管道文件进行写入?
大佬

直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。

suchocolate

原始网址发出来

wzdr

还在学习基础中

YunGuo

利用scrapy的ImagesPipeline管道进行图片下载

一、settings文件配置：

ITEM_PIPELINES = {
   'dimensional.pipelines.DimensionalPipeline': 300,
}
# 图片url
IMAGES_URLS_FIELD = 'image_urls'
IMAGES_RESULT_FIELD = 'images_path'
# 图片保存位置
IMAGES_STORE = '../dimensional/image'

二、pipelines文件代码：

from scrapy.pipelines.images import ImagesPipeline
import scrapy

# 继承ImagesPipeline，实现保存图片
class DimensionalPipeline(ImagesPipeline):
    
    # 重写get_media_requests方法
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        # 获取图片保存路径
        image_path = [x['path'] for ok, x in results if ok]
        item['images_path'] = image_path
        yield item

三、items文件代码：

import scrapy


class DimensionalItem(scrapy.Item):

    image_urls = scrapy.Field()
    images_path = scrapy.Field()

四、main文件代码

import scrapy
from dimensional.items import DimensionalItem

class MainSpider(scrapy.Spider):
    name = 'main'
    allowed_domains = ['anime-pictures.net']
    start_urls = ['https://anime-pictures.net/pictures/view_posts/1?lang=en']

    def parse(self, response):
        result_list = response.xpath('//span[@class="img_block_big"]')
        url_list = []
        item = DimensionalItem()
        for sel in result_list:
            image_url = 'https:' + sel.xpath('./a/picture/source/img/@src').extract_first()
            url_list.append(image_url)
        item['image_urls'] = url_list
        yield item

Stubborn

可以用scrapy自带的图片管道哦

from scrapy.pipelines.images import ImagesPipeline


class MzituScrapyPipeline(ImagesPipeline):

    def strip(self, s):
        import re
        return re.sub(r'[?\\*|"<>:/]', "", str(s))

    def file_path(self, request, response=None, info=None):
        item = request.meta["item"]
        file = self.strip(item["name"])
        img = request.url.split("/")[-1]
        file_name = u"full/{0}/{1}".format(file, img)
        return file_name

    def get_media_requests(self, item, info):
        referer = item["url"]
        yield scrapy.Request(
            url=item["image_urls"],
            meta={"item": item, "referer": referer}
        )

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        return item

风尘岁月

Stubborn 发表于 2020-9-28 21:39
可以用scrapy自带的图片管道哦

知道 但是问题在如何提取image_url和file_name而不用写入

sbx

我来看看！

Stubborn

风尘岁月 发表于 2020-10-1 06:39
知道 但是问题在如何提取image_url和file_name而不用写入

最简单的一个问题，一个图片的二进制响应，response 打包丢给管道，看你怎么去处理嘛~

你的是本地的吗？在网页响应里面提取出img_url, img_name  在继续去发请求，得到二进制响应。然后把二进制响应，和img_name 丢给管道嘛~

风尘岁月

Stubborn 发表于 2020-10-1 18:41
最简单的一个问题，一个图片的二进制响应，response 打包丢给管道，看你怎么去处理嘛~

你的是本地的 ...

这个道理懂
请问大佬 如何提取出file_name和image_url(main.py文件里面有详细的)在管道文件中
谢谢大佬!

Stubborn

风尘岁月 发表于 2020-10-1 18:48
这个道理懂
请问大佬 如何提取出file_name和image_url(main.py文件里面有详细的)在管道文件中 ...

    def parse(self, response):
        result_list = response.xpath('//span[@class="img_block_big"]')
        for sel in result_list:
            image_url = sel.xpath('./a/picture/source/img/@src').extract_first()
            img_url = 'https:' + image_url  # 手动拼url
            id = str(randint(0, 99999999999999))
            file_name = id + '.' + img_url.split('.')[-1]

            item = DimensionalItem(img_url = img_url,file_name = file_name)
            yield item

你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？

风尘岁月

Stubborn 发表于 2020-10-1 18:56
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？

你的意思是直接在main.py文件进行请求?

风尘岁月

Stubborn 发表于 2020-10-1 18:56
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？

然后再丢到管道文件进行写入?
大佬

风尘岁月

Stubborn 发表于 2020-10-1 19:05
直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。

Soga 谢谢大佬