[已解决]scrapy爬取图片

风尘岁月

最经开始学习scrapy框架
虽然文字会 但是图片就不会了
大体我已经写好了
问题:
如何在self.csv_write = csv.DictWriter(self.f,fieldnames=['img_url','file_name'])左右
直接提取出img_url和file_name
而不是写入data.csv文件
(别问我为什么不直接遍历)
dimensional.zip (15.93 KB, 下载次数: 13)

2020-9-26 20:18 上传

点击文件名下载附件
代码

最佳答案

月排行榜 / 总排行榜

Stubborn

2020-9-26 20:19:19

风尘岁月 发表于 2020-10-1 19:03
然后再丢到管道文件进行写入?
大佬

直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。

跳转到最佳答案楼层

Stubborn

风尘岁月 发表于 2020-10-1 19:03
然后再丢到管道文件进行写入?
大佬

直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。

suchocolate

原始网址发出来

wzdr

还在学习基础中

YunGuo

利用scrapy的ImagesPipeline管道进行图片下载

一、settings文件配置：

1. ITEM_PIPELINES = {
   
2.    'dimensional.pipelines.DimensionalPipeline': 300,
   
3. }
   
4. # 图片url
   
5. IMAGES_URLS_FIELD = 'image_urls'
   
6. IMAGES_RESULT_FIELD = 'images_path'
   
7. # 图片保存位置
   
8. IMAGES_STORE = '../dimensional/image'

复制代码

二、pipelines文件代码：

1. from scrapy.pipelines.images import ImagesPipeline
   
2. import scrapy
   
3. 
   
4. # 继承ImagesPipeline，实现保存图片
   
5. class DimensionalPipeline(ImagesPipeline):
   
6.    
   
7.     # 重写get_media_requests方法
   
8.     def get_media_requests(self, item, info):
   
9.         for image_url in item['image_urls']:
   
10.             yield scrapy.Request(image_url)
    
11. 
    
12.     def item_completed(self, results, item, info):
    
13.         # 获取图片保存路径
    
14.         image_path = [x['path'] for ok, x in results if ok]
    
15.         item['images_path'] = image_path
    
16.         yield item

复制代码

三、items文件代码：

1. import scrapy
   
2. 
   
3. 
   
4. class DimensionalItem(scrapy.Item):
   
5. 
   
6.     image_urls = scrapy.Field()
   
7.     images_path = scrapy.Field()
   

复制代码

四、main文件代码

1. import scrapy
   
2. from dimensional.items import DimensionalItem
   
3. 
   
4. class MainSpider(scrapy.Spider):
   
5.     name = 'main'
   
6.     allowed_domains = ['anime-pictures.net']
   
7.     start_urls = ['https://anime-pictures.net/pictures/view_posts/1?lang=en']
   
8. 
   
9.     def parse(self, response):
   
10.         result_list = response.xpath('//span[@class="img_block_big"]')
    
11.         url_list = []
    
12.         item = DimensionalItem()
    
13.         for sel in result_list:
    
14.             image_url = 'https:' + sel.xpath('./a/picture/source/img/@src').extract_first()
    
15.             url_list.append(image_url)
    
16.         item['image_urls'] = url_list
    
17.         yield item
    

复制代码

Stubborn

可以用scrapy自带的图片管道哦

1. from scrapy.pipelines.images import ImagesPipeline
   
2. 
   
3. 
   
4. class MzituScrapyPipeline(ImagesPipeline):
   
5. 
   
6.     def strip(self, s):
   
7.         import re
   
8.         return re.sub(r'[?\\*|"<>:/]', "", str(s))
   
9. 
   
10.     def file_path(self, request, response=None, info=None):
    
11.         item = request.meta["item"]
    
12.         file = self.strip(item["name"])
    
13.         img = request.url.split("/")[-1]
    
14.         file_name = u"full/{0}/{1}".format(file, img)
    
15.         return file_name
    
16. 
    
17.     def get_media_requests(self, item, info):
    
18.         referer = item["url"]
    
19.         yield scrapy.Request(
    
20.             url=item["image_urls"],
    
21.             meta={"item": item, "referer": referer}
    
22.         )
    
23. 
    
24.     def item_completed(self, results, item, info):
    
25.         image_paths = [x['path'] for ok, x in results if ok]
    
26.         if not image_paths:
    
27.             raise DropItem("Item contains no images")
    
28.         return item

复制代码

风尘岁月

Stubborn 发表于 2020-9-28 21:39
可以用scrapy自带的图片管道哦

知道 但是问题在如何提取image_url和file_name而不用写入

sbx

我来看看！

Stubborn

风尘岁月 发表于 2020-10-1 06:39
知道 但是问题在如何提取image_url和file_name而不用写入

最简单的一个问题，一个图片的二进制响应，response 打包丢给管道，看你怎么去处理嘛~

你的是本地的吗？在网页响应里面提取出img_url, img_name  在继续去发请求，得到二进制响应。然后把二进制响应，和img_name 丢给管道嘛~

风尘岁月

Stubborn 发表于 2020-10-1 18:41
最简单的一个问题，一个图片的二进制响应，response 打包丢给管道，看你怎么去处理嘛~

你的是本地的 ...

这个道理懂
请问大佬 如何提取出file_name和image_url(main.py文件里面有详细的)在管道文件中
谢谢大佬!

Stubborn

风尘岁月 发表于 2020-10-1 18:48
这个道理懂
请问大佬 如何提取出file_name和image_url(main.py文件里面有详细的)在管道文件中 ...

1.     def parse(self, response):
   
2.         result_list = response.xpath('//span[@class="img_block_big"]')
   
3.         for sel in result_list:
   
4.             image_url = sel.xpath('./a/picture/source/img/@src').extract_first()
   
5.             img_url = 'https:' + image_url  # 手动拼url
   
6.             id = str(randint(0, 99999999999999))
   
7.             file_name = id + '.' + img_url.split('.')[-1]
   
8. 
   
9.             item = DimensionalItem(img_url = img_url,file_name = file_name)
   
10.             yield item

复制代码

你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？

风尘岁月

Stubborn 发表于 2020-10-1 18:56
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？

你的意思是直接在main.py文件进行请求?

风尘岁月

Stubborn 发表于 2020-10-1 18:56
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？

然后再丢到管道文件进行写入?
大佬

风尘岁月

Stubborn 发表于 2020-10-1 19:05
直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。

Soga 谢谢大佬