scrapy爬取图片
最经开始学习scrapy框架虽然文字会 但是图片就不会了{:10_266:}
大体我已经写好了
问题:
如何在self.csv_write = csv.DictWriter(self.f,fieldnames=['img_url','file_name'])左右
直接提取出img_url和file_name
而不是写入data.csv文件
(别问我为什么不直接遍历){:10_243:}
风尘岁月 发表于 2020-10-1 19:03
然后再丢到管道文件进行写入?
大佬
直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。{:10_262:} 原始网址发出来 {:10_256:}{:10_256:} 还在学习基础中 利用scrapy的ImagesPipeline管道进行图片下载
一、settings文件配置：
ITEM_PIPELINES = {
'dimensional.pipelines.DimensionalPipeline': 300,
}
# 图片url
IMAGES_URLS_FIELD = 'image_urls'
IMAGES_RESULT_FIELD = 'images_path'
# 图片保存位置
IMAGES_STORE = '../dimensional/image'
二、pipelines文件代码：
from scrapy.pipelines.images import ImagesPipeline
import scrapy
# 继承ImagesPipeline，实现保存图片
class DimensionalPipeline(ImagesPipeline):
# 重写get_media_requests方法
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
# 获取图片保存路径
image_path = for ok, x in results if ok]
item['images_path'] = image_path
yield item
三、items文件代码：
import scrapy
class DimensionalItem(scrapy.Item):
image_urls = scrapy.Field()
images_path = scrapy.Field()
四、main文件代码
import scrapy
from dimensional.items import DimensionalItem
class MainSpider(scrapy.Spider):
name = 'main'
allowed_domains = ['anime-pictures.net']
start_urls = ['https://anime-pictures.net/pictures/view_posts/1?lang=en']
def parse(self, response):
result_list = response.xpath('//span[@class="img_block_big"]')
url_list = []
item = DimensionalItem()
for sel in result_list:
image_url = 'https:' + sel.xpath('./a/picture/source/img/@src').extract_first()
url_list.append(image_url)
item['image_urls'] = url_list
yield item
本帖最后由 Stubborn 于 2020-9-28 21:41 编辑
可以用scrapy自带的图片管道哦
from scrapy.pipelines.images import ImagesPipeline
class MzituScrapyPipeline(ImagesPipeline):
def strip(self, s):
import re
return re.sub(r'[?\\*|"<>:/]', "", str(s))
def file_path(self, request, response=None, info=None):
item = request.meta["item"]
file = self.strip(item["name"])
img = request.url.split("/")[-1]
file_name = u"full/{0}/{1}".format(file, img)
return file_name
def get_media_requests(self, item, info):
referer = item["url"]
yield scrapy.Request(
url=item["image_urls"],
meta={"item": item, "referer": referer}
)
def item_completed(self, results, item, info):
image_paths = for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
return item Stubborn 发表于 2020-9-28 21:39
可以用scrapy自带的图片管道哦
知道 但是问题在如何提取image_url和file_name而不用写入 我来看看！ 本帖最后由 Stubborn 于 2020-10-1 18:44 编辑
风尘岁月 发表于 2020-10-1 06:39
知道 但是问题在如何提取image_url和file_name而不用写入
最简单的一个问题，一个图片的二进制响应，response 打包丢给管道，看你怎么去处理嘛~
你的是本地的吗？在网页响应里面提取出img_url, img_name在继续去发请求，得到二进制响应。然后把二进制响应，和img_name 丢给管道嘛~
Stubborn 发表于 2020-10-1 18:41
最简单的一个问题，一个图片的二进制响应，response 打包丢给管道，看你怎么去处理嘛~
你的是本地的 ...
{:10_278:}这个道理懂
请问大佬 如何提取出file_name和image_url(main.py文件里面有详细的)在管道文件中
谢谢大佬! 风尘岁月 发表于 2020-10-1 18:48
这个道理懂
请问大佬 如何提取出file_name和image_url(main.py文件里面有详细的)在管道文件中 ...
def parse(self, response):
result_list = response.xpath('//span[@class="img_block_big"]')
for sel in result_list:
image_url = sel.xpath('./a/picture/source/img/@src').extract_first()
img_url = 'https:' + image_url# 手动拼url
id = str(randint(0, 99999999999999))
file_name = id + '.' + img_url.split('.')[-1]
item = DimensionalItem(img_url = img_url,file_name = file_name)
yield item
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？ Stubborn 发表于 2020-10-1 18:56
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？
你的意思是直接在main.py文件进行请求? Stubborn 发表于 2020-10-1 18:56
你前面不是有提取了吗？还去本地提取做什么？拿着url继续去发请求呀？不会发请求吗？
然后再丢到管道文件进行写入?
大佬 Stubborn 发表于 2020-10-1 19:05
直接在main.py文件进行请求，得到图片的二进制响应，打包丢给管道，看你怎么去处理嘛。
Soga 谢谢大佬{:10_275:}
页:
[1]