[已解决]scrapy

哈岁NB

大佬们，为什么这个程序没有报错，但最后却没有保存下图片，请求帮忙看一看
爬虫文件

1. import scrapy
   
2. from ..items import TupianItem
   
3. 
   
4. class TuSpider(scrapy.Spider):
   
5.     name = 'tu'
   
6.     #allowed_domains = ['www.xxx.com']
   
7.     start_urls = ['https://pic.netbian.com/4kmeinv/']
   
8. 
   
9.     def parse(self, response):
   
10.         li_list = response.xpath('//*[@id="main"]/div[3]/ul/li')
    
11.         for li in li_list:
    
12.             img_src = "https://pic.netbian.com" + li.xpath('.//img/@src').extract_first()
    
13.             item = TupianItem()
    
14.             item['src'] = img_src
    
15. 
    
16.             yield item

复制代码

items文件

1. import scrapy
   
2. 
   
3. 
   
4. class TupianItem(scrapy.Item):
   
5.     # define the fields for your item here like:
   
6.     # name = scrapy.Field()
   
7.     src = scrapy.Field()

复制代码

pipelines文件

1. import scrapy
   
2. 
   
3. from itemadapter import ItemAdapter
   
4. 
   
5. from scrapy.pipelines.images import ImagesPipeline
   
6. class mediaPileline(ImagesPipeline):
   
7. 
   
8.     #重写三个方法
   
9.     def get_media_requests(self, item, info):
   
10. 
    
11.         img_src = item['src']
    
12.         print(img_src)
    
13.         yield scrapy.Request(img_src)
    
14.     def file_path(self, request, response=None, info=None, *, item=None):
    
15.         imgName = request.url.split('/')[-1]
    
16.         print(imgName,'保存成功')
    
17.         return imgName
    
18.     def item_completed(self, results, item, info):
    
19.         return item

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-2-13 16:56:23

哈岁NB 发表于 2023-2-13 16:54
那视频和音频也需要安装别的吗

不用，只是 ImagesPipeline 有转换图片大小和格式所以需要用到 Pillow 这个库

跳转到最佳答案楼层

isdkz

配置文件 settings.py 里面关键的三个配置设置了没有？

第一（启用 pipeline）：

ITEM_PIPELINES = {
   "test0.pipelines.mediaPileline": 300                # test0 换成你的爬虫项目名
}

第二（设置图片存储路径）：

IMAGES_STORE = './images'                          

第三（禁用 robots 君子协议，这个看情况加，因为有一些网站没有在 robots.txt 中对图片的爬取进行限制）：

ROBOTSTXT_OBEY = False

哈岁NB

isdkz 发表于 2023-2-13 10:36
配置文件 settings.py 里面关键的三个配置设置了没有？

第一（启用 pipeline）：

启用了

isdkz

哈岁NB 发表于 2023-2-13 13:04
启用了

启用了也还是不行吗？

哈岁NB

isdkz 发表于 2023-2-13 13:21
启用了也还是不行吗？

是的

isdkz

哈岁NB 发表于 2023-2-13 13:53
是的

我试了 scrapy crawl tu 没有问题呀

哈岁NB

isdkz 发表于 2023-2-13 13:58
我试了 scrapy crawl tu 没有问题呀

那我在试试

哈岁NB

isdkz 发表于 2023-2-13 13:58
我试了 scrapy crawl tu 没有问题呀

1.     def get_media_requests(self, item, info):
   
2. 
   
3.         img_src = item['src']
   
4.         print(img_src)
   
5.         yield scrapy.Request(img_src)
   
6.     def file_path(self, request, response=None, info=None, *, item=None):
   
7.         imgName = request.url.split('/')[-1]
   
8.         print(imgName,'保存成功')
   
9.         return imgName
   
10.     def item_completed(self, results, item, info):
    
11.         return item

复制代码

我发现这三个函数不运行，这是为什么呢

isdkz

哈岁NB 发表于 2023-2-13 14:27
我发现这三个函数不运行，这是为什么呢

你是执行 scrapy crawl tu 这条命令吗？

哈岁NB

isdkz 发表于 2023-2-13 14:33
你是执行 scrapy crawl tu 这条命令吗？

是的

哈岁NB

isdkz 发表于 2023-2-13 14:33
你是执行 scrapy crawl tu 这条命令吗？

这个输入完，啥也不保存就结束了

isdkz

哈岁NB 发表于 2023-2-13 14:38
是的

那奇怪了，这个看着也没有问题呀

哈岁NB

isdkz 发表于 2023-2-13 14:42
那奇怪了，这个看着也没有问题呀

那我再试试

isdkz

哈岁NB 发表于 2023-2-13 14:44
那我再试试

截一下 tu.py 给我看看

哈岁NB

isdkz 发表于 2023-2-13 14:52
截一下 tu.py 给我看看

这个

isdkz

哈岁NB 发表于 2023-2-13 15:10
这个

有可能是你获取到的不是图片链接，你 print 一下 img_src 看看

1. import scrapy
   
2. from ..items import TupianItem
   
3. 
   
4. class TuSpider(scrapy.Spider):
   
5.     name = 'tu'
   
6.     #allowed_domains = ['www.xxx.com']
   
7.     start_urls = ['https://pic.netbian.com/4kmeinv/']
   
8. 
   
9.     def parse(self, response):
   
10.         li_list = response.xpath('//*[@id="main"]/div[3]/ul/li')
    
11.         
    
12.         for li in li_list:
    
13.             img_src = "https://pic.netbian.com" + li.xpath('.//img/@src').extract_first()
    
14.             print(img_src)               # print 一下 img_src
    
15.             item = TupianItem()
    
16.             item['src'] = img_src
    
17. 
    
18.             yield item

复制代码

哈岁NB

isdkz 发表于 2023-2-13 15:25
有可能是你获取到的不是图片链接，你 print 一下 img_src 看看

链接没错呀

isdkz

哈岁NB 发表于 2023-2-13 15:43
链接没错呀

我知道你什么问题了，你把 LOG_LEVEL 设置成 ERROR 级别了，不然你应该会看到这么一个 WARNING

2023-02-13 15:57:27 [scrapy.middleware] WARNING: Disabled mediaPileline: ImagesPipeline requires installing Pillow 4.0.0 or later

这个就是说 禁用了 mediaPileline （Disabled mediaPileline），

因为ImagesPipeline 需要安装 Pillow 4.0.0 或者更新的版本（ImagesPipeline requires installing Pillow 4.0.0 or later）

所以你要安装一下 Pillow:

1. pip install pillow -i https://mirrors.aliyun.com/pypi/simple

复制代码

哈岁NB

isdkz 发表于 2023-2-13 16:00
我知道你什么问题了，你把 LOG_LEVEL 设置成 ERROR 级别了，不然你应该会看到这么一个 WARNING

解决了解决了，感谢感谢，这个包是干什么用的呢

isdkz

哈岁NB 发表于 2023-2-13 16:47
解决了解决了，感谢感谢，这个包是干什么用的呢

Pillow是用来处理图片的