关于初学scrapy框架保存问题

wongyusing

代码如下：

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from op.items import OpItem
   
4. import re
   
5. import os
   
6. from scrapy.http import Request
   
7. import requests
   
8. 
   
9. class MyspiderSpider(scrapy.Spider):
   
10.     name = 'myspider'
    
11.     #allowed_domains = ['http://www.zhaojianpu.com/liuxing/']
    
12.     start_urls = ['http://www.zhaojianpu.com/liuxing//']
    
13.     # 文件保存地址
    
14.     base = r'/home/wongyusing/桌面/op/op/download/'
    
15.     def parse(self, response):
    
16.         items = []
    
17. 
    
18.         pattern = r'<li><a href="(.*?)" target="_blank">(.*?)</a></li>'
    
19.         mains = re.findall(pattern, response.text)
    
20.         reg = '<font color="FF0000">(.*?)</font>'
    
21.         #item['page_Name'] = '第' + re.findall(reg,response.text)[0] + '页'
    
22.         #print(mains, page_Name)
    
23.         for main in mains:
    
24.             item = OpItem()
    
25.             item['siteURL'] = main[0]
    
26.             item['title'] = main[1]
    
27.             item['page_Name'] = self.base + '第' + re.findall(reg, response.text)[0] + '页'
    
28.             item['fileName'] = item['page_Name'] + '/' + item['title']       #6.os.path.exists(path)如果path存在，返回True；如果path不存在，返回False。
    
29.             items.append(item)
    
30. 
    
31.         for item in items:  #创建文件夹
    
32.             fileName=item['fileName']
    
33.             if not os.path.exists(fileName):
    
34.                 os.makedirs(fileName)
    
35.                 # 6.os.path.exists(path)如果path存在，返回True
    
36.                 #用meta传入下一层
    
37.             yield Request(url=item['siteURL'],meta={'item1':item},callback=self.parse_two)
    
38. 
    
39.     def parse_two(self,response):
    
40.         detailURL = response.xpath('//*[@id="Article"]/div[1]/img/@src').extract()
    
41.         content = response.xpath('//*[@id="Article"]/div[1]/p[1]/text()').extract()
    
42. 
    
43. 
    

复制代码

问题如下：
1.我想让保存的时候是按（‘流行曲目’→→→第一页（页码数）→→→歌曲名（文件夹）→→→图片，简介）
的方式保存，需要在那个位置修改代码？（这个问题解决了）

2.该网站的排序是反转的，第二页的是305，第三页是304，以此类推到尾页是1，
该如何能让保存的时候是”305文件夹“对应第二页，”304“对应的内容是第三页呢？？（这个也解决了）

3.代码中的meta={'item1':item}是什么意思作用是什么？？（这个是我看别人写的，不太懂这个意思）
4.图片有两种类型，jpg格式，gif格式，scrapy内置的图片保存函数能用吗？？该怎么用？

5.为什么我在打印的时候，shell只返回两个内容？但经观察，每一页有60篇乐谱，如下图所示：

wongyusing

问题已解决，代码等我写好注释再放上来

wongyusing

完成了，
spider.py

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from op.items import OpItem
   
4. import re
   
5. import os
   
6. from scrapy.http import Request
   
7. import requests
   
8. import time
   
9. 
   
10. class MyspiderSpider(scrapy.Spider):
    
11.     name = 'myspider'
    
12.     #allowed_domains = ['http://www.zhaojianpu.com/liuxing/']
    
13.     start_urls = ['http://www.zhaojianpu.com/liuxing//']
    
14.     # 文件保存路径
    
15.     base = r'/home/wongyusing/桌面/op/op/download/'
    
16.     def parse(self, response):
    
17.         items = []
    
18. 
    
19.         pattern = r'<li><a href="(.*?)" target="_blank">(.*?)</a></li>'
    
20.         mains = re.findall(pattern, response.text)
    
21.         reg = '<font color="FF0000">(.*?)</font>'#获取当前页，并用做文件夹名
    
22. 
    
23.         for main in mains:
    
24.             item = OpItem()
    
25.             #获取乐谱的url
    
26.             item['siteURL'] = main[0]
    
27.             #获取标题
    
28.             item['title'] = main[1]
    
29.             # 获取当前页，并用做文件夹名，/home/wongyusing/桌面/op/op/download/第3页/
    
30.             item['page_Name'] = self.base + '第' + re.findall(reg, response.text)[0] + '页'
    
31.             #制作文件夹路径，“/home/wongyusing/桌面/op/op/download/第3页/爱了再说简谱图片”
    
32.             item['fileName'] = item['page_Name'] + '/' + item['title']       #6.os.path.exists(path)如果path存在，返回True；如果path不存在，返回False。
    
33.             items.append(item)
    
34. 
    
35. 
    
36.         for item in items:  #创建文件夹
    
37.             fileName=item['fileName']
    
38.             if not os.path.exists(fileName):
    
39.                 os.makedirs(fileName)#/home/wongyusing/桌面/op/op/download/第3页/爱了再说简谱图片
    
40.                 # 6.os.path.exists(path)如果path存在，返回True
    
41.                 #用meta传入下一层
    
42.             yield Request(url=item['siteURL'],meta={'item1':item},callback=self.parse_two)
    
43. 
    
44.         #获取乐谱数共18374篇乐谱
    
45.         all_score = response.xpath('/html/body/div[7]/div/b[1]/text()').extract()[0]
    
46.         #获取一页有多少篇乐谱
    
47.         row = response.xpath('/html/body/div[7]/div/b[2]/text()').extract()[0]
    
48.         max_page = int(all_score)//int(row)#地板除得出总页数
    
49. 
    
50.         for pa in range(1,max_page+1):#拼接URL，回调上去继续获取乐谱url列表
    
51. 
    
52.             page_url = 'http://www.zhaojianpu.com/liuxing/List_' + str(pa) + '.html'
    
53. 
    
54.             yield Request(page_url, callback=self.parse)
    
55. 
    
56. 
    
57. 
    
58.     def parse_two(self,response):
    
59.         item = OpItem()
    
60.         #获取图片的url
    
61.         url_3 = response.xpath('//*[@id="Article"]/div[1]/img/@src').extract()[0]
    
62.         #item2 = response.meta['item1']
    
63.         suffix = url_3[-4:]   #获取后缀，因为图片有两种格式.gif和.jpg格式
    
64.         #print(url_3)
    
65.         time.sleep(10)
    
66.         item['detailURL'] = 'http://www.zhaojianpu.com' + response.xpath('//*[@id="Article"]/div[1]/img/@src').extract()[0]
    
67. 
    
68.         item['content'] = response.xpath('//*[@id="Article"]/div[1]/p[1]/text()').extract()[0]
    
69.         item2 = response.meta['item1']
    
70.         item['path'] = item2['fileName'] + '/' + 'music' + suffix #生成绝对路径保存图片
    
71.         item['path2'] = item2['fileName'] + '/' + '简介' + '.txt' #生成绝对路径保存简介
    
72.         #print(item['path'])
    
73.         yield item
    
74.         
    
75. 
    
76. 
    
77. 
    
78. 
    
79. 
    
80. 
    
81. 
    

复制代码

items.py

1. 
   
2. import scrapy
   
3. 
   
4. 
   
5. 
   
6. class OpItem(scrapy.Item):
   
7.     # define the fields for your item here like:
   
8.     # name = scrapy.Field()
   
9.     siteURL = scrapy.Field()  # 首页中乐谱的URL
   
10.     pageURL = scrapy.Field() #每一张图片入口URL
    
11.     page_Name = scrapy.Field()#页码名字，用作保存
    
12.     detailURL = scrapy.Field() #图片原图地址
    
13.     content = scrapy.Field()#乐谱简介
    
14.     title = scrapy.Field() #乐谱的标题
    
15.     fileName = scrapy.Field() #文件夹名，每一个乐谱一个文件夹
    
16.     path = scrapy.Field() #图片存储路径（绝对路径）
    
17.     path2 = scrapy.Field()#简介的绝对路径
    

复制代码

pipe文件

1. import requests
   
2. import sys
   
3. from op.items import OpItem
   
4. 
   
5. 
   
6. 
   
7. 
   
8. 
   
9. class OpPipeline(object):
   
10.     def process_item(self, item, spider):
    
11.         detailURL = item['detailURL']
    
12.         path = item['path']
    
13.         image = requests.get(detailURL)
    
14.         f = open(path, 'wb')
    
15.         f.write(image.content)
    
16.         f.close()
    
17.         content = item['content']
    
18.         filename_path = item['path2']
    
19.         with open(filename_path, 'w', encoding='utf-8') as f:
    
20.             f.write(content + "\n")
    
21.         return item
    
22. 
    
23. 
    

复制代码

从4点钟运行到现在13点，没断过。

wongyusing

怎么把帖子设为已解决啊？？？？