关于爬虫保存图片流程的问题（写了许多注释）

wongyusing

代码如下：

1. import urllib
   
2. import re
   
3. import requests
   
4. import time
   
5. import os
   
6. from lxml import etree
   
7. '''
   
8. 流程：
   
9.        1.通过简谱分类中获取所有“部分”，#https://www.zhaogepu.com/jianpus
   
10.        2.获取”部分“的url进行拼接，得到   #https://www.zhaogepu.com/jianpus/1
    
11.        3.获取“部分”的页码   #https://www.zhaogepu.com/jianpus/1/2.html
    
12.        4.获取乐谱的url       #https://www.zhaogepu.com/jianpu/287159.html
    
13.        5.打开乐谱的url获取图片  
    
14. '''
    
15. 
    
16. def url_open(url):  # 网页打开函数，以防被禁
    
17.     headers = {
    
18.         'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
    
19.     req = requests.get(url, headers=headers)
    
20.     req.encoding = 'utf-8'
    
21.     return req.text
    
22. 
    
23. def get_section_num(url):#获取“部分”后缀的url
    
24.     ret = url_open(url)
    
25.     html = etree.HTML(ret)
    
26.     sites = html.xpath('/html/body/div[6]/ul')
    
27.     for site in sites:
    
28.         folder_name = site.xpath('/html/body/div[6]/ul//a/text()')
    
29.         section_urls = site.xpath('/html/body/div[6]/ul//a/@href')
    
30.         return folder_name,section_urls
    
31.               #文件夹名字， 分类的url
    
32. def get_page_num(section_url):#获取“部分”的页码
    
33.     ret = url_open(section_url)     #https://www.zhaogepu.com/jianpus/1
    
34.     html = etree.HTML(ret)
    
35.     sites = html.xpath('/html/body/div[7]/div/a[last()-1]/@href')[0]
    
36.     req = r'/jianpus/.*?/(.*?).html'   #/jianpus/1/30.html
    
37.     site = re.findall(req, sites)[0]
    
38.     for i in range(1,int(site)+1):
    
39.         page_url = section_url + '/' + str(i) + '.html'
    
40.         page_name = '第' + str(i) + '页'
    
41.         return page_url,page_name
    
42.               #页码url， 页码名字（用于创建文件夹名字）
    
43. 
    
44. def get_score_url(page_url):#获取每一页的乐谱url
    
45.     ret = url_open(page_url)  # https://www.zhaogepu.com/jianpu/390516.html
    
46.     html = etree.HTML(ret)
    
47.     base_url = 'https://www.zhaogepu.com'
    
48.     sites = html.xpath('//tr//td[2]/a/@href')
    
49.     for site in sites:
    
50.         score_url = base_url + site
    
51. 
    
52.         return score_url
    
53.               #乐谱详情页url
    
54. 
    
55. def get_img(score_url):#获取图片的url和乐曲标题
    
56.     ret = url_open(score_url)  # https://www.zhaogepu.com/jianpu/390516.html
    
57.     html = etree.HTML(ret)
    
58.     sites = html.xpath('/html/body/div[4]/div[1]/div[4]/a/@href')
    
59.     title = html.xpath('/html/body/div[4]/div[1]/h1/text()')
    
60.     for img_url in sites:
    
61. 
    
62.         return img_url,title
    
63.               #图片地址，标题名字（用于创建文件夹名）
    
64. 
    
65. 
    
66. 
    
67. def score(): #主函数
    
68.     url = 'https://www.zhaogepu.com/jianpus'
    
69.     folder_name, section_urls = get_section_num(url)#获取“部分”后缀的url和部分的序数，folder_name(用作文件夹名)
    
70.     base_url = 'https://www.zhaogepu.com'
    
71.     for i in section_urls:
    
72.         section_url = base_url + i   #https://www.zhaogepu.com/jianpus/1
    
73.         page_url, page_name = get_page_num(section_url)#获取“部分”的页码
    
74.        #页码url，  页码名 （用于创建文件夹）
    
75.         score_url = get_score_url(page_url)#获取乐谱的url
    
76.        #↑↑乐谱详情页的url
    
77.         img_url, title = get_img(score_url)#获取图片并保存
    
78.        #↑↑↑↑     ↑↑↑↑
    
79.        #图片url， 标题名（用于创建文件夹）
    
80. 
    
81. #保存方式：乐谱>>>>第一部分>>>>第一页>>>>标题名>>>>图片
    
82.         #乐谱->>>folder_name->>>page_name->>>title->>>图片
    
83. 
    
84. 
    
85. if __name__ == "__main__":
    
86.     score()

复制代码

问题如下：
1.如何才能让爬取下来的图片按”乐谱>>>>第一部分>>>>第一页>>>>标题名>>>>图片“保存？
2.如果用scrapy写的话该怎么写？最近在学，但还是不会用。
3.这个爬虫还能写少点代码吗？就是让代码少一点，不用写那么多。
4.能否推荐点Python爬取数据保存到mySQL数据库的代码或者文章，让我研究一下。

gopythoner

https://github.com/Hopetree/Jobs-search
保存到MySQL和mongodb都有，自己看