>>>初学爬虫，抓取某音效网站数据， 感谢小甲鱼老师

zua

代码很简单。复制运行，还没加代理，主要是学习逻辑。

1. import urllib.request
   
2. import traceback
   
3. import sys
   
4. import os
   
5. import re
   
6. 
   
7. def open_url(url):
   
8.     req = urllib.request.Request(url)
   
9.     req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393")   
   
10.     response = urllib.request.urlopen(req)
    
11.     html = response.read()
    
12.     return html
    
13. 
    
14. def get_url(r,html):
    
15.     url = re.findall(r,html)
    
16.     return url
    
17.    
    
18. def chdir(folder):
    
19.     if not os.path.exists(folder):
    
20.         os.mkdir(folder)
    
21.     os.chdir(folder)
    
22.    
    
23. def main():   
    
24.     folder = "C:\\Users\Administrator\Desktop\_Download_Sound"
    
25.     chdir(folder)                               #创建文件夹
    
26. 
    
27.     original_url = "http://sc.chinaz.com/yinxiao"
    
28.     r = r'<a target="_blank" href="/(.+?)</a>'  #主菜单链接
    
29.     r1 = r'<p class="z"><a target="_blank" href="/(.+ alt.+?)">'
    
30.     r2 = r'http.+?\.wav'
    
31.     n = 0
    
32. 
    
33.     html = open_url(original_url).decode("utf-8")
    
34.     list = get_url(r,html)
    
35.     for i in list:
    
36.         a = i.split('">')[0]
    
37.         b = i.split('">')[1]
    
38.         if "/" in b:
    
39.             b = b[3:-4]
    
40. 
    
41.         #创建文件夹
    
42.         chdir(b)
    
43.         new_url = os.path.join("http://sc.chinaz.com//",a)
    
44.         #print(new_url)
    
45.         #下载每个链接里面的二级链接
    
46.         new_html = open_url(new_url).decode("utf-8")
    
47.         list = get_url(r1,new_html)
    
48.         for i in list:
    
49.             a = i.split('" alt="')[0]
    
50.             b = i.split('" alt="')[1]
    
51. 
    
52.             #获取wav文件下载网页
    
53.             new_url = os.path.join("http://sc.chinaz.com//",a)
    
54.             #print(new_url,b)#是下载目录链接了，名字
    
55. 
    
56.             #取wav下载链接
    
57.             wav_html = open_url(new_url).decode("utf-8")
    
58.             list = get_url(r2,wav_html)
    
59.             #print(list[0])
    
60. 
    
61.             file = b +".wav"
    
62.             if not os.path.exists(file):
    
63.                 file = b + ".wav"
    
64.             else:
    
65.                 file = b + "%d"%(n) +".wav"
    
66.                 n += 1
    
67.             with open(file,"wb") as f:
    
68.                 html = open_url(list[0])
    
69.                 print("正在下载：%s" % b)
    
70.                 f.write(html)
    
71. 
    
72.         os.chdir(os.pardir)                     #下载完返回上一次目录
    
73. 
    
74. 
    
75. if __name__ == "__main__":
    
76.     try:
    
77.         main()
    
78.     except SystemExit:
    
79.         pass
    
80.     except:
    
81.         traceback.print_exc()
    
82.         sys.quit()
    
83.         input()

复制代码

zua

主要是做pygame的时候需要各种背景，所以就直接爬下来了、
学以致用啊

javabang

厉害了，谢谢分享。

cc9200

直接复制粘贴就能用，厉害了word哥！！！！！赞一个

zua

这个爬一小部分可以，要大量爬得用框架，多线程处理。

alitaoge

这周的目标就是自己编一个，能爬一小部分的

jackcang

jay6697117

楼主辛苦