[已解决]文件分段下载问题求助

Tom.Error

下面代码为完整代码，下载图片下下来正常，可下载MP3时，下载下来就没法打开，大佬可以看看哪里出问题大佬么 谢谢

1. import requests
   
2. import os
   
3. import threading
   
4. 
   
5. class Mythread(threading.Thread):
   
6.     def __init__(self,url,startpos,endpos,f):
   
7.         super(Mythread,self).__init__()
   
8.         self.url = url
   
9.         self.startpos = startpos
   
10.         self.endpos = endpos
    
11.         self.fd = f
    
12. 
    
13.     def download(self):
    
14.         print('start thread:%s at %s'%(self.getName(), self.startpos))
    
15.         headers = {'Range':'bytes=%s-%s'%(self.startpos,self.endpos)}
    
16.         res = requests.get(self.url,headers=headers)
    
17.         self.fd.seek(self.startpos)
    
18.         self.fd.write(res.content)
    
19.         print('Stop shread:%s at %s'%(self.getName(), self.startpos))
    
20.         self.fd.close()
    
21. 
    
22.     def run(self):
    
23.         self.download()
    
24. 
    
25. def Download(url, name, type_, path='file'):
    
26.     content_size = int(requests.get(url).headers['content-length'])  #大小
    
27.     threadnum = 3
    
28.     threading.BoundedSemaphore(threadnum)  # 允许线程个数
    
29.     step = content_size // threadnum
    
30.     file_list = []
    
31.     start = 0
    
32.     end = -1
    
33.     path = './' + str(path) + '/'
    
34.     isExists_book = os.path.exists(path)
    
35.     if not isExists_book:
    
36.         os.makedirs(path)
    
37.         print('创建%s成功' % path)
    
38.     file_path = path + name + '.' + type_
    
39.     with open(file_path, 'wb+') as f:
    
40.         fileno = f.fileno() #返回一个整型的文件描述符，可用于底层操作系统的 I/O 操作
    
41.         while end < content_size-1:
    
42.             start = end + 1
    
43.             end = start + step -1
    
44.             if end > content_size:
    
45.                 end = content_size
    
46.             print('start: %s,end: %s'%(start,end))
    
47.             dup = os.dup(fileno) #复制文件句柄
    
48.             fd = os.fdopen(dup, 'rb+', -1)
    
49.             t = Mythread(url,start,end,fd)
    
50.             t.start()
    
51.             file_list.append(t)
    
52.         for i in file_list:
    
53.             i.join()
    
54. 
    
55. if __name__ == '__main__':
    
56.     url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1566106547294&di=cc2aedbaa01adf93e26afd14968f838e&imgtype=0&src=http%3A%2F%2Ff.hiphotos.baidu.com%2Fimage%2Fpic%2Fitem%2Fb151f8198618367aa7f3cc7424738bd4b31ce525.jpg'
    
57.     #url = 'http://music.163.com/song/media/outer/url?id=189602.mp3'
    
58.     name = '111'
    
59.     type_ = 'jpg'
    
60.     path = 'img'
    
61.     Download(url,name,type_,path)

复制代码

最佳答案

月排行榜 / 总排行榜

yjsx86

2019-8-19 22:39:09

至少你代码中的MP3地址被服务器判断为爬虫给ban了, 给header加上user-agent

跳转到最佳答案楼层

永恒的蓝色梦想

你试一下直接下载

Tom.Error

永恒的蓝色梦想 发表于 2019-8-18 21:22
你试一下直接下载

我直接下载或者不分段下载，下载下来后都是正常的 都可以播放的

永恒的蓝色梦想

Tom.Error 发表于 2019-8-19 21:18
我直接下载或者不分段下载，下载下来后都是正常的 都可以播放的

好吧，不懂了

yjsx86

至少你代码中的MP3地址被服务器判断为爬虫给ban了, 给header加上user-agent

Tom.Error

yjsx86 发表于 2019-8-19 22:39
至少你代码中的MP3地址被服务器判断为爬虫给ban了, 给header加上user-agent

咦~~ 这个忘加了 加了后就好了
但还是不明白为什么不分就没问题 一分就有问题