[已解决]用multiprocessing爬取视频没反应

今天的我更强了

代码如下：
import os
os.chdir('..\\第十四章\\第十五章')
from multiprocessing import Pool
import requests
def demo(i):
    url='https://youku.cdn4-okzy.com/20200731/9301_08b1b217/1000k/hls/1af43c99c22000%03d.ts'%i
    print(url)
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
    response=requests.get(url,headers=headers)
    with open('{}'.format(url[-20:]),'wb') as f:
        f.write(response.content)
if __name__=='__main__':
    os.mkdir('如此美好')
    os.chdir('如此美好')
    pool=Pool(20)
    for i in range(668):
        pool.apply_async(demo,(i,))
    pool.close()
    pool.join()
   爬取爱奇艺的如此美好的我们，为什么没有反应？就感觉陷入无限循环中一样，问题出在哪里？有没有大佬知道，求解

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-8-16 15:27:24

用你的代码下载正常，我只是改了文件和文件夹名称。

1. 
   
2. import os
   
3. from multiprocessing import Pool
   
4. import requests
   
5. 
   
6. 
   
7. def demo(act_i):
   
8.         url = 'https://youku.cdn4-okzy.com/20200731/9301_08b1b217/1000k/hls/1af43c99c22000%03d.ts' % act_i
   
9.         print(url)
   
10.         headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
    
11.         response = requests.get(url, headers=headers)
    
12.         v_name = url.split('/')[-1]
    
13.         with open(v_name, 'wb') as f:
    
14.             f.write(response.content)
    
15. 
    
16. 
    
17. if __name__ == '__main__':
    
18.         if not os.path.exists('test'):
    
19.             os.mkdir('test')
    
20.         os.chdir('test')
    
21.         pool = Pool(20)
    
22.         for i in range(50):
    
23.             pool.apply_async(demo, (i,))
    
24.         pool.close()
    
25.         pool.join()
    

复制代码

跳转到最佳答案楼层

suchocolate

用你的代码下载正常，我只是改了文件和文件夹名称。

1. 
   
2. import os
   
3. from multiprocessing import Pool
   
4. import requests
   
5. 
   
6. 
   
7. def demo(act_i):
   
8.         url = 'https://youku.cdn4-okzy.com/20200731/9301_08b1b217/1000k/hls/1af43c99c22000%03d.ts' % act_i
   
9.         print(url)
   
10.         headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
    
11.         response = requests.get(url, headers=headers)
    
12.         v_name = url.split('/')[-1]
    
13.         with open(v_name, 'wb') as f:
    
14.             f.write(response.content)
    
15. 
    
16. 
    
17. if __name__ == '__main__':
    
18.         if not os.path.exists('test'):
    
19.             os.mkdir('test')
    
20.         os.chdir('test')
    
21.         pool = Pool(20)
    
22.         for i in range(50):
    
23.             pool.apply_async(demo, (i,))
    
24.         pool.close()
    
25.         pool.join()
    

复制代码

今天的我更强了

suchocolate 发表于 2020-8-16 15:27
用你的代码下载正常，我只是改了文件和文件夹名称。

好的 谢谢 可以了  请问您知道为什么我打开爱奇艺电视剧不同集数的网址到解析网站解析之后却是同一集嘛？

suchocolate

今天的我更强了 发表于 2020-8-16 15:52
好的 谢谢 可以了  请问您知道为什么我打开爱奇艺电视剧不同集数的网址到解析网站解析之后却是同一集嘛？

需要结合具体url分析，网址是什么？

今天的我更强了

suchocolate 发表于 2020-8-16 15:57
需要结合具体url分析，网址是什么？

就是爱奇艺里 如此美好的我们 1--16 集 能麻烦您搜一下吗