[已解决]使用urllib的urlretrieve需要伪装浏览器吗？

uranometria

如题！！！

用Request时候会报错：
Traceback (most recent call last):
  File "C:\Users\Administrator\Desktop\PYTHON\music.py", line 38, in <module>
    get_songs_file()
  File "C:\Users\Administrator\Desktop\PYTHON\music.py", line 35, in get_songs_file
    urllib.request.urlretrieve(url=req, filename=each)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 245, in urlretrieve
    url_type, path = _splittype(url)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\urllib\parse.py", line 988, in _splittype
    match = _typeprog.match(url)
TypeError: expected string or bytes-like object

========================================================================

现在报错改为了：
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。


完整代码如下：

1. import urllib.request
   
2. import time
   
3. import os
   
4. import re
   
5. 
   
6. #下载地址：https://freepd.com/music/Silly%20Intro.mp3
   
7. 
   
8. path = 'C:\\Users\\Administrator\\Documents\\cache'
   
9. os.chdir(path)
   
10. 
    
11. url = 'https://freepd.com/upbeat.php'
    
12. headers = {
    
13.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0'
    
14.     }
    
15. 
    
16. def get_songs_name():
    
17.     req = urllib.request.Request(url=url, headers=headers)
    
18.     result = urllib.request.urlopen(req)
    
19.     content = result.read().decode('utf-8')
    
20.     string = re.compile('<B>\w*\s\w*</B>')
    
21.     all_songs = string.findall(content)
    
22.     all_songs_name = []
    
23.     for each in all_songs:
    
24.         all_songs_name.append(each[3:-4] + '.mp3')
    
25.     return all_songs_name
    
26. 
    
27. def get_songs_file():
    
28.     for each in get_songs_name():
    
29.         path = each.replace(" ", "%20")
    
30.         download_url = "https://freepd.com/music/" + str(path)
    
31.         req = urllib.request.Request(url=download_url, headers=headers)
    
32.         result = urllib.request.urlopen(req)
    
33.         urllib.request.urlretrieve(url=req, filename=each) #直接使用download_url可以正常下载 改为req则不行，报错。
    
34.         time.sleep(20)
    
35.         
    
36. get_songs_file()
    

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-11-4 13:57:28

uranometria 发表于 2020-11-4 13:39
好的~谢谢您~还是想请教一下：urllib.request.urlretrieve使用的URL不需要进行处理，直接下载链接就可以 ...

一般不需要，urlretrieve一般是针对文件get，文件一般不看ua。而如果是get网页或json数据会看ua。

跳转到最佳答案楼层

永恒的蓝色梦想

好像是 get_song_file 中的 url 不对，发个完整代码吧

suchocolate

需要改ua，另外完整代码发下。

uranometria

永恒的蓝色梦想 发表于 2020-10-31 18:25
好像是 get_song_file 中的 url 不对，发个完整代码吧

您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

uranometria

suchocolate 发表于 2020-10-31 20:04
需要改ua，另外完整代码发下。

您好~已发代码

uranometria

DD自己！

uranometria

永恒的蓝色梦想 发表于 2020-10-31 18:25
好像是 get_song_file 中的 url 不对，发个完整代码吧

您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

uranometria

suchocolate 发表于 2020-10-31 20:04
需要改ua，另外完整代码发下。

您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

suchocolate

uranometria 发表于 2020-11-3 22:39
您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

1. 
   
2. import urllib.request
   
3. import os
   
4. import re
   
5. 
   
6. 
   
7. def ck_dir(dir):
   
8.     if not os.path.exists(dir):
   
9.         os.mkdir(dir)
   
10.     os.chdir(dir)
    
11. 
    
12. 
    
13. def main():
    
14.     ck_dir('pics')
    
15.     url = 'https://freepd.com/upbeat.php'
    
16.     headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0'}
    
17.     req = urllib.request.Request(url=url, headers=headers)
    
18.     result = urllib.request.urlopen(req)
    
19.     content = result.read().decode('utf-8')
    
20.     songs = re.findall(r'<B>(.*?)</B>', content)
    
21.     for each in songs:
    
22.         file_name = each + '.mp3'
    
23.         path = each.replace(" ", "%20") + '.mp3'
    
24.         download_url = "https://freepd.com/music/" + path
    
25.         print(download_url)
    
26.         urllib.request.urlretrieve(url=download_url, filename=file_name)
    
27.         print(f'已下载{each}')
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()

复制代码

uranometria

suchocolate 发表于 2020-11-4 09:29

这 我认真看了一下 好像没有解决我的问题

suchocolate

uranometria 发表于 2020-11-4 10:01
这 我认真看了一下 好像没有解决我的问题

直接帮你优化了，可以用。
你报错的问题是urlretrieve接收url，不接受req对象。可以shell里help(urllib.request.urlretrieve)查看具体需要的参数。
另外re语法帮你优化了，免去列表截取的麻烦。

uranometria

suchocolate 发表于 2020-11-4 12:05
直接帮你优化了，可以用。
你报错的问题是urlretrieve接收url，不接受req对象。可以shell里help(urlli ...

好的~谢谢您~还是想请教一下：urllib.request.urlretrieve使用的URL不需要进行处理，直接下载链接就可以了是吗？不需要伪装为服务器？

suchocolate

uranometria 发表于 2020-11-4 13:39
好的~谢谢您~还是想请教一下：urllib.request.urlretrieve使用的URL不需要进行处理，直接下载链接就可以 ...

一般不需要，urlretrieve一般是针对文件get，文件一般不看ua。而如果是get网页或json数据会看ua。

uranometria

suchocolate 发表于 2020-11-4 13:57
一般不需要，urlretrieve一般是针对文件get，文件一般不看ua。而如果是get网页或json数据会看ua。

好的~谢谢您~