[已解决]使用urllib的urlretrieve需要伪装浏览器吗？

uranometria

如题！！！

用Request时候会报错：
Traceback (most recent call last):
  File "C:\Users\Administrator\Desktop\PYTHON\music.py", line 38, in <module>
    get_songs_file()
  File "C:\Users\Administrator\Desktop\PYTHON\music.py", line 35, in get_songs_file
    urllib.request.urlretrieve(url=req, filename=each)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 245, in urlretrieve
    url_type, path = _splittype(url)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python38\lib\urllib\parse.py", line 988, in _splittype
    match = _typeprog.match(url)
TypeError: expected string or bytes-like object

========================================================================

现在报错改为了：
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。


完整代码如下：

import urllib.request
import time
import os
import re

#下载地址：https://freepd.com/music/Silly%20Intro.mp3

path = 'C:\\Users\\Administrator\\Documents\\cache'
os.chdir(path)

url = 'https://freepd.com/upbeat.php'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0'
    }

def get_songs_name():
    req = urllib.request.Request(url=url, headers=headers)
    result = urllib.request.urlopen(req)
    content = result.read().decode('utf-8')
    string = re.compile('<B>\w*\s\w*</B>')
    all_songs = string.findall(content)
    all_songs_name = []
    for each in all_songs:
        all_songs_name.append(each[3:-4] + '.mp3')
    return all_songs_name

def get_songs_file():
    for each in get_songs_name():
        path = each.replace(" ", "%20")
        download_url = "https://freepd.com/music/" + str(path)
        req = urllib.request.Request(url=download_url, headers=headers)
        result = urllib.request.urlopen(req)
        urllib.request.urlretrieve(url=req, filename=each) #直接使用download_url可以正常下载 改为req则不行，报错。
        time.sleep(20)
        
get_songs_file()

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-11-4 13:57:28

uranometria 发表于 2020-11-4 13:39
好的~谢谢您~还是想请教一下：urllib.request.urlretrieve使用的URL不需要进行处理，直接下载链接就可以 ...

一般不需要，urlretrieve一般是针对文件get，文件一般不看ua。而如果是get网页或json数据会看ua。

跳转到最佳答案楼层

永恒的蓝色梦想

好像是 get_song_file 中的 url 不对，发个完整代码吧

suchocolate

需要改ua，另外完整代码发下。

uranometria

永恒的蓝色梦想 发表于 2020-10-31 18:25
好像是 get_song_file 中的 url 不对，发个完整代码吧

您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

uranometria

suchocolate 发表于 2020-10-31 20:04
需要改ua，另外完整代码发下。

您好~已发代码

uranometria

DD自己！

uranometria

永恒的蓝色梦想 发表于 2020-10-31 18:25
好像是 get_song_file 中的 url 不对，发个完整代码吧

您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

uranometria

suchocolate 发表于 2020-10-31 20:04
需要改ua，另外完整代码发下。

您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

suchocolate

uranometria 发表于 2020-11-3 22:39
您好~已发~审核好像等了一段时间~希望可以帮忙看看!!

import urllib.request
import os
import re


def ck_dir(dir):
    if not os.path.exists(dir):
        os.mkdir(dir)
    os.chdir(dir)


def main():
    ck_dir('pics')
    url = 'https://freepd.com/upbeat.php'
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0'}
    req = urllib.request.Request(url=url, headers=headers)
    result = urllib.request.urlopen(req)
    content = result.read().decode('utf-8')
    songs = re.findall(r'<B>(.*?)</B>', content)
    for each in songs:
        file_name = each + '.mp3'
        path = each.replace(" ", "%20") + '.mp3'
        download_url = "https://freepd.com/music/" + path
        print(download_url)
        urllib.request.urlretrieve(url=download_url, filename=file_name)
        print(f'已下载{each}')


if __name__ == '__main__':
    main()

uranometria

suchocolate 发表于 2020-11-4 09:29

这 我认真看了一下 好像没有解决我的问题

suchocolate

uranometria 发表于 2020-11-4 10:01
这 我认真看了一下 好像没有解决我的问题

直接帮你优化了，可以用。
你报错的问题是urlretrieve接收url，不接受req对象。可以shell里help(urllib.request.urlretrieve)查看具体需要的参数。
另外re语法帮你优化了，免去列表截取的麻烦。

uranometria

suchocolate 发表于 2020-11-4 12:05
直接帮你优化了，可以用。
你报错的问题是urlretrieve接收url，不接受req对象。可以shell里help(urlli ...

好的~谢谢您~还是想请教一下：urllib.request.urlretrieve使用的URL不需要进行处理，直接下载链接就可以了是吗？不需要伪装为服务器？

suchocolate

uranometria 发表于 2020-11-4 13:39
好的~谢谢您~还是想请教一下：urllib.request.urlretrieve使用的URL不需要进行处理，直接下载链接就可以 ...

一般不需要，urlretrieve一般是针对文件get，文件一般不看ua。而如果是get网页或json数据会看ua。

uranometria

suchocolate 发表于 2020-11-4 13:57
一般不需要，urlretrieve一般是针对文件get，文件一般不看ua。而如果是get网页或json数据会看ua。

好的~谢谢您~