python3.x 更改了一下下载方式【代码见14楼】，仍然差几个文件无法下载

wp231957

网上搜了一下，都好麻烦啊   有没有简单的办法

# coding: utf-8
from urllib.request import urlretrieve
from bs4 import BeautifulSoup
import re,os,requests

path="e:\\reeoo.pic\\"
isExists=os.path.exists(path)
if not isExists:
  os.makedirs(path)
else:
  print (path+' 目录已存在' )
headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
url="http://reeoo.com"
res = requests.get(url,headers=headers,timeout=20)
content=res.text
#ls2=re.findall("https:\/\/media\.langtze\.com\/(?:[a-zA-Z]+|[\u4e00-\u9fa5]+)\.png!page",content)
ls2=re.findall("https:\/\/media\.langtze\.com\/[a-zA-Z]+\.png!page",content)
for x in ls2[:]:
  print(path+x[26:-5])
  urlretrieve(x,path+x[26:-5])
  
上面的代码下载没有问题，但是含有中文的文件就中断了 返回很多错误

wp231957

1. # coding: utf-8
   
2. from urllib.request import urlretrieve
   
3. from bs4 import BeautifulSoup
   
4. import re,os,requests
   
5. 
   
6. path="e:\\reeoo.pic\"
   
7. isExists=os.path.exists(path)
   
8. if not isExists:
   
9.   os.makedirs(path)
   
10. else:
    
11.   print (path+' 目录已存在' )
    
12. headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
13. url="http://reeoo.com"
    
14. res = requests.get(url,headers=headers,timeout=20)
    
15. content=res.text
    
16. ls2=re.findall("https:\/\/media\.langtze\.com\/[^\.]+\.png!page",content)
    
17. for x in ls2[:]:
    
18.   try:
    
19.     print(path+x[26:-5])
    
20.     urlretrieve(x,path+x[26:-5])
    
21.   except:
    
22.     print(path+x[26:-5]+"下载失败")
    
23.   
    
24.   
    
25. '''
    
26. E:\>python ex8.py
    
27. e:\reeoo.pic\Nam Insik’s Portfolio Site.png
    
28. e:\reeoo.pic\Nam Insik’s Portfolio Site.png下载失败
    
29. e:\reeoo.pic\和-水都饌菓.png
    
30. e:\reeoo.pic\和-水都饌菓.png下载失败
    
31. e:\reeoo.pic\notabag.png
    
32. e:\reeoo.pic\このラジオがヤバい.png
    
33. e:\reeoo.pic\このラジオがヤバい.png下载失败
    
34. e:\reeoo.pic\BAKE CHEESE TART.png
    
35. e:\reeoo.pic\BAKE CHEESE TART.png下载失败
    
36. e:\reeoo.pic\HAMADA TEA.png
    
37. e:\reeoo.pic\HAMADA TEA.png下载失败
    
38. e:\reeoo.pic\Mogney.png
    
39. e:\reeoo.pic\村山人形店.png
    
40. e:\reeoo.pic\村山人形店.png下载失败
    
41. e:\reeoo.pic\Borraginol Town.png
    
42. e:\reeoo.pic\Borraginol Town.png下载失败
    
43. e:\reeoo.pic\Maxim Shkret.png
    
44. e:\reeoo.pic\Maxim Shkret.png下载失败
    
45. e:\reeoo.pic\Hinderer & Wolff.png
    
46. e:\reeoo.pic\Hinderer & Wolff.png下载失败
    
47. e:\reeoo.pic\Superrb.png
    
48. e:\reeoo.pic\Vintage.png
    
49. e:\reeoo.pic\Wind and Words.png
    
50. e:\reeoo.pic\Wind and Words.png下载失败
    
51. e:\reeoo.pic\Discover the Global World of Lexus.png
    
52. e:\reeoo.pic\Discover the Global World of Lexus.png下载失败
    
53. e:\reeoo.pic\BRANU.png
    
54. e:\reeoo.pic\ActiveCollab.png
    
55. e:\reeoo.pic\S-GROOVE.png
    
56. e:\reeoo.pic\66° Nord.png
    
57. e:\reeoo.pic\66° Nord.png下载失败
    
58. e:\reeoo.pic\STUDIO.png
    
59. e:\reeoo.pic\Bartle Bogle Hegarty.png
    
60. e:\reeoo.pic\Bartle Bogle Hegarty.png下载失败
    
61. e:\reeoo.pic\Unrivaled Calligraphy Yan Zhenqing and His Legacy.png
    
62. e:\reeoo.pic\Unrivaled Calligraphy Yan Zhenqing and His Legacy.png下载失败
    
63. e:\reeoo.pic\CHALLENGE Studio.png
    
64. e:\reeoo.pic\CHALLENGE Studio.png下载失败
    
65. '''
    

复制代码

水柔炎

wp231957 发表于 2019-4-7 09:29

在14行和15行中间加一个res.decode='utf8'看看，能不能解决问题，可能是编码问题

水柔炎

wp231957 发表于 2019-4-7 09:29

你下载的是图片吗？如果是图片，那你要调用open（）把它写成图片的文件

wp231957

水柔炎 发表于 2019-4-7 09:42
你下载的是图片吗？如果是图片，那你要调用open（）把它写成图片的文件

直接下载保存 urlretrieve  干嘛要写图片啊
而且open 同样存在中文名不行的问题

水柔炎

wp231957 发表于 2019-4-7 09:45
直接下载保存 urlretrieve  干嘛要写图片啊
而且open 同样存在中文名不行的问题

我没有用过urlretrieve ，不知道，那你看看是不是编码问题吧

wp231957

水柔炎 发表于 2019-4-7 09:41
在14行和15行中间加一个res.decode='utf8'看看，能不能解决问题，可能是编码问题

没用呢

凌九霄

因为中文是双字节，所以你的字符串截取有问题，试试下面的代码：

1. for x in ls2[:]:
   
2.   try:
   
3.     print(path+x[26:])
   
4.     urlretrieve(x,path+x[26:])
   
5.   except:
   
6.     print(path+x[26:]+"下载失败")

复制代码

wp231957

凌九霄 发表于 2019-4-7 11:03
因为中文是双字节，所以你的字符串截取有问题，试试下面的代码：

比原来代码多下载了8个文件  但是 还是不行

E:\>python ex8.py
e:\reeoo.pic\ 目录已存在
e:\reeoo.pic\Nam Insik’s Portfolio Site.png!page
e:\reeoo.pic\Nam Insik’s Portfolio Site.png!page下载失败
e:\reeoo.pic\和-水都饌菓.png!page
e:\reeoo.pic\和-水都饌菓.png!page下载失败
e:\reeoo.pic\notabag.png!page
e:\reeoo.pic\このラジオがヤバい.png!page
e:\reeoo.pic\このラジオがヤバい.png!page下载失败
e:\reeoo.pic\BAKE CHEESE TART.png!page
e:\reeoo.pic\BAKE CHEESE TART.png!page下载失败
e:\reeoo.pic\HAMADA TEA.png!page
e:\reeoo.pic\HAMADA TEA.png!page下载失败
e:\reeoo.pic\Mogney.png!page
e:\reeoo.pic\村山人形店.png!page
e:\reeoo.pic\村山人形店.png!page下载失败
e:\reeoo.pic\Borraginol Town.png!page
e:\reeoo.pic\Borraginol Town.png!page下载失败
e:\reeoo.pic\Maxim Shkret.png!page
e:\reeoo.pic\Maxim Shkret.png!page下载失败
e:\reeoo.pic\Hinderer & Wolff.png!page
e:\reeoo.pic\Hinderer & Wolff.png!page下载失败
e:\reeoo.pic\Superrb.png!page
e:\reeoo.pic\Vintage.png!page
e:\reeoo.pic\Wind and Words.png!page
e:\reeoo.pic\Wind and Words.png!page下载失败
e:\reeoo.pic\Discover the Global World of Lexus.png!page
e:\reeoo.pic\Discover the Global World of Lexus.png!page下载失败
e:\reeoo.pic\BRANU.png!page
e:\reeoo.pic\ActiveCollab.png!page
e:\reeoo.pic\S-GROOVE.png!page
e:\reeoo.pic\66° Nord.png!page
e:\reeoo.pic\66° Nord.png!page下载失败
e:\reeoo.pic\STUDIO.png!page
e:\reeoo.pic\Bartle Bogle Hegarty.png!page
e:\reeoo.pic\Bartle Bogle Hegarty.png!page下载失败
e:\reeoo.pic\Unrivaled Calligraphy Yan Zhenqing and His Legacy.png!page
e:\reeoo.pic\Unrivaled Calligraphy Yan Zhenqing and His Legacy.png!page下载失败
e:\reeoo.pic\CHALLENGE Studio.png!page
e:\reeoo.pic\CHALLENGE Studio.png!page下载失败

凌九霄

wp231957 发表于 2019-4-7 11:19
比原来代码多下载了8个文件  但是 还是不行

E:\>python ex8.py

文件路径应该没有问题了，下载失败的原因与此无关

wp231957

凌九霄 发表于 2019-4-7 11:28
文件路径应该没有问题了，下载失败的原因与此无关

不识别中文 日文啥的  不识别空格   

只是不知道咋解决

凌九霄

wp231957 发表于 2019-4-7 11:32
不识别中文 日文啥的  不识别空格   

只是不知道咋解决

应该是urlretrieve不识别空格之类的吧

chxchxkkk

path+x[26:-5]
感觉是这个切片的问题。

wp231957

1. # coding: utf-8
   
2. from urllib.request import urlretrieve
   
3. from bs4 import BeautifulSoup
   
4. import re,os,requests,urllib
   
5. from urllib.request import urlopen
   
6. 
   
7. 
   
8. path="e:\\reeoo.pic\"
   
9. isExists=os.path.exists(path)
   
10. if not isExists:
    
11.   os.makedirs(path)
    
12. else:
    
13.   print (path+' 目录已存在' )
    
14. headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
15. url="http://reeoo.com"
    
16. res = requests.get(url,headers=headers,timeout=20)
    
17. content=res.text
    
18. ls2=re.findall("https:\/\/media\.langtze\.com\/[^\.]+\.png!page",content)
    
19. for x in ls2[:]:
    
20.   filename=path+x[26:-5]
    
21.   #print(x)
    
22.   try:
    
23.     url2=re.sub(r" ","%20",x)
    
24.     response = urlopen(url2)
    
25.     with open(filename, 'wb') as fp:
    
26.       fp.write(response.read())
    
27.   except:
    
28.     print(x)  
    
29.   

复制代码

还差以下几个文件无法下载：
https://media.langtze.com/Nam Insik’s Portfolio Site.png!page
https://media.langtze.com/和-水都饌菓.png!page
https://media.langtze.com/このラジオがヤバい.png!page
https://media.langtze.com/村山人形店.png!page
https://media.langtze.com/Hinderer & Wolff.png!page
https://media.langtze.com/66° Nord.png!page