下载韩国某网址图片UnicodeDecodeError的问题 python3

ddtufoer

代码很简单，就是抓取一个网址的图片地址，然后生成列表，打印出来。但是总是报UnicodeDecodeError的错误。希望有热心的鱼友能帮忙解决。

1. import urllib.request
   
2. import os
   
3. 
   
4. url='http://www.1300k.com/shop/goodsDetail.html?f_goodsno=215023276979'
   
5. 
   
6. def url_open(url):
   
7.          req=urllib.request.Request(url)
   
8.          req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36')
   
9.          response=urllib.request.urlopen(url)
   
10.          read=response.read()
    
11.          
    
12.          return read
    
13. 
    
14. print(url_open(url))
    
15. 
    
16. if __name__=='__main__':
    
17.          html=url_open(url).decode('utf-8','ignore')
    
18.          img_addrs=[]
    
19.          a=html.find('scr=')
    
20.          while a!=-1:
    
21.                   b=html.find('.jpg',a,a+255)
    
22.                   if b!=-1:
    
23.                            img_addrs.append(html[a+5:b+4])
    
24.                   else:
    
25.                            b=a+5
    
26. 
    
27.                   a=html.find('scr=',b)
    
28.          for each in img_addrs:
    
29.                   print(each)
    

复制代码

下面是报错：
Traceback (most recent call last):
  File "E:/1.py", line 13, in <module>
    html=url_open(url).decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc1 in position 0: invalid start byte

然后看了鱼友们的帖子，加入了gzip模块：

1. import urllib.request
   
2. import re, gzip, io
   
3. url='http://www.1300k.com/shop/goodsDetail.html?f_goodsno=215023276979'
   
4. req=urllib.request.Request(url)
   
5. req.header=('Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36')
   
6. response=urllib.request.urlopen(url)
   
7. 
   
8. buf = io.BytesIO(response.read())
   
9. gzip_f = gzip.GzipFile(fileobj=buf)
   
10. content = gzip_f.read()
    
11. 
    
12. print(content.decode("UTF-8"))
    

复制代码

下面是报错：

1. Traceback (most recent call last):
   
2.   File "E:/2.py", line 10, in <module>
   
3.     content = gzip_f.read()
   
4.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32\lib\gzip.py", line 274, in read
   
5.     return self._buffer.read(size)
   
6.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32\lib\gzip.py", line 461, in read
   
7.     if not self._read_gzip_header():
   
8.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35-32\lib\gzip.py", line 409, in _read_gzip_header
   
9.     raise OSError('Not a gzipped file (%r)' % magic)
   
10. OSError: Not a gzipped file (b'\xc1\xa2')

复制代码

SixPy

<meta http-equiv="Content-Type" content="text/html; charset=euc-kr">

ddtufoer

SixPy 发表于 2016-8-2 22:01

大侠我看不懂啊，你能说下我应该在代码里怎样改吗~我很菜很菜~

SixPy

euc-kr    用 'cp949' 解码~

1. >>> import requests as req
   
2. >>> rsp=req.get('http://www.1300k.com/shop/goodsDetail.html?f_goodsno=215023276979')
   
3. >>> rsp
   
4. <Response [200]>
   
5. >>> rsp.encoding='cp949'
   
6. >>> print(rsp.text)
   
7. &#51217;&#44540;&#51060; &#48520;&#44032;&#45733;&#54620; &#50937;&#48652;&#46972;&#50864;&#51256;&#51077;&#45768;&#45796;.
   
8. >>>

复制代码

ddtufoer

SixPy 发表于 2016-8-2 22:13
euc-kr    用 'cp949' 解码~

谢谢！我马上去试！

SixPy

直接用 'euckr' 也可以~

1. >>> rsp.encoding='cp949'
   
2. >>> print(rsp.text)
   
3. &#51217;&#44540;&#51060; &#48520;&#44032;&#45733;&#54620; &#50937;&#48652;&#46972;&#50864;&#51256;&#51077;&#45768;&#45796;.
   
4. >>> rsp.encoding='euckr'
   
5. >>> print(rsp.text)
   
6. &#51217;&#44540;&#51060; &#48520;&#44032;&#45733;&#54620; &#50937;&#48652;&#46972;&#50864;&#51256;&#51077;&#45768;&#45796;.
   

复制代码

ddtufoer

SixPy 发表于 2016-8-2 22:13
euc-kr    用 'cp949' 解码~

那句韩文的意思是，这种方法是不可能的Web浏览器。但是我已经加了add_header了，它的服务器还有其它方法识别程序的抓取吗？ 版主大侠？

SixPy

ddtufoer 发表于 2016-8-2 22:24
那句韩文的意思是，这种方法是不可能的Web浏览器。但是我已经加了add_header了，它的服务器还有其它方法 ...

你先用浏览器开那个网页，把 headers 复制出来，就可以了~

ddtufoer

SixPy 发表于 2016-8-2 22:30
你先用浏览器开那个网页，把 headers 复制出来，就可以了~

我就是那么干的

1. req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36')

复制代码

我也只会这方法，就是小甲鱼视频教的方法。可是还是不行....

SixPy

ddtufoer 发表于 2016-8-2 22:35
我就是那么干的

我也只会这方法，就是小甲鱼视频教的方法。可是还是不行....

多线程下载图片，以及 界面互动~
http://bbs.fishc.com/thread-74052-1-1.html

你去看看  headers 怎么写~

ddtufoer

SixPy 发表于 2016-8-2 22:47
多线程下载图片，以及 界面互动~
http://bbs.fishc.com/thread-74052-1-1.html

好的，我去学习了~~~~，麻烦大侠了

ddtufoer

ddtufoer 发表于 2016-8-2 22:53
好的，我去学习了~~~~，麻烦大侠了

感觉好像版本不对，我说的是python3，你的代码是python2的......

ddtufoer

打印read()方法得出的内容，访问被拒绝，已经使用了add_header方法更改了User-Agent。

1. import urllib.request
   
2. import os
   
3. 
   
4. url='http://www.1300k.com/shop/goodsDetail.html?f_goodsno=215023276979'
   
5. 
   
6. 
   
7. req=urllib.request.Request(url)
   
8. req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36')
   
9. response=urllib.request.urlopen(url)
   
10. read=response.read()
    
11.          
    
12. print(read)

复制代码

运行后结果为：

1. b'\xc1\xa2\xb1\xd9\xc0\xcc \xba\xd2\xb0\xa1\xb4\xc9\xc7\xd1 \xc0\xa5\xba\xea\xb6\xf3\xbf\xec\xc1\xae\xc0\xd4\xb4\xcf\xb4\xd9.'

复制代码

代码特别短，明显不是网页全部内容。经SixPy大侠帮助，以上代码用为euc-kr，用 'cp949' 解码为&#51217;&#44540;&#51060; &#48520;&#44032;&#45733;&#54620; &#50937;&#48652;&#46972;&#50864;&#51256;&#51077;&#45768;&#45796;，翻译成中文为‘这种方法是不可能的Web浏览器’。显然被服务器拒绝。
求热心大侠们解答

lw随风

楼主，你应该是request用错了，我把你的代码稍微改了一下，可以得到网页源码（开始我还以为和cookie有关系）

ddtufoer

lw随风 发表于 2016-8-4 21:33
楼主，你应该是request用错了，我把你的代码稍微改了一下，可以得到网页源码（开始我还以为和cookie有关系 ...

可以了，十分感谢！！！！！！可以继续编了，非常高兴！！！！！！！！！！！