[已解决]第 53讲最后一题编码问题

丶霁灵

1. import chardet
   
2. import urllib.request as ur
   
3. with open('urls.txt') as f:   
   
4.     count = 0
   
5.     while 1:
   
6.         try:
   
7.             count += 1
   
8.             response = ur.urlopen(f.readline().splitlines()[0]).read()
   
9.             dict1 = chardet.detect(response)
   
10.             if dict1['encoding'] == 'GB2312':
    
11.                 dict1['encoding'] =='GBK'
    
12.             with open(('url_%d.txt' % count),'w') as f2:
    
13.                 f2.write(response.decode(encoding=dict1['encoding'],errors ='ignore')) #报错行
    
14.             dict1 = {}
    
15.         except IndexError :
    
16.             break

复制代码

报错的内容是：
f2.write(response.decode(encoding=dict1['encoding'],errors ='ignore'))
UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 33875: illegal multibyte sequence

首先我设置了忽略错误，并且我是在decode并不是在encode哇，为啥就是报错

url_2创建了但是没有数据，估计就是没有写入啦。
各位大大这种情况该如何解决呢

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-3-3 18:06:41

这样试试呢：

1. import chardet
   
2. import urllib.request as ur
   
3. 
   
4. with open('urls.txt') as f:
   
5.     count = 0
   
6.     while 1:
   
7.         try:
   
8.             count += 1
   
9.             req = ur.Request(f.readline().splitlines()[0])
   
10.             req.add_header("User-Agent", "Mozilla/5.0")
    
11.             response = ur.urlopen(req).read()
    
12.             dict1 = chardet.detect(response)
    
13.             if dict1['encoding'] == 'GB2312':
    
14.                 dict1['encoding'] = 'GBK'
    
15.             with open(('url_%d.txt' % count), 'w', encoding=dict1['encoding']) as f2:
    
16.                 f2.write(response.decode(encoding=dict1['encoding']))
    
17.             dict1 = {}
    
18.         except IndexError:
    
19.             break

复制代码

跳转到最佳答案楼层

zltzlt

这样试试：

1. import chardet
   
2. import urllib.request as ur
   
3. 
   
4. with open('urls.txt') as f:
   
5.     count = 0
   
6.     while 1:
   
7.         try:
   
8.             count += 1
   
9.             response = ur.urlopen(f.readline().splitlines()[0]).read()
   
10.             dict1 = chardet.detect(response)
    
11.             if dict1['encoding'] == 'GB2312':
    
12.                 dict1['encoding'] = 'GBK'
    
13.             with open(('url_%d.txt' % count), 'w', encoding=dict1['encoding']) as f2:
    
14.                 f2.write(response.decode(encoding=dict1['encoding']))
    
15.             dict1 = {}
    
16.         except IndexError:
    
17.             break

复制代码

丶霁灵

zltzlt 发表于 2020-3-3 17:05
这样试试：

Traceback (most recent call last):
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\example\爬虫第一课\text.py", line 9, in <module>
    response = ur.urlopen(f.readline().splitlines()[0]).read()
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 531, in open
    response = meth(req, response)
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 640, in http_response
    response = self.parent.error(
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 502, in _call_chain
    result = func(*args)
  File "D:\Users\45579\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 418:


这个urllib的错误我猝不及防

zltzlt

丶霁灵 发表于 2020-3-3 17:33
Traceback (most recent call last):
  File "D:%users\45579\AppData\Local\Programs\Python\Python38\ ...

没有加 headers，自己加上 headers

丶霁灵

zltzlt 发表于 2020-3-3 17:59
没有加 headers，自己加上 headers

百度了一下headers，好像我还没学到这里
俺马上去学

zltzlt

丶霁灵 发表于 2020-3-3 18:04
百度了一下headers，好像我还没学到这里
俺马上去学

如果实在不会我帮你加吧，等下

zltzlt

这样试试呢：

1. import chardet
   
2. import urllib.request as ur
   
3. 
   
4. with open('urls.txt') as f:
   
5.     count = 0
   
6.     while 1:
   
7.         try:
   
8.             count += 1
   
9.             req = ur.Request(f.readline().splitlines()[0])
   
10.             req.add_header("User-Agent", "Mozilla/5.0")
    
11.             response = ur.urlopen(req).read()
    
12.             dict1 = chardet.detect(response)
    
13.             if dict1['encoding'] == 'GB2312':
    
14.                 dict1['encoding'] = 'GBK'
    
15.             with open(('url_%d.txt' % count), 'w', encoding=dict1['encoding']) as f2:
    
16.                 f2.write(response.decode(encoding=dict1['encoding']))
    
17.             dict1 = {}
    
18.         except IndexError:
    
19.             break

复制代码

丶霁灵

zltzlt 发表于 2020-3-3 18:06
这样试试呢：

确实ok了，虽然新加的这点有点一头雾水，不过后面应该会教的吧

zltzlt

丶霁灵 发表于 2020-3-3 18:17
确实ok了，虽然新加的这点有点一头雾水，不过后面应该会教的吧

会的，headers 用于隐藏爬虫