[已解决]编码问题.

305910416

爬了一个网页的源码

1. opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
   
2. 
   
3. response = opener.open(url,urllib.parse.urlencode(data).encode('utf-8'))
   
4. 
   
5. html = response.read().decode('UTF-8')

复制代码

过程中出现了这个报错


UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 11386-11386: Non-BMP character not supported in Tk

肯定是网页里面含有UCS-2 码 在转化的过程中不能转化成unicode 码
请问这个要如何解决
有没有略过的选项

还有都说
isinstance()可以检查编码是否为某个编码
但是我在使用过程中还是有问题
a = isinstance(str,unicode)
还是报错
这个函数检查编码怎么写呢？

最佳答案

月排行榜 / 总排行榜

SixPy

2016-7-17 11:19:21

not supported in Tk

这是 Tk 的问题。
------------
UCS-2 就是 unicode 。

UCS-2 (2-byte Universal Character Set)

跳转到最佳答案楼层

SixPy

not supported in Tk

这是 Tk 的问题。
------------
UCS-2 就是 unicode 。

UCS-2 (2-byte Universal Character Set)

305910416

SixPy 发表于 2016-7-17 11:19
not supported in Tk

这是 Tk 的问题。

终于在外文上面找到了解决办法

1. non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
   
2. sender_all[i].translate(non_bmp_map)

复制代码

305910416

SixPy 发表于 2016-7-17 11:19
not supported in Tk

这是 Tk 的问题。

还有个问题，有没有比idle更好显示的编码器呢？

SixPy

直接双击，在小黑窗里运行，看会不会出错？

305910416

SixPy 发表于 2016-7-17 11:46
直接双击，在小黑窗里运行，看会不会出错？

已经解决了该问题
想问一下有没有其他的 编码器 类似这种带编译的

huomqh

305910416 发表于 2016-7-17 11:33
终于在外文上面找到了解决办法

能不能具体一点？针对你上面的代码，应该怎么调整？