鱼C论坛

 找回密码
 立即注册
查看: 3421|回复: 8

贴吧爬虫中遇到的UnicodeEncodeError

[复制链接]
发表于 2016-4-11 22:57:54 | 显示全部楼层 |阅读模式
10鱼币
本帖最后由 maoxingming 于 2016-4-12 09:40 编辑

       在小甲鱼老师讲的《零基础入门学习Python》的“060论一只爬虫的自我修养8:正则表达式4”的视频课程中,小甲鱼老师以贴吧为演示,讲了如何下载贴吧图片,但是在我自己敲代码的过程中,我发现了如下截图中的UnicodeEncodeError问题,请大神帮忙解决一下,谢谢~~~坐等~~~~~
       注:原始代码请见附件~~~
QQ截图20160411225053.jpg

tieba.rar

400 Bytes, 下载次数: 2

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-4-11 22:57:55 | 显示全部楼层
  1. import urllib.request
  2. import re
  3. def open_url(url):
  4.     req=urllib.request.Request(url)
  5.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36')
  6.     page=urllib.request.urlopen(req)
  7.     html=page.read().decode('utf-8')
  8.     #return html
  9.     #遍历输出,如果print错误就跳过,继续输出下一个!
  10.     for each in html:
  11.         try:
  12.             print(each, end='')
  13.         except ValueError:
  14.             pass

  15.    
  16. if __name__=='__main__':
  17.     url='http://tieba.baidu.com/f?kw=%E5%A5%B3%E7%A5%9E&ie=utf-8'
  18.     #url='http://www.fishc.com'
  19.     open_url(url)
  20.    
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-4-12 09:44:48 | 显示全部楼层
本帖最后由 caobynk 于 2016-4-12 09:46 编辑

尝试了一下,貌似是因为网页中有个符号无法输出出来,其中的“吻号”符号不支持显示。
360截图-2324212.jpg
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-4-12 09:51:15 | 显示全部楼层
caobynk 发表于 2016-4-12 09:44
尝试了一下,貌似是因为网页中有个符号无法输出出来,其中的“吻号”符号不支持显示。

知道怎么解决么?我卡到这里了,发现很多人在网上也遇到了类似的问题
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-4-12 09:58:57 | 显示全部楼层
maoxingming 发表于 2016-4-12 09:51
知道怎么解决么?我卡到这里了,发现很多人在网上也遇到了类似的问题

试了一下,PyCharm能够完美运行。你可以试试。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-4-12 10:23:09 | 显示全部楼层
caobynk 发表于 2016-4-12 09:58
试了一下,PyCharm能够完美运行。你可以试试。

我是初学者,pycharm是什么东西?小甲鱼老师的《零基础入门学习Python》的课程中会讲到吗?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-4-12 10:26:45 | 显示全部楼层
本帖最后由 caobynk 于 2016-4-12 10:28 编辑
maoxingming 发表于 2016-4-12 10:23
我是初学者,pycharm是什么东西?小甲鱼老师的《零基础入门学习Python》的课程中会讲到吗?


这是Pycharm的介绍:
http://baike.baidu.com/link?url=afIR9bDxm_uWmZ9jNS5ISfiwbjY4nU-1rXCnqMZD-yUO3XElVuxVhtrY8eRRgkknrwy-f0yQOQt-idd7YH6u-_
这是下载地址:
http://www.jetbrains.com/pycharm/download/#section=windows
其中Community版本是免费的。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-4-12 10:33:49 | 显示全部楼层
caobynk 发表于 2016-4-12 10:26
这是Pycharm的介绍:
http://baike.baidu.com/link?url=afIR9bDxm_uWmZ9jNS5ISfiwbjY4nU-1rXCnqMZD-yU ...

额。。。我以为是python的模块什么的。。。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-4-24 19:33:15 | 显示全部楼层
路过
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-20 16:11

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表