鱼C论坛

 找回密码
 立即注册
查看: 1540|回复: 5

[已解决]爬虫获取标题,为什么我获得的title是一堆乱码?

[复制链接]
发表于 2018-7-10 01:35:33 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
我都不知道这些字符是什么语言……疑似希腊字母
最佳答案
2018-7-10 02:42:37
编码问题,了解一下 -> http://bbs.fishc.org/thread-66086-1-1.html
luanma.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-7-10 02:42:37 | 显示全部楼层    本楼为最佳答案   
编码问题,了解一下 -> http://bbs.fishc.org/thread-66086-1-1.html
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-7-10 22:11:22 | 显示全部楼层
本帖最后由 id是什么 于 2018-7-10 22:19 编辑


小甲鱼别走!!!!谢谢小甲鱼亲自回复我!
但是并没有解决,我用chardet测试了一下,是置信度0.99的GB2312,然后我decodeGB2312或者decodeGBK没有用……
我检查了一下网页,有一段涉及utf-8的
<script type="text/javascript" async="" charset="utf-8" src="http://c.cnzz.com/core.php?web_id=30012213&amp;t=q"></script>

还有一段gb2312的
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">

两段都在head里

PS,我用同一段代码是可以获得鱼Cbbs的标题的,甚至不需要decode,不知道为什么

网址
http://bbs.jjwxc.net/showmsg.php?board=36&id=11002
我给这个网站回帖的时候打开Form Data看,提交的也是首楼那种奇怪的希腊字母

luan

luan
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-7-11 18:12:44 | 显示全部楼层
怎么decode都不对……继续求解……
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-7-11 18:26:36 | 显示全部楼层
你要获取这个地址的什么内容,我帮你试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-7-12 20:48:23 | 显示全部楼层
pl2379965 发表于 2018-7-11 18:26
你要获取这个地址的什么内容,我帮你试试

其实就是链接首楼的那篇文章和几条回复orz,想做成txt当电子书看……
如果你愿意帮忙实在是太好了……
PS在小甲鱼的点播下我终于发现了问题所在,是因为我用requests模块,然后request模块没有识别到网页是用gb2312编码的,用英文体系的编码给我解码了所以全是希腊字母……我设置了requests模块的encoding就好了。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-4-27 07:22

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表