爬虫非http网站

fan1993423

对于这样的网站alires:///WebUI/chatmsg/recent.html? 不是http，https开头的网站该怎么爬，试过用requests会报错。有什么好的办法吗？

newu

本质上还是html页面，试试看能不能用python的open函数打开，

如果不能，就把html页面保存下来，然后再用open函数打开html文档，对立面的内容进行解析

然后再用，lxml，beautifulsoup来解析html文件并抽取内容即可

害怕型全嘲豪

你这网址能用浏览器浏览么？可用的话就可用用selenium一类的自动化测试工具进行爬取

fan1993423

害怕型全嘲豪 发表于 2019-6-28 09:47
你这网址能用浏览器浏览么？可用的话就可用用selenium一类的自动化测试工具进行爬取

不能哦，显示无法访问此网站 找不到 webui 的服务器 IP 地址。
尝试运行 Windows 网络诊断。
DNS_PROBE_FINISHED_NXDOMAIN
网址是这种lires:///WebUI/chatmsg/recent.html?debug=true&type=0&dlguniqname=0cb44d0f-6012-4a8a-83fd-57e36f09e1f3&param=%7B%22actiondata%22%3A%22%22%2C%22actiontype%22%3A0%2C%22cid%22%3A%7B%22appkey%22%3A%22%22%2C%22nick%22%3A%22%22%7D%2C%22gids%22%3A%5B%5D%2C%22readmsgid%22%3A%22%22%2C%22readmsgtime%22%3A%22%22%7D&lang=zh_CN

fan1993423

newu 发表于 2019-6-28 09:43
本质上还是html页面，试试看能不能用python的open函数打开，

如果不能，就把html页面保存下来，然后再用 ...

open函数不是还能打开文件吗？能打开网址吗？另外你说的html页面保存下来是指复制来解析吗？

newu

fan1993423 发表于 2019-6-28 10:21
open函数不是还能打开文件吗？能打开网址吗？另外你说的html页面保存下来是指复制来解析吗？

我猜想这个协议可能就是本地的地址啊，

保存的话点击浏览器的"文件"->"保存"就好了，或者直接按Ctrl+S保存

wp231957

浏览器都打不开，还玩啥了

fan1993423

wp231957 发表于 2019-6-28 10:25
浏览器都打不开，还玩啥了

是啊，这也是我困惑的点

fan1993423

newu 发表于 2019-6-28 10:24
我猜想这个协议可能就是本地的地址啊，

保存的话点击浏览器的"文件"->"保存"就好了，或者直接按Ctrl+S ...

嗯，我想抓取实时的聊天信息。我在千牛界面F12得到的信息，现在就是不知道该怎么弄

newu

fan1993423 发表于 2019-6-28 10:45
嗯，我想抓取实时的聊天信息。我在千牛界面F12得到的信息，现在就是不知道该怎么弄

这状态嘛是200，难道不是http协议吗

试试requests可不可行?

fan1993423

不行哦

fan1993423

@冬雪雪冬 @塔利班 @瞬秒爆加速 @RIXO @wongyusing 大佬快来江湖救急

wongyusing

这个不像是消息的请求。
简单来说，这个地址请求的是一个html的窗口。
而不是消息的来源。  

再简单来说，这个地址只是开启了一个你对商家的聊天室。  

qiqixs

楼主你方法出来了吗，没有的话我们一起弄一下，现在也在研究这方面的东西，不过已经差不多要完善了企鹅472372788