python爬虫求助

laical · 发表于 2020-3-6 17:30:50

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

公司安排一个航空网站数据采集，不太清楚采集思路，请各大网友分享一下采集思路？

zltzlt · 发表于 2020-3-6 17:31:08

？？？

wp231957 · 发表于 2020-3-6 17:38:45

你自己需要知道你想要什么数据

laical · 发表于 2020-3-23 17:04:45

wp231957 发表于 2020-3-6 17:38
你自己需要知道你想要什么数据

采集价格数据

wp231957 · 发表于 2020-3-23 17:08:30

laical 发表于 2020-3-23 17:04
采集价格数据

首先，你查看网页源代码，看看能不能看到你想要的数据，要是能看到，就一切都好办
要是看不到，还要继续研究

FHS · 发表于 2020-3-23 17:54:41

get网页源码，然后用xpath通过元素快速获取就行了

Stubborn · 发表于 2020-3-24 00:24:54

像你这样的，不建议去爬，航空，12360，淘宝，都差不多，比较难爬的

admintest166 · 发表于 2020-3-24 00:38:23

一般来说这些网站都会采用2种以上反爬措施比如SVG 字体反爬等一般的关键数据都是要点手段才能拿得到

思路就是现在对你要爬取的网站某个数据进行抓包看看他是怎么呈现出来的是通过AJAX还是直接在网页源代码中显示出来的

如果在HTML代码中找不到你要的信息要就要么是AJAX 要么就是在某个API当中这个都是靠经验去爬的每个网站套路都不一样

账号		自动登录	找回密码
密码			立即注册