laical 发表于 2020-3-6 17:30:50

python爬虫求助

公司安排一个航空网站数据采集，不太清楚采集思路，请各大网友分享一下采集思路？

zltzlt 发表于 2020-3-6 17:31:08

？？？

wp231957 发表于 2020-3-6 17:38:45

你自己需要知道你想要什么数据

laical 发表于 2020-3-23 17:04:45

wp231957 发表于 2020-3-6 17:38
你自己需要知道你想要什么数据

采集价格数据

wp231957 发表于 2020-3-23 17:08:30

laical 发表于 2020-3-23 17:04
采集价格数据

首先，你查看网页源代码，看看能不能看到你想要的数据，要是能看到，就一切都好办
要是看不到，还要继续研究

FHS 发表于 2020-3-23 17:54:41

get网页源码，然后用xpath通过元素快速获取就行了

Stubborn 发表于 2020-3-24 00:24:54

像你这样的，不建议去爬，航空，12360，淘宝，都差不多，比较难爬的

admintest166 发表于 2020-3-24 00:38:23

一般来说这些网站都会采用2种以上反爬措施 比如SVG 字体反爬等 一般的关键数据都是要点手段才能拿得到

思路就是 现在对你要爬取的网站某个数据 进行抓包 看看他是怎么呈现出来的 是通过AJAX还是 直接在网页源代码中显示出来的

如果在HTML代码中找不到你要的信息 要就要么是AJAX 要么就是在某个API当中 这个都是靠经验去爬的 每个网站套路都不一样
页: [1]
查看完整版本: python爬虫求助