航空业每时每刻都要处理大量的数据,是一个很好的可以利用大数据分析和机器学习技术创造价值的领域,在航行数据、天气数据、顾客行为数据等多个角度和层次都可以进行挖掘。本文将选取航行燃油预测这个角度入手简要介绍大数据分析在航空领域的实践,是对项目流程和通用方法的总结,并不涉及到具体的业务逻辑和算法实现。
业务和技术的双重驱动
飞机的航行燃油一直占据着航空业成本的很大比例,13年左右是国际油价高涨时期,燃油费用最高可以达到总成本的50%,目前油价下跌,情况有所好转,但是仍然占据至少15%。
航行燃油可以简单地划分为决策性燃油和非决策性燃油,决策性燃油是指部分燃油的分配由机组人员人为决策。
由于决策性燃油的经验的成分很大,这个过程必然导致油量的不确定性,多带燃油会增加油耗,因为多带的油要占据重量从而消耗油量,即导致所谓的携带消耗成本。有关数据显示,空客A321携带7吨燃油时,携带消耗成本已经达到20%左右。航空公司每年因过量携带燃油会产生数百万美元的开支。但是少带燃油则有可能产生安全问题,关乎乘客的生命和财产安全。所以,燃油携带量要能达到携带消耗成本和用油安全的平衡,这对于人为决策来讲,显然是一个很大的挑战。
另一方面,从技术角度来讲,现在大数据时代来了,数据的存储和管理成本越来越高,但是一直没有去充分使用,那么说这本身就是一种浪费,如何充分挖掘这些数据来创造价值,实现从人为决策到数据驱动到一个转变,燃油预测是一个很好的切入点。
燃油的预测和推荐
在进行燃油的预测和推荐时,我们会面临如下问题:
-
哪些燃油可以被优化
由于各个航空公司的燃油控制策略是不一样的,在滑行、爬升、交通空中管制等阶段的决策性燃油是不统一的,这需要根据其具体的策略和历史燃油数据来分析哪些燃油可以被优化,对于一些历史燃油数据较少的航空公司,则还要进行一段时间的数据采集才能做出决定。
如何与已有系统集成
一般来说,航空公司已经搭建好了自己的航班管理或者燃油管理系统,燃油推荐系统的输入数据来自于已有系统,譬如航班飞行数据、航班实际燃油数据等,的而输出数据要被燃油管理系统调用,然后加油员才可以获取到推荐的燃油。与已有系统集成时要保障服务的高可用性。-
如何建模
建模通常是要利用机器学习算法建立起燃油数据和其他因素之间的关系,即其他因素是因变量,需要预测的燃油数据是目的变量:
建模阶段需要行业专家、数据科学家和软件架构师等角色的共同参与,要完成算法和技术的选型,模型的训练和优化调整要经历数据收集->数据建模->结果预测
多次循环的过程。
系统框架分析
数据收集、数据建模和结果预测三阶段的系统框架:
在数据采集阶段,初次建模的历史数据是需要ETL工具导入的,存入关系型数据库或分布式文件系统可便于离线分析和建模,而系统开始运行之后,则可以将新的实时数据源源不断地写入数据库,从而可以周期性地进行重新训练模型,构成了自学习的闭环。
燃油预测系统与已有系统集成: