【前言:本文将以某企业案例,讲解企业如何搭建数据平台以及一些核心要点。】 如今,信息时代正逐步向数据时代转变,数据演变得越来越重要,它可以反映出公司的经营情况,为公司的经营和决策提供准确的参考依据。而数据平台是连接数据和企业的中间件,可以将这些数据通过一定的规格,清晰地展示给企业领导。 对于企业搭建数据分析平台,青岛航空数据架构师战学超强调,建立数据平台要实现内部自下而上、自上而下的管理结合,只有获得业务层、领导层的认可和支持才能实现数据运营的持续发展。 什么是数据平台? 数据平台其实就是将公司所有的数据,包括销售数据、财务数据、客户数据,还有一些行业数据,进行收集整理,按照一定的主题展示。比如财务分析的主题,会囊括一些财务相关的报表,包括公司的盈利分析、亏损点分析等等。通过对这些主题的分析和展示,去准确展示公司的经营情况,以及行业动态,从而为公司的经营提供比较准确的科学指导,进而实现持久的盈利。 数据平台会有一些原始数据,主要是销售、财务等等及一些其他数据,还有一些行业数据,比如家电行业的商业数据。数据加工和数据展示方面,除了平常的日报、月报、年报等报表展示,还有对应的销售趋势分析,库存预警以及产品个性化推荐。 如何搭建如何数据平台? 首要前提,公司要有自己的原始数据积累,并且要有数据生产系统,包括历史数据的积累。 方法:自下而上与自上而下结合 “下”是指公司的技术团队、业务团队、销售等等,以及业务部门和IT部门。“上”是指部门的领导以及公司的高层,让IT团队和业务团队一起来推动这个事情,并与公司的领导层紧密地结合,上下一起参与到数据平台的搭建,只有这样才能实现数据平台的持久发展。 搭建的过程,沟通很重要。 也许业务人员和IT团队对于数据平台的搭建有自己的想法,也想通过数据来给公司去做一些事情,但是公司的领导层可能多的依赖于自身的经验,不一定会去相信数据平台反馈的信息。得不到上层领导的支持,很容易导致搭建数据平台过程中的疲惫。 此外,上层领导可能希望去做一个数据平台的加工,将所有的数据做一个统一的整理和展示。但是传接到IT团队和业务部门时,在实际应用中并不是很重视,比如IT人员做的报表,并不是业务人员想要的,导致彼此之间沟通不畅,导致数据平台搭建缓慢。 原则:快速迭代 在建立数据平台时,可以不断定一些目标,定一些主题,做成果展示,和业务人员以及领导分享,让其参与评价和建议,不断优化和改善,当相关人员都有参与感时,数据平台才会持久发展。
数据平台技术架构 架设全量DB是为了减轻直接读取生产环境的数据压力,并且统一数据类型,方便跨库,跨数据库和文件的查询处理。 数据仓库是数据平台必不可少的,但不是优先的。数据仓库建立耗时费力,可以逐步进行。 根据公司实际情况划分数据集市,并且根据业务规则结合自身经验,建立起数据分析模型。 当ETL不足以支撑或是实时要求高SQL难以实现的时候,考虑Hadoop等分布式计算。 数据平台的搭建并不是一蹴而就的,需要循序渐进不断快速迭代。同时也要有长远眼光,尽量避免推到重构。此外一定要注意时间控制和里程碑建立。 青岛航空数据平台建设 数据源方面,青岛航空有B2C的官网、运行控制系统、MIS系统、呼叫中心、OTA和OA平台。数据类型涵盖Oracle、mysql、SqlServer、 Excel、TXT等,ETL工具采用Kettle,全量DB和数据仓库以及数据集市采用MyOracle。 通过帆软报表工具FineReport建立数据平台,采用数据仓库建立+报表展示+业务建模同时并行。现阶段主要定了两大集市,建立了财务对账和收益分析两种模型。 案例展示 使用帆软作为统一数据展示平台。 旅客分布图可以更清晰的帮助规划航线 通过对账系统可以解决财务流水与各销售接口的明细,快速有效的解决死账,坏账等问题。 利用帆软的调度邮件功能监控短信平台的发送情况。 航班配餐系统(报表)管理公司航班乘客的配餐。 参考帆软提供的主题分析模块结合公司的具体情况,与业务同事结合,高效的规划确定了公司的分析主题的。 |
|