完整的数据平台建设方案,会涉及以下3个方面:
逻辑架构、应用架构、物理架构,
这些其实一个厂商就可以全部完成。下面我说说这数据平台建设方案的3方面具体是什么。
数据源层:
•所有数据的源头。
•来源于多个业务系统。
•数据格式不统一,尚待清洗。
操作数据存储(ODS)层:
•介于业务系统与数据仓库间的隔离层, 通常在该层中完成ETL的大部分工作。
•用于存放从业务系统直接抽取出来的数据。
•通过分步汇总,逐步得到数据仓库所需分析数据。
•ETL中的大部分工作在ODS层完成。
数据仓库层:
•面向各业务主题的、集成的、稳定的、时变的数据。
•通常是汇总的、可冗余的数据。
•主要用于查询。
数据共享层:
•该层通过各类技术手段(如:WebService、WebAPI、ESB等)将数据仓库中的规范数据向外部共享。
•通过数据共享层,实现数据仓库、各业务系统间的联动。
•数据仓库的规范数据对于完善业务系统功能有重大推动作用。
数据分析层:
•单个主题更加集中。
•从各维度视角观察度量数据。
•技术上通常采用各种技术手段(如:列存储)提高查询性能。
此为举例参考
图中展示的,其实就是永洪科技他们帮我们梳理出来的数据平台建设方案的架构,而且他们对于我所在的行业也有很深的理解,帮助我们梳理了业务指标,从前期数据平台体系的建设,到后期具体业务场景下业务指标的梳理,都为我们提供了良好的支持。
以上数据平台的建设体系,希望能对题主有所帮助。