大数据的核心是云技术和BI

Question

如题所述

Answer 1

人们常常对大数据和云计算的关系存在误解，将两者混为一谈。实际上，云计算是硬件资源的虚拟化，而大数据是指海量数据的高效处理。
云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化后再进行分配使用；而大数据则相当于海量数据的“数据库”。云计算作为计算资源的底层，支撑着上层的大数据处理。
大数据的4V特性，即类型复杂、海量、快速和价值，其总体架构包括数据存储、数据处理和数据分析三层。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值则由数据分析层实现。
数据存储层可根据数据类型、结构和用途进行分类，包括结构化、半结构化、非结构化数据，以及元数据、主数据、业务数据等。传统的结构化数据库已无法满足数据多样性的存储需求，因此出现了HDFS和NoSQL等新型存储方式。
数据处理层的核心问题在于解决分布式存储带来的数据处理复杂度以及海量数据处理所需的时效性。数据处理层的能力包括Hive、Pig和Hadoop-MapReduce等相关技术。
数据分析层是挖掘大数据价值的关键，主要涉及传统BI分析的内容，如数据维度分析、切片、上钻和下钻等。数据分析的核心在于建立数据模型和支持各种分析方法，以及根据业务目标和需求构建KPI指标体系。
总的来说，大数据的两大核心是云技术和BI。云计算为大数据提供基础设施和落地可能性，而BI分析则帮助挖掘大数据的价值。简单来说，大数据的目标驱动是BI，其实施落地则依赖于云技术。