第1个回答 2020-03-06
做数据分析,首先会使用到大数据数据库,比如MongoDB、GBase等数据库。其次会用数据仓库工具,对数据进行清洗、转换、处理,得到有价值的数据。然后使用数据建模工具进行建模。最后使用大数据工具,进行可视化分析。
根据以上的描述,按过程对用到的工具进行讨论。
1、 大数据工具:数据存储和管理工具
大数据完全始于数据存储,也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架,用于在大众化计算机集群上分布式存储非常大的数据集。由于大数据需要大量的信息,存储至关重要。但除了存储外,还需要某种方式将所有这些数据汇集成某种格式化/治理结构,从而获得洞察力。
2、 大数据工具:数据清理工具
使用数据仓库工具-Hive。Hive是基于Hadoop分布式文件系统的,它的数据存储在HDFS中。Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。
3、 大数据工具:数据建模工具
SPSS:主要用于数据建模工作,功能稳定且强大,能够满足中小企业在业务模型建立过程中的需求。
4、 大数据工具:数据可视化分析工具
亿信ABI包含上述所说的工具,提供ETL数据处理、数据建模以及数据分析服务,除了中国式复杂报表、dashboard、大屏报表外,还支持自助式分析,包括拖拽式多维分析、看板和看板集,通过简单拖拽就可以进行探索式自助分析。