一般来说大数据分析师需要会什么技能?

Question

一般来说大数据分析师需要:①会使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合；②会一些SPSS modeler基础应用；③使用R语言进行数据集的创建和数据的管理等工作；④用Python来编写网络爬虫程序。

Answer 1

(1)会使用Hive的SQL方法HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大数据集合。知道Hive如何在Hadoop生态系统进行数据分析工作。

(2)会一些SPSS modeler基础应用，这部分技能对应数据建模分析师。

(3)使用R语言进行数据集的创建和数据的管理等工作;会使用R语言数据可视化操作，让学员学会如何用R语言作图，如条形图、折线图和组合图等等;是R语言数据挖掘，本部分数据挖掘工程师。

(4)用Python来编写网络爬虫程序，从页面中抓取数据的多种方法，提取缓存中的数据，使用多个线程和进程来进行并发抓取等。