大数据工程师要掌握什么

Question

如题所述

Answer 1

已经身处这个行业的专家给出了一些人才需求的大体框架，包括要有计算机编码能力、数学及统计学相关背景；学历并不是最主要的因素，能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。

此外，一个优秀的大数据工程师要具备一定的逻辑分析能力，并能迅速定位某个商业问题的关键属性和决定因素。

大数据必备技能：

Answer 2

不同公司对数据分析师的职位划分稍有不同。在一些中小型企业，在没有成立独立的数据中心前，数据分析的相关职位往往是在市场部、运营部的管辖之下，人数通常在2－4人不等。对于一些大型企业，有独立的数据分析部门，团队成员也在数十人到百余人不等。对于职位头衔，有的按行政级别划分，如专员、主管、经理、总监等；也有的按专业水平划分，如助理、高级、资深、专家等。
数据分析职位整体上分为两大类：
1、数据分析师：
专业能力成长路径：助理数据分析师－数据分析师－资深数据分析师－高级数据分析师
行政职位晋升路径：数据分析专员－数据分析主管－数据分析经理－数据分析总监
主要专业技能要求：数据库知识（SQL）、基本的统计分析知识、熟练掌握Excel，了解SPSS/SAS，良好的PPT展示能力。
2、数据分析工程师：算法工程师、建模工程师。本回答被网友采纳

Answer 3

想要学习大数据开发，第一件事并不是要找书籍或者是找视频教程，而是要了解一下大数据行业前景，了解一下成为大数据工程师需要具备什么样的能力，掌握哪些技能我当初学习大数据之前也有过这样的问题，作为一个过来人，今天就跟大家聊下大数据人才应该具备的技能。
首先我们要知道对于大数据开发工程师需要具备的技能，下面我们分别来说明：

用人单位对于大数据开发人才的能力要求有
技能要求：
1.精通JAVA开发语言，同时熟悉Python、Scala开发语言者优先；
2.熟悉Spark或Hadoop生态圈技术，具有源码阅读及二次开发工作经验；精通Hadoop生态及高性能缓存相关的各种工具，有源码开发实战经验者优先；
3.熟练使用SQL，熟悉数据库原理，熟悉至少一种主流关系型数据库；熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本；熟悉ETL开发，能熟练至少一种ETL（talend、kettle、ogg等）转化开源工具者优先；
4.具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，具备良好的沟通协调能力及学习能力。
以上就是想要成为大数据人才需要具备的技能
那么如何具备这些能力，怎么学习了，对于大多数人来说，目前只有通过参加大数据的学习，才能够系统的掌握以上的大数据技能，从而胜任大数据工程师的工作。

Answer 4

掌握实时计算引擎 Storm, Spark Streaming, Flink, 对hadoop生态其他组件有一定了解，比如 HBase， hadoop, Hive, Druid等，精通SQL，熟悉常用的关系型数据库、非关系性数据库和数据仓库，具有SQL性能优化经验，了解微服务开发理念、实现技术，熟悉常见设计模式，熟练掌握SSH开发框架，熟练进行Java、Python代码编写，熟悉多线程编程