大数据工程师需要掌握哪些技能?

Question

成为大数据工程师需要具备什么样的能力?掌握哪些技能?

Answer 1

技能要求：

1.精通JAVA开发语言，同时熟悉Python、Scala开发语言者优先;

2.熟悉Spark或Hadoop生态圈技术，具有源码阅读及二次开发工作经验;精通Hadoop生态及高性能缓存相关的各种工具，有源码开发实战经验者优先;

3.熟练使用SQL，熟悉数据库原理，熟悉至少一种主流关系型数据库;熟悉Linux操作系统，熟练使用常用命令，熟练使用shell脚本;熟悉ETL开发，能熟练至少一种ETL(talend、kettle、ogg等)转化开源工具者优先;

4.具有清晰的系统思维逻辑，对解决行业实际问题有浓厚兴趣，具备良好的沟通协调能力及学习能力。