大数据开发是目前非常热门的就业方向,不仅薪资可观,而且就业面也比较广,可以长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试大数据工程师职位。关于大数据工程师需要掌握的知识,不妨从以下8个方面入手:


我在自学过程中,自己总结的学习线路图也毫无保留的分享给大家:

大数据学习路线图.png


Java语言基础:

Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swing程序与集合类

HTML、CSS与JavaScript

PC端网站布局、HTML5+CSS3基础、WebApp页面布局、原生JavaScript交互功能开发、Ajax异步交互、jQuery应用

JavaWeb和数据库

数据库、JavaWeb开发核心、JavaWeb开发内幕

Linux&Hadoopt体系

Linux体系、Hadoop离线计算大纲、分布式数据库Hbase、数据仓库Hive、数据迁移工具Sqoop、Flume分布式日志框架

实战(一线公司真实项目)

数据获取、数据处理、数据分析、数据展现、数据应用

Spark生态体系

Python编程语言、Scala编程语言、Spark大数据处理、Spark—Streaming大数据处理、Spark—Mlib机器学习、Spark—GraphX 图计算、实战一:基于Spark的推荐系统(某一线公司真实项目)、实战二:新浪网(www.sina.com.cn)

Storm生态体系

storm技术架构体系、Storm原理与基础、消息队列kafka、Redis工具、zookeeper详解、实战一:日志告警系统项目、实战二:猜你喜欢推荐系统实战

大数据分析 —AI(人工智能)

Data Analyze工作环境准备&数据分析基础、数据可视化、Python机器学习1、Python机器学习2、图像识别&神经网络、自然语言处理&社交网络处理、实战项目:户外设备识别分析