大数据火了几年了,但是今年好像进入了全民大数据时代,本着对科学的钻(zhun)研(bei)精(tiao)神(cao),我在17年年初开始自学大数据,后经过系统全面学习,于这个月跳槽到现任公司。

现在已经从之前的java后端开发正式转大数据开发,项目数据50T,日均数据增长20G左右,大概是需求问题吧,工资待遇较上一份翻了一倍(这是重点)。

当然,我的分享不是能让各位升职加薪跳槽,只是对于技术人来说,技多不压身,以下为个人经验分享,不喜勿喷。

以上为背景,下面我要开始我的表(ZHUANG)演(B)了:

主要讲一下几点:

一、大数据的职业规划方向

二、大数据开发工程师需get技能

三、如何系统的学习

一、大数据的职业规划方向
学习目的在于工作上的运用,以下为大数据方向的三个岗位,附上薪资待遇。

1. 大数据售前工程师、大数据运维工程师(HCNA)10-15K

2. 大数据开发工程师、大数据平台开发工程师(HCNP)15K-20K

3. 大数据科学家、大数据架构师、大数据高级分析师(HCIE)25K-50K

4. 其他(数据挖掘工程师、仓库采集开发工程师)12k-25K

二、大数据开发工程师需get技能
附上一份比较权威的大数据工程师技能图(图侵删)

总结如下:

必须技能10条:

01.Linux 基本操作

02.python&爬虫介绍

03.hadoop分布式集中

04.离线数据处理

05.实时数据处理

06.ETL与环境相关

07.大数据应用与数据挖掘

08.java高级(虚拟机、并发)

09..HBase(JavaAPI操作+Phoenix )

10. Kafka

11. Spark (Core+sparksql+Spark streaming )

12.CDH集群

这张图可能对技能的掌握说的更全面。

三、如何系统的学习
  我本人是17年年初开始自学,自学了Linux 基本操作,这个很好学,领悟能力还可以就看书,不行就看视频重复看,大概一周可以搞定。

然后就学习了CDH集群搭建,Python爬虫,我是java后端开发,这些网上找点资料看点书,很好学,上手也很快。

这里重点推荐《深入理解Java虚拟机》、《Java高并发实战》必看书籍。

接着开始学hadoop,hbase,hive,scala,spark,python,kafka这些点,啃到hive的时候,人就有点晕了,按理说编程语言有相通性的,我买了相关书籍《HBase权威指南》《Hive开发指南》《快学Scala》《Spark 快速大数据分析》,然后逛了很多人的博客,我不知道自学的人是否有跟我一样的困扰,书的内容感觉可以看懂,但是看完也不知道怎么用,然后也不会将所学的这些东西进行拼装和运用。

然后我就停留在这一阶段,停了1个多月的学习计划,后面公司同事离职跳槽跟女友吵架分手等等遇到一些事情,我又想起还是要规划下自己的职业生涯,顺手报了个网校,遇到了还算不错的老师,这个学习周期6个月就算结业了。计划是想熬完过年再跳,跳槽的人都知道的,金三银四~

这里提醒一下,如果你觉得自己看书效率太慢,或者容易思维不通的情况,你可以在网上搜集一些课程,跟着课程走也OK 。这个完全根据自己情况决定。如果看书效率不高就很网课,相反的话就自己看书。自制力不强的人就没什么好推荐的,你什么都不适合学。

以上反正我把需要掌握和学习的知识点告诉你了,你自己有时间和精力的话,就对应的去研究就好。学习大数据可以关注公众号   程序员大牛  有资料视频大家一起讨论学习。

对于小白学习大数据需要注意的点有很多,但无论如何,既然你选择了进入大数据行业,那么便只顾风雨兼程。正所谓不忘初心、方得始终,学习大数据你最需要的还是一颗持之以恒的心。

Java开发想尝试大数据和数据挖掘,如何规划学习?的更多相关文章

  1. Java开发者想尝试转行大数据,学习方向建议?

      ​前言 相信很多Java开发者都对大数据有一定的了解,随着大数据时代的到来,也有很多Java程序员想要转行大数据.大数据技术中大多数平台使用的都是Java语言,因此,对于大数据技术的学习来说,Ja ...

  2. Java程序员转行大数据的优势

    大数据时代,中国IT环境也将面临重新洗牌,不仅仅是企业,更是程序员们转型可遇而不可求的机遇. 国内大多数大型互联网公司的程序员被称作研发工程师,但实际上国内几乎没有研发项目,只能叫做开发.开发程序员的 ...

  3. java 跨数据库导入大数据

    java 跨数据库导入大数据 /** * java程序跨服务器跨数据库批量导入导出百万级数据 * @param args * @throws Exception */ public static vo ...

  4. 黑马基础阶段测试题:创建一个存储字符串的集合list,向list中添加以下字符串:”C++”、”Java”、” Python”、”大数据与云计算”。遍历集合,将长度小于5的字符串从集合中删除,删除成功后,打印集合中的所有元素

    package com.swift; import java.util.ArrayList; import java.util.List; import java.util.ListIterator; ...

  5. 2018年,Java程序员转型大数据开发,是不是一个好选择?

    近日网上有一篇关于Java程序员职场生存现状的文章“2017年 Java 程序员,风光背后的危机”,在Java程序员圈子里引起了广泛关注和热议. 2017年,Java 程序员面临更加激烈的竞争. 不得 ...

  6. 想转行大数据,开始学习 Hadoop?

    学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起. 这里给大家普及一下学习路线:hadoop生态圈——Strom ...

  7. bat坐拥大数据。数据挖掘/大数据给他们带来什么。

    阿里巴巴CTO即阿里云负责人王坚博士说过一句话:云计算和大数据,你们都理解错了.   实际上,对于大数据究竟是什么业界并无共识.大数据并不是什么新鲜事物.信息革命带来的除了信息的更高效地生产.流通和消 ...

  8. 大数据学习系列之Hadoop、Spark学习线路(想入门大数据的童鞋,强烈推荐!)

    申明:本文出自:http://www.cnblogs.com/zlslch/p/5448857.html(该博客干货较多) 1 Java基础: 视频方面:          推荐<毕向东JAVA ...

  9. Java 程序员的大数据入门指南

    项目 GitHub 地址:https://github.com/heibaiying/BigData-Notes ✒️ 前 言 大数据常用技术栈思维导图 大数据常用软件安装指南 一.Hadoop 分布 ...

随机推荐

  1. “5W1H”带你来学习JavaScript

    上次的设计模式讲课,从中学习到了非常多.不仅是技术上,更重要的是怎样来学习.我们学习的技术.科技的更新速度超过我们的想象,对于我们这个有生命年限的个体,怎样可以在有生之年可以让自己立足于科技的不败浪潮 ...

  2. Atitit 酷奇的押金危机 遇到资金链断裂作为创始人应该怎么办

    Atitit 酷奇的押金危机  遇到资金链断裂作为创始人应该怎么办 遇到对方确实经营不善,资产已经还不了用户的押金怎么办?? 1. 一些重要原则 1 1.1. 二次分配原则  公平原则 1 1.2. ...

  3. 音视频编解码: YUV存储格式中的YUV420P,YUV420SP,NV12, NV21理解(转)

    概述  之前介绍了YUV码流的采样格式,下面分析下YUV码流的存储格式,YUV码流的存储格式与采样格式息息相关.总的来讲,YUV存储格式主要分为两种: planar 平面格式 指先连续存储所有像素点的 ...

  4. 猿题库从 Objective-C 到 Swift 的迁移

    猿题库从 Objective-C 到 Swift 的迁移 引言 相信没有人会怀疑,Swift 是 iOS 开发未来的主流语言,但是由于 Swift 语言的不断变化以及庞大的迁移成本,真正把项目迁移到 ...

  5. 【Java】Java8的Lambda入门记录

    简化定义匿名实现类 匿名实现类的传统方式 创建一个线程,需要实现Runnable接口,并实现public void run()方法,用传统的方式是这样的: public static void mai ...

  6. sed用法去除行首和行末的中括号

    sed去掉行首和行末的中括号: sed -i 's:^\[::; s:\]$::;' newtrace_nlp.log.2018-08-02.bak 其余可依次类推.

  7. 【资料下载区】【GK101固件】更新日期2017/1/11

    <GK101任意波发生器>升级固件发布(版本:1.0.2build539)<GK101任意波发生器>升级固件发布(版本:1.0.2build851)<GK101任意波发生 ...

  8. 【iCore1S 双核心板_FPGA】例程十七:基于双口RAM的ARM+FPGA数据存取实验

    实验现象: 核心代码: module DUAL_PORT_RAM( input CLK_12M, inout WR, input RD, input CS0, :]A, :]DB, output FP ...

  9. 全局Threshold和动态阈值分割Dyn_Threshold的应用场景

    手册里面的particle例子,例子的任务是分析颗粒在液体中.在这个应用程序的主要困难:存在两种类型的对象:大明亮物体和较低的小物体的对比.此外噪音使分割的存在困难:无法使用全局灰度阈值thresho ...

  10. docker容器添加微软雅黑字体

    添加中文字体其实很简单,往容器里COPY一个ttf字体文件就生效了,不需要执行fc-cache. 基于debian 8的tomcat容器,Dockerfile: COPY msyh.ttf /usr/ ...