大数据的技术是一个技术群落,想全部学习短期内是不现实的,那么我们怎么样科学的有逻辑有规划的来学习,怎么进行大数据的入门学习呢?我们得了解大数据行业里,有哪些岗位,我们直接从工作岗位的技能需求来倒推我们如何学习大数据,如何有侧重点的来学习。
***,先看看有哪些岗位,当然大公司会分的比较详细,中小企企业相对要求会全面一些
先看看如下这幅图,图没有很详细,我再做解答
我们从整个数据项目的业务流程出发,(以上所有岗位都对编程有要求,所以编程基础是必不可少的)
***, 大数据工程师,众所周知,在没有大数据以前,行业应用已经非常成熟了,最早大家只关注功能的实现,接着重视前台的界面,前端工程师因此火了一段时间,因为以前数据量不大,所以在功能上并不重视,由于移动互联网的发展,数据量非常庞大了,这个时候单机服务器不能解决问题,那么分布式集群就出现了,大数据工程师的职责就是搭建大数据平台,所以从上图可以得知,大数据工程师,需要有java基础(行业应用大部分是java语言编写的),所以,今后想从事该岗位的,那么学习的路线图如下
- java基础----linux----hadoop-----hive、hbase----scala---spark
第二, 算法工程师,该岗位零基础的小伙伴就请止步吧,更适用于数学专业的研究生及以上学历,对数据基础要求比较高。
第三, 数据挖掘工程师,建议从python入手,毕竟python里面有大量的数据科学的包,也有pyspark,直接从spark里面调数据,不用学习Scala语言(spark的编程语言是Scala),学习的路线如下:
- python基础—python web(强化编程基础)--数学基础补充(线性代数、概率统计、离散数学)--python numpy pandas包---机器学习算法---深度学习
第四, 数据分析师,该岗位对数学基础要求不高,但对综合素质要求非常高,能充分的理解行业行情、公司运营、产品运作、对市场敏锐度较高。具备一定的编程基础,建议学习python,能熟练使用相关的工具,如excel,sas、spss等,能写漂亮的文章做PPT就行,数学基础不好的女生可以建议走该方向。
- 学习路线:python基础—python numpy pandas包---excel—spss---sas
第五, 大数据可视化,该岗位需要前端的相关基础,大数据运维工程师,也不多做介绍了。