来到千锋郑州大数据培训班已经两月有余,学习的内容也已经从Java阶段过渡到了Linux和Hadoop阶段。这是一个承上启下的阶段,我们学习了前端的HTML、JSP、ajax交互、学习了MySQL数据库,还学习了SSM整合。讲师亲自带我们做了大量的项目实践,让我们不仅学到了系统的理论知识,也积攒了开发经验。
通过老师的讲解,我了解了Hadoop的生态圈,并且利用Hadoop搭建分布式文件系统hdfs、学习yarn的资源调度平台,简单的做了一个网盘的功能,可以搭建Linux服务器,将本地文件上传上去,还学习了mapreduce的底层执行原理,老师画了很多图,希望哪一天我也画的游刃有余。
简单谈一下我对大数据的理解:
1)大数据主要侧重于数据的处理,流数据、批量数据、图计算等。在数据处理过程中,批量的数据处理的代表工具是Hadoop,流数据的数据处理代表的是Storm技术,而图计算这种密集型的代表是Spark,Spark对于迭代算法的处理很有效。
2)无论是Hadoop还是Spark的架构原理都侧重于分为三部分:资源的管理、服务计算状态的监控、服务的运行。把数据处理、数据处理监控和资源管理分开,可以更容易地进行分布式系统的扩展。
3)现在我正处于第二阶段的Hadoop的学习,搭建Linux上Hadoop服务器,和window版Hadoop,方便我们测试代码,而这个阶段的理论知识非常多,代码反而相对较少。努力加油,继续保持高度热情投入到DT中。
我认为在这一阶段中,我最大的进步是不仅仅读懂老师的代码,而是去理解老师的编程思想、思路,知道了项目为什么这么搭建,为什么这么分类。希望在新的阶段中,自己各方面都能保持好的状态,跟随老师的脚步,继续前行!
相关文章
了解千锋动态
关注千锋教育服务号
扫一扫快速进入
千锋移动端页面
扫码匿名提建议
直达CEO信箱