来到千锋郑州大数据培训班的第三个月，我们依旧处在紧张的学习中，在SQL，Linux，和Hadoop之间打转。Hadoop这个大数据处理框架包含了好多内容，比如MapReduce，HDFS等。我现在只有个模糊的理解，想通过写代码，再反复看书和看文档的方式，来加深对Hadoop等概念和技术的理解。接下来我就简单给大家分享一下Hadoop大数据处理的基本流程。

　　Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有四大优点：高可靠性、高扩展性、高效性、高效性。

　　1. 数据采集,搭建数据仓库：数据采集就是把数据通过前端埋点，接口日志调用流数据，数据库抓取，客户自己上传数据，把这些信息基础数据把各种维度保存起来。

　　2.数据清洗/预处理：把收到数据简单处理，比如把ip转换成地址，过滤掉脏数据等。

　　3.数据加工处理：数据处理的方式很多，总体分为离线处理、实时处理。离线处理就是每天定时处理，常用的有阿里的maxComputer,hive,MapReduce,离线处理主要用storm,spark,hadoop,通过一些数据处理框架，可以把数据计算成各种KPI。需要注意的是，你不要只想着功能，而是应该把各种数据维度建起来，基本数据做全，还要可复用，后期就可以把各种KPI随意组合展示出来。

　　4.数据展现：数据做出来没用，要可视化，做到MVP，就是快速做出来一个效果，不合适及时调整。你也可以借用了第三方展示平台datav,datav支持两种数据读取模式，可以把你计算好的数据，通过SQL查出来，需要配置数据源，读取数据之后按照给定的格式，进行格式化就可以展现出来。

　　这期间我们也做过大大小小的项目，比如投票系统、航班系统、问答系统，还有比较麻烦的中国移动计费系统，做完之后简直不敢相信是自己写出来的。高强度的学习是有效的，很充实的度过每一天，充分的武装自己。加油,狼烟风沙口，还请将军少饮酒，前方的路不好走，但是我们一定能坚持走下去，为自己打call!为同学打call!

上一篇

学员分享参加千锋郑州Java培训一个月的学习收获

下一篇

千锋郑州大数据培训学员分享大数据知识点笔记