在千锋郑州大数据培训班学习至今，我已经有了比较基本的思维框架。大数据主要是通过对数据流进行数据处理，然后进行数据监控协调，在生活中最基础的的实例例如电商推荐系统、精准广告推送系统、公司网站的运营情况分析、国家安全网等，这些都是大数据的具体应用，可想而知，在这个互联网时代，数据的意义非同凡响。

　　目前我们已经学至Hadoop阶段。Hadoop是一种可靠的，可扩展的分布式计算开发软件。Hadoop的软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理海量数据。

　　Hadoop的模块可大致分为cluster，mapreduce，hdfs，yarn。mapreduce是一种分布式运算的框架，可以帮助我们来实现一些分布式运算，对数据进行分析和处理。基本处理过程包括：从hdfs文件系统读取数据集、将数据集拆分成小块并分配给所有可用节点、针对每个节点上的数据子集进行计算(计算的中间态结果会重新写入hdfs)、重新分配中间态结果并按照键进行分组、通过对每个节点计算的结果进行汇总和组合对每个键的值进行“Reducing”、将计算而来的最终结果重新写入hdfs。

　　搭建Hadoop的集群的时候要注意环境变量配置，着重的注意不要出现空格，中文，特殊符号。甚至连存储路径也尽量存放在全英文的路径下，尽可能的不要因为这些事情犯错。

　　ddfs的作用是在存储文件对大型文件进行切块，保存在服务器中的不同节点，然后当我们需要的时候来找到这些文件。ddfs具有频率转换时间短、近载频相位噪声性能好、精度高，产生的信号频率范围宽等优点。可编程逻辑器件以其速度高、可在线编程，以及有强大EDA软件支持等特性，十分适合实现ddfs技术。

　　现在我对Hadoop这个大数据处理框架只有个模糊的理解，还需要通过写代码，再反复看书和看文档的方式，来加深对Hadoop等云计算概念和技术的理解。后面千锋郑州大数据培训班的老师也将再讲两个礼拜的Hadoop的其他知识，希望可以跟上老师的步伐，加油!

上一篇

千锋郑州培训学员分享 常见的Java基础知识点

下一篇

郑州大数据培训课程学习之RPC通信机制解析