千锋郑州大数据培训课程二阶段已经进行了两周，我们真正进入了大数据的门槛，学习了hadoop，它可用来处理离线数据，后期我们还会学习大数据的相关生态圈来进行更加详细处理数据。

　　目前学习的最多是关于mapper和reduce的算法进行一些日志数据数据的筛选和一些数据库文件的处理。关于mapper和reduce的底层的原理，我有了更加详细的的认识，对于hadoop的处理机制也有了更多的了解。

　　Mybatis的Mapper是指Mybatis执行数据库操作的接口类以及方法，在非注解模式下，还包含与类对应的 xml 配置文件。主要有四种方式：依据Mapper类具体路径配置Mapper;依据Mapper类所在的package包路径配置Mapper;把Mapper的xml配置文件单独放置到resources中，和Mapper 类分开;直接在spring中配置Mapper的路径，但是mybatis.xml是必不可少的。

　　yarn资源调度管理分配。yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。yarn的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，具有更好的扩展性，可用性，可靠性，向后兼容性，以及能支持除MapReduce以外的更多分布式计算程序。

　　MRappmaster根于yarn获得的文件信息，对文件进行了分配，产生多个maptask，每个会对一定的数据进行算法的处理，并且会在底层进行排序，处理过得数据会存入内存的缓冲区，芳达到一定的阈值的时候，就会直接进行磁盘的序列化，huffle的处理，每个处理好的数据都会携带预先的信息找到自己对应的reduce人，把key相同的放在一起，每次reduce都会把相同key的value值进行相加，并最后通过添加到从context进行输出

　　总的来说，大数据前期学习处理各种数据的时候，最关键是需要培养自己的处理数据思想，只有具备了对于数据的分析处理能力，才能更加懂得如何清洗数据，并最终获得我们自己想要的大数据。

上一篇

参加郑州UI培训班出来好就业吗

下一篇

如何快速学习Java 千锋郑州学员分享Java学习笔记