大数据平台CDH6.2.0部署

大数据平台的搭建步骤：linux系统安装 一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤：Linux系统安装。分布式计算平台或组件安装。数据导入。数据分析。一般包括两个阶段：数据预处理和数据建模分析。

Cloudera 的发行版包含 Apache Hadoop (CDH) 解决方式，它同意企业不必针对 Hadoop 的每一个细微区别来招募或培训员工。因此能够在大数据方面实现更高的投资回报 (ROI)。对于那些不具备大数据或私有云技能集。

CDH大数据之Sentry权限管理 cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。kerberos主要负责平台用户的用户认证，sentry则负责数据的权限管理。

然后上面再有平台组真的大数据平台走起。然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。

创建hadoop用户创错地方了

1、可能是版本信息的问题，hadoop和hbase是有版本搭配限制的。可能是某个节点的启动信息有问题。确定在hbase安装的时候，hadoop是可以安装、运行wordcount等。再试下看。

2、sudo useradd -m hadoop sudo passwd hadoop sudo adduser hadoop sudo 虚拟机：最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。在登陆界面中选择刚创建的hadoop 用户进行登陆。

3、修改完重启下hadoop的进程才能生效。ps，个人开发方便故如此设置，谨慎的还是要创建个用户并授予权限。

4、首先新建用户，adduser命令 sudo adduser hadoop passwd hadoop 输入密码之后，一路 y 确定。

什么是impala,如何安装使用Impala

1、impala的意思是：黑斑羚。impala的音标 美[mpl]。英[mpɑl]。impala的复数：impalas。

2、impala介绍 Cloudera Imapala是一款开源的MPP架构的SQL查询引擎，它提供在hadoop环境上的低延迟、高并发的BI/数据分析，是一款开源、与Hadoop高度集成，灵活可扩展的查询分析引擎，目标是基于SQL提供高并发的即席查询。

3、安装impala 这里介绍使用rpm包安装的方式（需有root或sudo权限），基于源码包安装的方式待后续折腾。

4、新款Impala中的创新翻折式座椅，以及改良的悬架系统，可以让驾驶者体验更加舒适、安静和自信的驾控性能。 MonteCarlo凭借高质量部件和独具匠心的细节设计杀入了竞争激烈的中型车市场，在市场上拥有独特的定位。

5、我们目前使用的是SparkSQL，至于为什么用SparkSQL，原因大概有以下吧：使用Spark还做了其他事情，不想引入过多的框架；Impala对内存的需求太大，没有过多资源部署。 1 关于Spark和SparkSQL 什么是Spark，什么是SparkSQL。

CDH6.3配置HDFS高可用,多NameNode

在高可用的HDFS集群中，通常有两台或者两台以上的机器充当NameNode，在任意时间内，都要保证至少有一台机器处于活动(Active)状态，一台机器处于备用(Standby)状态。

在HA（高可用）模式下，HDFS（Hadoop分布式文件系统）包含以下几个关键组件： NameNode：NameNode是HDFS的主节点，负责管理文件系统的命名空间和元数据信息。

HDFS的高可用(High Availability， HA)方案就是为了解决Namenode的单点故障而产生的。

也就是namenode中metedata的镜像，但是fsimage不会随时与namenode内存中的metedata保持一致，而是每隔一段时间通过合并edits文件来更新内容。HDFS HA（High Availability）是为了解决单点故障问题。

在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。

上一篇

电脑系统linux命令？

下一篇

linux命令grub？