非常强大的博客 ! ! !
1, cdh简介
CDH (Cloudera’s Distribution, including Apache )，是众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、、等服务的安装配置管理做了极大简化。目前集群的乱象:
1, 版本管理混乱
2, 部署升级复杂
3, 兼容性差
4, 安全性低
Hadoop的发行版:
apache hadoop
CDH: 是hadoop分支的一种, 由Cloudera维护, 基于web的用户界面
HDP: 一个虚拟机
MapR: linux指令
EMR: 集群脱管方案, 应用较少
Cloudera的CDH和Apache的Hadoop的区别
目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称“HDP”），对于国内而言，绝大多数选择CDH版本，CDH和Apache版本主要区别如下： (1) CDH对Hadoop版本的划分非常清晰，只有两个系列的版本，分别是cdh3和cdh4，分别对应第一代Hadoop（Hadoop 1.0）和第二代Hadoop（Hadoop 2.0），相比而言，Apache版本则混乱得多；比Apache hadoop在兼容性，安全性，稳定性上有增强。 (2)CDH3版本是基于Apache hadoop 0.20.2改进的，并融入了最新的patch，CDH4版本是基于Apache hadoop 2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch，并比Apache hadoop同功能版本提早发布，更新速度比Apache官方快。(3)安全 CDH支持Kerberos安全认证，apache hadoop则使用简陋的用户名匹配认证 (4)CDH文档清晰，很多采用Apache版本的用户都会阅读CDH提供的文档，包括安装文档、升级文档等。 (5)CDH支持Yum/Apt包，Tar包，RPM包，CM安装，Cloudera Manager三种方式安装,Apache hadoop只支持Tar包安装。
cdh结构图:
cdh优点:
版本清晰
版本更新速度快
支持Kerberos认证
文档清晰
支持多种安装方式 (Cloudera manager)
简单来说, cdh是为了简化集群部署, 最优升级方案,
2, Cloudera manager
是一个管理cdh端到端的应用, 作用: 管理, 监控, 诊断, 集成
server功能:
客户端服务器和应用服务器键的逻辑
软件安装和配置
各项服务的管理, 启动停止, 监控整个集群
agent:
每个服务进程管理
监控主机
数据库, 为region-server提供数据库支撑
management_server:
监控集群状态
生成报表
3, cdh搭建前期准备
1, 准备3台虚拟机
master占用会非常大, 建议6g内存以上, 其他2台2g内存即可
修改主机名: /etc/sysconfig/network, 为 node1, node2, node3
2, 设置3台机器的免密码登录
3台机器分别设置, 同时对自己免密码登录
3, 防火墙关闭
service iptables stop chkconfig iptables off
4, 安装jdk, 这儿使用的 jdk1.7
JDK一定要解压到/usr/java/default下面，即JAVA_HOME= /usr/java/default, 否则CDH的后续安装将会报错
环境变量配置:
export JAVA_HOME=/usr/java/defaultexport JRE_HOME=/usr/java/default/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$PATH
5, 设置3台机器的时间同步
ntpdate -u ntp.api.bz
6, 设置selinux关闭, 重启生效
vim /etc/selinux/config SELINUX=disabled (原始值为: enforcing)
7, 安装mysql ( 本次安装node1, 可搭建专门mysql服务器, 版本5.5 , 版本对应关系可查官网 )
8, 安装3rd 依赖包
3, 内核修改: (所有节点)
1, 句柄设置
通过 ulimit -n 查看文件句柄,
vim /etc/security/limits.conf# 添加如下内容* soft nproc 65535* hard nproc 63535* soft nofile 65535* hard nofile 65535
然后
vim /etc/security/limits.d/90-nproc.conf# 修改为:* soft nproc 65535root soft nproc unlimited
2, 修改内核参数
# echo 0 > /proc/sys/vm/swappiness# echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
3, 修改编码集
# vim /etc/sysconfig/i18nLANG="en_US.UTF-8"SYSFONT="latarcyrheb-sun16"
4, cloudera manager的安装
1, 解压安装包 (3台机器)
mkdir /opt/cloudera-managertar -zxvf cloudera-manager*.tar.gz -C /opt/cloudera-manager
2, 创建用户 (所有节点)
useradd --system --home=/opt/cloudera/cm-5.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
3, 配置CM Agent (所有 agent 端)
cd /opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent vim ./config.ini # 修改 server_host=node1
4, 配置 CM server 数据库(master 或者单独的服务器)
默认到 usr/share/java/ 目录下寻找jar, 包名一定为 mysql-connector.jar
cp ~/cloudera-manager/mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar
创建支撑库:
grant all on *.* to 'scm'@'%' identified by 'scm' with grant option; /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql temp -h 192.168.208.110 -uroot -p123 --scm-host 192.168.208.110 scm scm scm
格式: 数据库类型, 数据库名, host, 用户名, 密码, cm Server 服务器, 最后3个: 默认账户及数据库名
5, 修复安装包 bug, BUG会导致在集群安装YARN时失败 ( 所有节点)
# vim /opt/cloudera-manager/cm-5.4.3/lib64/cmf/agent/src/cmf/util.py --该文件第365行pipe = subprocess.Popen(['/bin/bash','-c',". %s; %s; env"%(path, command)],stdout=subprocess.PIPE, env=caller_env)改成pipe = subprocess.Popen(['/bin/bash','-c',". %s; %s; env | grep -v { | grep -v }"%(path, command)],stdout=subprocess.PIPE, env=caller_env)
6, 创建 Parcel 目录
server端:
mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
agent
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
因为安装时 需要存放 cdh的安装目录, 默认分发目录就是 parcels
6, 制作 CDH 本地源, 不制作需要从云下载, 非常非常慢...
-rw-r--r-- 1 root root 1272629458 Mar 5 17:26 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel-rw-r--r-- 1 root root 41 Mar 5 17:03 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha -rw-r--r-- 1 root root 42625 Mar 5 17:02 manifest.json
将其拷贝到 /opt/cloudera/parcel-repo
cp -v ~/cloudera-manager/CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel* /opt/cloudera/parcel-repo/cp -v ~/cloudera-manager/manifest.json /opt/cloudera/parcel-repo/
注意文件名:!!!!!!!!!!!!!!!!!!!!!!
7, 启动 server, agent,
cd /opt/cloudera-manager/cm-5.4.3/etc/init.d# 先启动server, 等server启动后, 在启动agent./cloudera-scm-server start./cloudera-scm-agent start
启动成功后, 在网页可访问: cdh-01:7180
8, 日志查看
在 /opt/cloudera-manager/cm-5.4.3/log 下可看
注意, 如果启动过程中终止, 需要把前面的重新来一遍
5, 界面设置
1, 网页访问: 192.168.208.110:7180
2, 选择版本
3, 继续, 继续, 选择本地源的版本, 5.4.0
4, 选择安装的主机
5, 集群安装
6, 检验正确性,
此步如果没有之前的内核数据修改, 会报错, 修改了即可
echo 0 > /proc/sys/vm/swappiness
7, 选择需要的服务
8, 集群设置, 默认即可
9, 数据库设置, 需要提前创建 hive库和 Oozie库
建库脚本:
create database hive default character set utf8;grant all on hive.* to 'hive'@'%' identified by 'hive';create database oozie default character set utf8;grant all on oozie.* to 'oozie'@'%' identified by 'oozie';
最后等待安装结束
关于安装错误, 卸载的: