第四节.部署一个Hadoop2.x集群

登录 Ambari 之后,点击按钮“Launch Install Wizard”,就可以开始创建属于自己的大数据平台。

第一步命名集群的名字。本环境为bigdata。

第二步选择一个Stack,这个Stack相当于一个Hadoop生态圈软件的集合。Stack的版本越高,里面的软件版本也就越高。这里我们选择 HDP2.4,里面的对应的Hadoop版本为2.7.x。

第三步指定Agent机器(如果配置了域,必须包含完整域名,例如本文环境的域为example.com),这些机器会被安装Hadoop等软件包。还记得在安装章节中提到的SSH无密码登陆吗,这里需要指定当时在Ambari Server机器生成的私钥(ssh-keygen生成的,公钥已经拷贝到Ambari Agent的机器,具体的SSH无密码登录配置,可以在网上很容易找到配置方法,不在此赘述)。另外不要选择“Perform manual registration on hosts and do not use SSH“。因为我们需要Ambari Server自动去安装Ambari Agent。

Target Hosts中填

node[0-3].example.com
或
node0.example.com
node1.example.com
node2.example.com
node3.example.com

第四步Ambari Server会自动安装Ambari Agent到刚才指定的机器列表。安装完成后,Agent会向 Ambari Server注册。成功注册后,就可以继续Next到下一步。

To manually resolve issues on each host run the HostCleanup script (Python 2.6 or greater is required):

python /usr/lib/python2.6/site-packages/ambari_agent/HostCleanup.py --silent --skip=users

Note: Clean up of Firewall and Transparent Huge Page issues are not supported by the HostCleanup script.

Note: To clean up in interactive mode, remove --silent option. To clean up all resources, including users, remove --skip=users option. Use --help for a list of available options.

注意:如果没有将transparent_hugepage关闭的话,会报以上错误,如何设置为关闭状态请参照准备部分

第五步这里我们终于看到跟Hadoop有关的名词了。在这一步,我们需要选择要安装的软件名称。本文环境选择了 HDFS,YARN+MapReduce2,Zoopkeeper,Storm以及Spark。选的越多,就会需要越多的机器内存。选择之后就可以继续下一步了。这里需要注意某些Service是有依赖关系的。如果您选了一个需要依赖其他Service的一个 Service,Ambari 会提醒安装对应依赖的 Service。

第六步和第七步分别是选择安装软件所指定的 Master机器和Slave机器,以及Client机器。这里使用默认选择即可(真正在生产环境中,需要根据具体的机器配置选择)。

第八步就是Service的配置。绝大部分配置已经有默认值,不需要修改,初学者,如果不需要进行调优是可以直接使用默认配置的。有些Service会有一些必须的手工配置项,则必须手动输入,才可以下一步。本文环境直接使用默认配置。

第九步Ambari会总结一个安装列表,供用户审阅。这里没问题,就直接下一步。

第十步Ambari会开始安装选择的Service到Ambari Agent的机器。这里可能需要等好一会,因为都是在线安装。安装完成之后,Ambari就会启动这些Service。

安装完成之后,就可以查看Ambari的Dashboard了。

results matching ""

    No results matching ""