cluster

发布时间:2024-12-15 05:57

最新推荐文章于 2024-07-12 14:12:40 发布

zhang-zhan 于 2015-06-28 10:27:24 发布

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

Hadoop 集群搭建

本文描述了如何安装、配置、和管理有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千节点的超大集群。

安装

安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。

通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves。
我们用HADOOP_HOME指代安装的根路径。通常,集群里的所有机器的HADOOP_HOME路径相同。

配置文件

对Hadoop的配置通过conf/目录下的两个重要配置文件完成:

hadoop-default.xml - 只读的默认配置。

hadoop-site.xml - 集群特有的配置。

此外,通过设置conf/hadoop-env.sh中的变量为集群特有的值,你可以对bin/目录下的Hadoop脚本进行控制。

集群配置

要配置Hadoop集群,你需要设置Hadoop守护进程的运行环境和Hadoop守护进程的运行参数。

Hadoop守护进程指NameNode/DataNode 和JobTracker/TaskTracker。

配置Hadoop守护进程的运行环境
管理员可在conf/hadoop-env.sh脚本内对Hadoop守护进程的运行环境做特别指定。

至少,你得设定JAVA_HOME使之在每一远端节点上都被正确设置。

管理员可以通过配置选项HADOOP_*_OPTS来分别配置各个守护进程。 下表是可以配置的选项。

网址:cluster https://www.yuejiaxmz.com/news/view/478763

相关内容

机器学习算法实战案例
温州鞋革产业中小企业集群创新系统基于csp模型的分析毕设论文.doc
K8s操作失误!Rancher集群数据被误删,紧急应对指南
MovieLens个性化电影推荐系统实战(三):个性化电影推荐(推荐算法)
实例分享
肠型分析学习笔记
【Tanzu 社区版=TCE】 Mac 笔记本快速部署安装体验
浅谈mysql集群
起居室装饰
消息推送架构介绍

随便看看