CentOS下怎么安装Hadoop
导读:本文共2826字符,通常情况下阅读需要9分钟。同时您也可以点击右侧朗读,来听本文内容。按键盘←(左) →(右) 方向键可以翻页。
摘要: Hadoop是Apache 旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。安装 Java在安装 hadoop 之前,请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本。java-versionjavaversion"1.7.... ...
目录
(为您整理了一些要点),点击可以直达。Hadoop是Apache 旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。
安装 Java
在安装 hadoop 之前,请确保你的系统上安装了 Java。使用此命令检查已安装 Java 的版本。
java-versionjavaversion"1.7.0_75"Java(TM)SERuntimeEnvironment(build1.7.0_75-b13)JavaHotSpot(TM)64-BitServerVM(build24.75-b04,mixedmode)
要安装或更新 Java,请参考下面逐步的说明。
第一步是从 Oracle 官方网站下载最新版本的 java。
cd/opt/wget--no-cookies--no-check-certificate--header"Cookie:gpw_e24=http%3A%2F%2Fwww.oracle.com%2F;oraclelicense=accept-securebackup-cookie""http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz"tarxzfjdk-7u79-linux-x64.tar.gz
需要设置使用更新版本的 Java 作为替代。使用以下命令来执行此操作。
cd/opt/jdk1.7.0_79/alternatives--install/usr/bin/javajava/opt/jdk1.7.0_79/bin/java2alternatives--configjavaThereare3programswhichprovide'java'.SelectionCommand-----------------------------------------------*1/opt/jdk1.7.0_60/bin/java+2/opt/jdk1.7.0_72/bin/java3/opt/jdk1.7.0_79/bin/javaEntertokeepthecurrentselection[+],ortypeselectionnumber:3[PressEnter]
现在你可能还需要使用 alternatives 命令设置 javac 和 jar 命令路径。
alternatives--install/usr/bin/jarjar/opt/jdk1.7.0_79/bin/jar2alternatives--install/usr/bin/javacjavac/opt/jdk1.7.0_79/bin/javac2alternatives--setjar/opt/jdk1.7.0_79/bin/jaralternatives--setjavac/opt/jdk1.7.0_79/bin/javac
下一步是配置环境变量。使用以下命令正确设置这些变量。
设置 JAVA_HOME 变量:
exportJAVA_HOME=/opt/jdk1.7.0_79
设置 JRE_HOME 变量:
exportJRE_HOME=/opt/jdk1.7.0_79/jre
设置 PATH 变量:
exportPATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin
安装 Apache Hadoop
设置好 java 环境后。开始安装 Apache Hadoop。
第一步是创建用于 hadoop 安装的系统用户帐户。
useraddhadooppasswdhadoop
现在你需要配置用户 hadoop 的 ssh 密钥。使用以下命令启用无需密码的 ssh 登录。
su-hadoopssh-keygen-trsacat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keyschmod0600~/.ssh/authorized_keysexit
现在从官方网站 hadoop.apache.org 下载 hadoop 最新的可用版本。
cd~wgethttp://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gztarxzfhadoop-2.6.0.tar.gzmvhadoop-2.6.0hadoop
下一步是设置 hadoop 使用的环境变量。
编辑 ~/.bashrc,并在文件末尾添加以下这些值。
exportHADOOP_HOME=/home/hadoop/hadoopexportHADOOP_INSTALL=$HADOOP_HOMEexportHADOOP_MAPRED_HOME=$HADOOP_HOMEexportHADOOP_COMMON_HOME=$HADOOP_HOMEexportHADOOP_HDFS_HOME=$HADOOP_HOMEexportYARN_HOME=$HADOOP_HOMEexportHADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexportPATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
在当前运行环境中应用更改。
source~/.bashrc
编辑 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 并设置 JAVA_HOME 环境变量。
exportJAVA_HOME=/opt/jdk1.7.0_79/
现在,先从配置基本的 hadoop 单节点集群开始。
首先编辑 hadoop 配置文件并进行以下更改。
cd/home/hadoop/hadoop/etc/hadoop
让我们编辑 core-site.xml。
fs.default.namehdfs://localhost:9000
接着编辑 hdfs-site.xml:
dfs.replication1dfs.name.dirfile:///home/hadoop/hadoopdata/hdfs/namenodedfs.data.dirfile:///home/hadoop/hadoopdata/hdfs/datanode
并编辑 mapred-site.xml:
mapreduce.framework.nameyarn
最后编辑 yarn-site.xml:
yarn.nodemanager.aux-servicesmapreduce_shuffle
现在使用以下命令格式化 namenode:
hdfsnamenode-format
要启动所有 hadoop 服务,请使用以下命令:
cd/home/hadoop/hadoop/sbin/start-dfs.shstart-yarn.sh
要检查所有服务是否正常启动,请使用 jps 命令:
jps
你应该看到这样的输出。
26049SecondaryNameNode25929DataNode26399Jps26129JobTracker26249TaskTracker25807NameNode
现在,你可以在浏览器中访问 Hadoop 服务:http://your-ip-address:8088/ 。
</div> <div class="zixun-tj-product adv-bottom"></div> </div> </div> <div class="prve-next-news">
CentOS下怎么安装Hadoop的详细内容,希望对您有所帮助,信息来源于网络。