广州做网站海珠信科,做网站从哪方面入门,网站建设公司程序,中国机床行业我们将描述在单节点和多节点上的Hadoop设置。 将详细描述Hadoop环境的设置和配置。 首先#xff0c;您需要下载以下软件#xff08;rpm#xff09;。 Java JDK RPM Apache Hadoop 0.20.204.0 RPM A#xff09;单节点系统Hadoop设置 1#xff09;在Red Hat或CentOS 5系统… 我们将描述在单节点和多节点上的Hadoop设置。 将详细描述Hadoop环境的设置和配置。 首先您需要下载以下软件rpm。 Java JDK RPM Apache Hadoop 0.20.204.0 RPM A单节点系统Hadoop设置 1在Red Hat或CentOS 5系统上安装JDK。 $ ./jdk-6u26-linux-x64-rpm.bin.sh Java已安装并将JAVA_HOME设置为/ usr / java / default 2安装Apache Hadoop 0.20.204。 $ rpm -i hadoop-0.20.204.0-1.i386.rpm 3设置Apache Hadoop配置并启动Hadoop进程。 $ /usr/sbin/hadoop-setup-single-node.sh 设置向导将指导您完成一系列问题以设置Hadoop。 对所有问题回答“是”后Hadoop应该正在运行。 在HDFS上为您自己创建一个用户帐户。 $ /usr/sbin/hadoop-create-user.sh -u $USERB多节点Hadoop设置 1在所有节点上同时安装JDK和Hadoop 0.20.204.0 RPM 2在所有节点上生成hadoop配置 $ /usr/sbin/hadoop-setup-conf.sh \--namenode-urlhdfs://${namenode}:9000/ \--jobtracker-url${jobtracker}:9001 \--conf-dir/etc/hadoop \--hdfs-dir/var/lib/hadoop/hdfs \--namenode-dir/var/lib/hadoop/hdfs/namenode \--mapred-dir/var/lib/hadoop/mapred \--datanode-dir/var/lib/hadoop/hdfs/data \--log-dir/var/log/hadoop \--auto 其中$ {namenode}和$ {jobtracker}应替换为namenode和jobtracker的主机名。 3格式化namenode并设置默认的HDFS布局。 $ /usr/sbin/hadoop-setup-hdfs.sh 4启动所有数据节点。 $ /etc/init.d/hadoop-datanode start 5启动作业跟踪器节点。 $ /etc/init.d/hadoop-jobtracker start 6启动任务跟踪器节点。 $ /etc/init.d/hadoop-tasktracker start 7在HDFS上为您自己创建一个用户帐户。 $ /usr/sbin/hadoop-create-user.sh -u $USERCHadoop的安装环境 $ vi ~/.bash_profile 在INSERT模式下设置JAVA_HOME的路径 汇出JAVA_HOME 通过单击escwq保存文件 运行.bash_profile $ source ~/.bash_profile 在Hadoop环境文件中设置JAVA_HOME路径 $ /etc/hadoop/hadoop-env.shDHadoop的配置 使用以下内容 conf / core-site.xml configurationpropertynamefs.default.name/namevaluehdfs://localhost:9000/value/property
/configuration conf / hdfs-site.xml configurationpropertynamedfs.replication/namevalue1/value/property
/configuration conf / mapred-site.xml configurationpropertynamemapred.job.tracker/namevaluelocalhost:9001/value/property
/configurationEHadoop命令 $ hadoop
$ hadoop namenode –format (Format the namenode, If ask to
answer press ‘Y’)
$ hadoop namenode (Start the namenode)
$ find / -name start-dfs.sh (find the file in directory)
$ cd usr/sbin (Go to respective directory directly)
$ start-dfs.sh
$ start-mapred.sh$ hadoop fs –ls / (Shows the HDFS root folder)
$ hadooop fs –put input/file01 /input/file01 (Copy local input/file01 to
HDFS root /input/file01) 参考 TechAlpine –技术世界博客上的JCG合作伙伴 Kaushik Pal提供了在单节点和多节点上的Hadoop设置 。 翻译自: https://www.javacodegeeks.com/2013/05/hadoop-setup-on-single-node-and-multi-node.html
