本篇文章給大家談?wù)勗趺纯磆adoop環(huán)境配置成功沒，以及怎么看hadoop是否安裝成功對(duì)應(yīng)的知識(shí)點(diǎn)，希望對(duì)各位有所幫助，不要忘了收藏本站喔。

本文目錄一覽：

• 1、初次啟動(dòng)Hadoop
• 2、如何查看hadoop集群是否安裝成功（用jps命令
• 3、如何查看hadoop
• 4、hadoop雙節(jié)點(diǎn)配置完成后，顯示這個(gè)表示成功了嗎？

初次啟動(dòng)Hadoop

首先把Hadoop安裝包解壓到系統(tǒng)中

查看其目錄結(jié)構(gòu)

要修改hadoop的一些配置，在etc/hadoop/目錄下，修改hadoop-env.sh

配置jdk的路徑

修改core-site.xml

在configuration中添加

fs.defaultFS ?表示hadoop默認(rèn)的文件系統(tǒng)是什么

hadoop.tmp.dir 表示其他datanode產(chǎn)生的要放在namenode上的文件的存放路徑

在/etc/profile中添加Hadoop的環(huán)境變量配置，之后source

此時(shí)已經(jīng)可以啟動(dòng)hadoop了

啟動(dòng)前先初始化hadoop 也就是創(chuàng)建那個(gè)臨時(shí)目錄

表示成功

啟動(dòng)hadoop的命令是hadoop-daemon.sh start namenode

查看一下 pid=4778即為hadoop的進(jìn)程 9000是剛才在配置文件中配置的內(nèi)部端口 50070是外部窗口

打開電腦上的瀏覽器輸入nn-01:50070(nn-01是hostname)即可出現(xiàn)如下界面 證明hadoop啟動(dòng)成功并可訪問

如何查看hadoop集群是否安裝成功（用jps命令

1、用jps命令

（1）master節(jié)點(diǎn)

啟動(dòng)集群：

cy@master:~$ start-all.sh

starting namenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-namenode-master.out

slave2: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave2.out

slave1: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave1.out

master: starting secondarynamenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-secondarynamenode-master.out

starting jobtracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-jobtracker-master.out

slave1: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave1.out

slave2: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave2.out

用jps命令查看Java進(jìn)程：

cy@master:~$ jps

6670 NameNode

7141 Jps

7057 JobTracker

（2）slave1節(jié)點(diǎn)

用jps命令查看Java進(jìn)程：

cy@slave1:~$ jps

3218 Jps

2805 DataNode

2995 TaskTracker

（3）slave2節(jié)點(diǎn)

用jps命令查看Java進(jìn)程：

cy@slave2:~$ jps

2913 TaskTracker

2731 DataNode

3147 Jps

如果三臺(tái)虛擬機(jī)用jps命令查詢時(shí)如上面顯示的那樣子，就說(shuō)明hadoop安裝和配置成功了。

2、hadoop集群的測(cè)試，用hadoop-examples-1.2.1.jar中自帶的wordcount程序進(jìn)行測(cè)試，該程序的作用是統(tǒng)計(jì)單詞的個(gè)數(shù)。

（1）我們現(xiàn)在桌面上創(chuàng)建一個(gè)新的文件test.txt，里面總共有10行，每行都是hello world

（2）在HDFS系統(tǒng)里創(chuàng)建一個(gè)input文件夾，使用命令如下：

hadoop fs -mkdir input

或 hadoop fs -mkdir /user/你的用戶名/input

（3）把創(chuàng)建好的test.txt上傳到HDFS系統(tǒng)的input文件夾下，使用命令如下所示。

hadoop fs -put /home/你的用戶名/桌面/test.txt input

或 hadoop fs -put /home/你的用戶名/桌面/test.txt /user/你的用戶名/input

（4）我們可以查看test.txt是否在HDFS的input文件夾下，如下所示：

hadoop fs -ls input

如果顯示如下就說(shuō)明上傳成功：

Found 1 items

-rw-r--r-- 3 cy supergroup 120 2015-05-08 20:26 /user/cy/input/test.txt

（5）執(zhí)行hadoop-examples-1.2.1.jar中自帶的wordcount程序，如下：（提示：在執(zhí)行下面的命令之前，你要在終端用cd命令進(jìn)入到/home/cy/Hadoop/hadoop-1.2.1目錄）

hadoop jar hadoop-examples-1.2.1.jar wordcount /user/你的用戶名/input/test.txt /user/你的用戶名/output

如果顯示如下結(jié)果就說(shuō)明運(yùn)行成功：

15/05/08 20:31:29 INFO input.FileInputFormat: Total input paths to process : 1

15/05/08 20:31:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library

15/05/08 20:31:29 WARN snappy.LoadSnappy: Snappy native library not loaded

15/05/08 20:31:30 INFO mapred.JobClient: Running job: job_201505082010_0001

15/05/08 20:31:31 INFO mapred.JobClient: map 0% reduce 0%

15/05/08 20:31:35 INFO mapred.JobClient: map 100% reduce 0%

15/05/08 20:31:42 INFO mapred.JobClient: map 100% reduce 33%

15/05/08 20:31:43 INFO mapred.JobClient: map 100% reduce 100%

15/05/08 20:31:43 INFO mapred.JobClient: Job complete: job_201505082010_0001

15/05/08 20:31:43 INFO mapred.JobClient: Counters: 29

15/05/08 20:31:43 INFO mapred.JobClient: Job Counters

15/05/08 20:31:43 INFO mapred.JobClient: Launched reduce tasks=1

15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=3117

15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0

15/05/08 20:31:43 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0

15/05/08 20:31:43 INFO mapred.JobClient: Launched map tasks=1

15/05/08 20:31:43 INFO mapred.JobClient: Data-local map tasks=1

15/05/08 20:31:43 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=8014

15/05/08 20:31:43 INFO mapred.JobClient: File Output Format Counters

15/05/08 20:31:43 INFO mapred.JobClient: Bytes Written=18

15/05/08 20:31:43 INFO mapred.JobClient: FileSystemCounters

15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_READ=30

15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_READ=226

15/05/08 20:31:43 INFO mapred.JobClient: FILE_BYTES_WRITTEN=116774

15/05/08 20:31:43 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=18

15/05/08 20:31:43 INFO mapred.JobClient: File Input Format Counters

15/05/08 20:31:43 INFO mapred.JobClient: Bytes Read=120

15/05/08 20:31:43 INFO mapred.JobClient: Map-Reduce Framework

15/05/08 20:31:43 INFO mapred.JobClient: Map output materialized bytes=30

15/05/08 20:31:43 INFO mapred.JobClient: Map input records=10

15/05/08 20:31:43 INFO mapred.JobClient: Reduce shuffle bytes=30

15/05/08 20:31:43 INFO mapred.JobClient: Spilled Records=4

15/05/08 20:31:43 INFO mapred.JobClient: Map output bytes=200

15/05/08 20:31:43 INFO mapred.JobClient: CPU time spent (ms)=610

15/05/08 20:31:43 INFO mapred.JobClient: Total committed heap usage (bytes)=176427008

15/05/08 20:31:43 INFO mapred.JobClient: Combine input records=20

15/05/08 20:31:43 INFO mapred.JobClient: SPLIT_RAW_BYTES=106

15/05/08 20:31:43 INFO mapred.JobClient: Reduce input records=2

15/05/08 20:31:43 INFO mapred.JobClient: Reduce input groups=2

15/05/08 20:31:43 INFO mapred.JobClient: Combine output records=2

15/05/08 20:31:43 INFO mapred.JobClient: Physical memory (bytes) snapshot=182902784

15/05/08 20:31:43 INFO mapred.JobClient: Reduce output records=2

15/05/08 20:31:43 INFO mapred.JobClient: Virtual memory (bytes) snapshot=756301824

15/05/08 20:31:43 INFO mapred.JobClient: Map output records=20

（6）我們可以使用下面的命令還查看運(yùn)行后的結(jié)果：

hadoop fs -ls output

hadoop fs -text /user/你的用戶名/output/part-r-00000

如果顯示如下就說(shuō)明hadoop三個(gè)節(jié)點(diǎn)安裝和配置成功，測(cè)試也成功了，就可以繼續(xù)更深入地使用和研究hadoop了

hello 10

world 10

如何查看hadoop

Hadoop HDFS只有服務(wù)日志，與Hadoop MapReduce的服務(wù)日志類似；

Hadoop MapReduce日志分為兩部分，一部分是服務(wù)日志，一部分是作業(yè)日志，具體介紹如下：

1. Hadoop 1.x版本

Hadoop 1.x中MapReduce的服務(wù)日志包括JobTracker日志和各個(gè)TaskTracker日志，他們的日志位置如下（Web界面也可查看其日志，地址http://主節(jié)點(diǎn)IP:50030）：

JobTracker：在JobTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是

${hadoop.log.dir}/logs/*-jobtracker-*.log，該文件每天生成一個(gè)，舊的日志后綴是日期，當(dāng)天的日志文件后綴是“.log”，其中${hadoop.log.dir}默認(rèn)值是hadoop安裝目錄，即${HADOOP_HOME}。

TaskTracker：在各個(gè)TaskTracker安裝節(jié)點(diǎn)上，默認(rèn)位置是

$HADOOP_HOME/logs/*-tasktracker-*.log，該文件每天生成一個(gè)，舊的日志后面會(huì)跟一個(gè)日志，當(dāng)天的日志文件后綴是“.log”

作業(yè)日志包括jobhistory日志和task日志兩部分，其中，jobhistory日志是作業(yè)運(yùn)行日志，包括作業(yè)啟動(dòng)時(shí)間、結(jié)束時(shí)間，每個(gè)任務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間，各種counter信息等，用戶可以從這個(gè)日志中解析出作業(yè)運(yùn)行的各種信息，是非常有價(jià)值的信息。默認(rèn)存放位置是JobTracker所在節(jié)點(diǎn)的${hadoop.log.dir}/history目錄下，可通過參數(shù)hadoop.job.history.location配置。每個(gè)task日志存放在task運(yùn)行節(jié)點(diǎn)上，存放位置是${hadoop.log.dir}/userlogs/jobid/attempt-id目錄下，每個(gè)task包含三個(gè)日志文件，分別是stdout、stderr和syslog，其中，stdout是通過標(biāo)準(zhǔn)輸出打印出來(lái)的日志，比如System.out.println，注意，程序中通過標(biāo)準(zhǔn)輸出打印的日志并不會(huì)直接顯示在終端上，而是保存在這個(gè)文件中，syslog是通過log4j打印的日志，通常這個(gè)日志中包含的有用信息最多，也是錯(cuò)誤調(diào)試中最關(guān)鍵的參考日志。

2. Hadoop 2.x版本

Hadoop 2.x中YARN系統(tǒng)的服務(wù)日志包括ResourceManager日志和各個(gè)NodeManager日志，他們的日志位置如下：

ResourceManager日志存放位置是Hadoop安裝目錄下的logs目錄下的yarn-*-resourcemanager-*.log

NodeManager日志存放位置是各個(gè)NodeManager節(jié)點(diǎn)上hadoop安裝目錄下的logs目錄下的yarn-*-nodemanager-*.log

應(yīng)用程序日志包括jobhistory日志和Container日志，其中，jobhistory日志是應(yīng)用程序運(yùn)行日志，包括應(yīng)用程序啟動(dòng)時(shí)間、結(jié)束時(shí)間，每個(gè)任務(wù)的啟動(dòng)時(shí)間、結(jié)束時(shí)間，各種counter信息等。

Container日志包含ApplicationMaster日志和普通Task日志，它們均存放在Hadoop安裝目錄下的userlogs目錄中的application_xxx目錄下，其中ApplicationMaster日志目錄名稱為container_xxx_000001，普通task日志目錄名稱則為container_xxx_000002，container_xxx_000003，….，同Hadoop 1.x一樣，每個(gè)目錄下包含三個(gè)日志文件：stdout、stderr和syslog，且具體含義是一樣的。

hadoop雙節(jié)點(diǎn)配置完成后，顯示這個(gè)表示成功了嗎？

其實(shí)看有沒有啟動(dòng)成功的辦法很簡(jiǎn)單，在相應(yīng)的節(jié)點(diǎn)上利用 jps 命令查看java進(jìn)程有哪些就好了。

比如在namenode節(jié)點(diǎn)上執(zhí)行 jps 后，如果看到結(jié)果中有NameNode，那就表示NameNode啟動(dòng)成功了正在運(yùn)行；在datanode上執(zhí)行 jps 后，看到有 DataNode，就表示datanode啟動(dòng)成功了。

如果還要更準(zhǔn)確、更詳細(xì)的，那可以從start腳本運(yùn)行時(shí)的控制臺(tái)輸出以及l(fā)og日志文件中查看判斷是否啟動(dòng)成功。

關(guān)于怎么看hadoop環(huán)境配置成功沒和怎么看hadoop是否安裝成功的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。