Hadoop Single설치 (ver 2.7.4)

데이터에듀 장형석 교수님의 하둡 동영상을 참고(장형석교수님 강의는 ver 2.6.4)로 이와 유사하게 진행하였습니다. 동영상과 달리 상위버전에서 진행한 이유는 논문환경 및 실제 많은 기관에서 사용하는 version을 채택하였습니다.

Hadoop 설치 전, 실습환경

Centos 7.4 (64 bit), OpenJDK 1.8, MySQL-Connector-Java-5.1.23, Hadoop-2.7.4

Java Setup

1. OpenJDK 1.8 버전 설치 및 확인 [root@testauto3 ~]# yum install java-1.8.0-openjdk-devel.x86_64 [root@testauto3 ~]# rpm -qa | grep java

2. JAVA 버전 확 [root@testauto3 ~]# java -version

3. javac 라는 명령어의 위치 확인 [root@testauto3 ~]# which javac

4. javac의 심볼릭 링크를 통해 원본 파일의 위치 추출 [root@testauto3 ~]# readlink -f /usr/bin/javac

5. vi에디터로 profile 파일을 열어 아래 export 구문을 추가한 후 저장 [root@testauto3 ~]# vi /etc/profile

6. profile 파일을 수정한 후에 수정된 값을 바로 적용 [root@testauto3 ~]# source /etc/profile

7. JAVA_HOME 이 제대로 적용되었는지 확인 [root@testauto3 ~]# echo $JAVA_HOME

8. JAVAC 버전 확인 [root@testauto3 ~]# $JAVA_HOME/bin/javac -version

Mysql-Connector-Java Setup

1. WINDOWS CMD에서 wget으로 Mysql-Connector-Java 다운로드 CMD 명령어 : wget www.db21.co.kr/big/mysql-connector-java-5.1.23-bin.jar

2. 다운로드한 파일을 FileZilla에서 아래의 경로에 업로 저장 경로 : /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64/lib/

3. vi에디터로 .bash_profile 파일을 열어 아래 export 구문을 추가한 후 저장 [hadoop@testauto3 ~]$ vi ~/.bash_profile

ssh-keygen을 이용 키 생성

1. RSA키 생성 및 확 [hadoop@testauto3 ~]$ ssh-keygen -t rsa (명령어 수행 후, 엔터키를 세번 누르면 RSA키 생성됨) [hadoop@testauto3 ~]$ ll .ssh

2. 생성한 id_rsa.pub를 authorized_keys에 복 [hadoop@testauto3 ~]$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

3. vi 에디터로 /etc/ssh/sshd_config 파일에 아래 내용 수정 [root@testauto3 .ssh]# vi /etc/ssh/sshd_config AuthorizedKeysFile .ssh/authorized_keys #PermitEmptyPasswords no #PasswordAuthentication yes PubkeyAuthentication yes

4. sshd 서비스 재기동 [root@testauto3 .ssh]# systemctl restart sshd.service

5. ssh 디렉토리와 파일들의 권한 설정 [hadoop@testauto3 ~]$ chmod 700 ~/.ssh [hadoop@testauto3 ~]$ chmod 600 ~/.ssh/id_rsa [hadoop@testauto3 ~]$ chmod 644 ~/.ssh/id_rsa.pub [hadoop@testauto3 ~]$ chmod 644 ~/.ssh/authorized_keys

Hadoop 2.7.4 Setup

2. 다운로드한 파일을 FileZilla에서 아래의 경로에 업로 저장 경로: /home/hadoop

3. Hadoop tar파일 압축해제 [hadoop@testauto3 ~]$ tar zxvf hadoop-2.7.4.tar.gz

4. vi에디터로 .bashrc 파일을 열어 아래 내용 추가 [hadoop@testauto3 ~]$ vi .bashrc

5. bashrc 파일을 수정한 후에 수정된 값을 바로 적용 [hadoop@testauto3 ~]$ source .bashrc

6. <HADOOP_HOME>/etc/hadoop 폴더의 yarn-env.sh 파일에 아래 내용 편집 [hadoop@testauto3 ~]$ cd /home/hadoop/hadoop-2.7.4/etc/hadoop [hadoop@testauto3 hadoop]$ vi yarn-env.sh

7. HADOOP_HOME에 임시 폴더를 생성 [hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/tmp [hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/hdfs [hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/hdfs/namenode [hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/hdfs/datanode

8. <HADOOP_HOME>/etc/hadoop 에서 아래의 설정 파일들을 편집 (1) core-site.xml 편집 [hadoop@testauto3 ~]$ cd /home/hadoop/hadoop-2.7.4/etc/hadoop [hadoop@testauto3 hadoop]$ vi core-site.xml

(2) hdfs-site.xml 편집 [hadoop@testauto3 hadoop]$ vi hdfs-site.xml

(3) mapred-site.xml 편집 [hadoop@testauto3 hadoop]$ cp mapred-site.xml.template mapred-site.xml [hadoop@testauto3 hadoop]$ vi mapred-site.xml

(4) yarn-site.xml 편집 [hadoop@testauto3 hadoop]$ vi yarn-site.xml

9. NameNode 포맷 [hadoop@testauto3 sbin]$ hdfs namenode -format

10. Hadoop 실행 [hadoop@testauto3 ~]$ cd /home/hadoop/hadoop-2.7.4/sbin [hadoop@testauto3 sbin]$ start-dfs.sh

[hadoop@testauto3 sbin]$ start-yarn.sh

[hadoop@testauto3 sbin]$ mr-jobhistory-daemon.sh start historyserver

11. jps를 실행하여 결과 확 [hadoop@testauto3 sbin]$ jps

12. 웹 브라우저에 http://[IP주]:50070 과 http://[ip주소]:50090, http://[ip주소]:8088을 입력