Hadoop Single설치 (ver 2.7.4)
데이터에듀 장형석 교수님의 하둡 동영상을 참고(장형석교수님 강의는 ver 2.6.4)로 이와 유사하게 진행하였습니다. 동영상과 달리 상위버전에서 진행한 이유는 논문환경 및 실제 많은 기관에서 사용하는 version을 채택하였습니다.
Hadoop 설치 전, 실습환경
Centos 7.4 (64 bit), OpenJDK 1.8, MySQL-Connector-Java-5.1.23, Hadoop-2.7.4
Java Setup
1. OpenJDK 1.8 버전 설치 및 확인
[root@testauto3 ~]# yum install java-1.8.0-openjdk-devel.x86_64
[root@testauto3 ~]# rpm -qa | grep java
2. JAVA 버전 확
[root@testauto3 ~]# java -version
3. javac 라는 명령어의 위치 확인
[root@testauto3 ~]# which javac
4. javac의 심볼릭 링크를 통해 원본 파일의 위치 추출
[root@testauto3 ~]# readlink -f /usr/bin/javac
5. vi에디터로 profile 파일을 열어 아래 export 구문을 추가한 후 저장
[root@testauto3 ~]# vi /etc/profile
6. profile 파일을 수정한 후에 수정된 값을 바로 적용
[root@testauto3 ~]# source /etc/profile
7. JAVA_HOME 이 제대로 적용되었는지 확인
[root@testauto3 ~]# echo $JAVA_HOME
8. JAVAC 버전 확인
[root@testauto3 ~]# $JAVA_HOME/bin/javac -version
Mysql-Connector-Java Setup
1. WINDOWS CMD에서 wget으로 Mysql-Connector-Java 다운로드
CMD 명령어 : wget www.db21.co.kr/big/mysql-connector-java-5.1.23-bin.jar
2. 다운로드한 파일을 FileZilla에서 아래의 경로에 업로
저장 경로 : /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64/lib/
3. vi에디터로 .bash_profile 파일을 열어 아래 export 구문을 추가한 후 저장
[hadoop@testauto3 ~]$ vi ~/.bash_profile
ssh-keygen을 이용 키 생성
1. RSA키 생성 및 확
[hadoop@testauto3 ~]$ ssh-keygen -t rsa
(명령어 수행 후, 엔터키를 세번 누르면 RSA키 생성됨)
[hadoop@testauto3 ~]$ ll .ssh
2. 생성한 id_rsa.pub를 authorized_keys에 복
[hadoop@testauto3 ~]$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
3. vi 에디터로 /etc/ssh/sshd_config 파일에 아래 내용 수정
[root@testauto3 .ssh]# vi /etc/ssh/sshd_config
AuthorizedKeysFile .ssh/authorized_keys
#PermitEmptyPasswords no
#PasswordAuthentication yes
PubkeyAuthentication yes
4. sshd 서비스 재기동
[root@testauto3 .ssh]# systemctl restart sshd.service
5. ssh 디렉토리와 파일들의 권한 설정
[hadoop@testauto3 ~]$ chmod 700 ~/.ssh
[hadoop@testauto3 ~]$ chmod 600 ~/.ssh/id_rsa
[hadoop@testauto3 ~]$ chmod 644 ~/.ssh/id_rsa.pub
[hadoop@testauto3 ~]$ chmod 644 ~/.ssh/authorized_keys
Hadoop 2.7.4 Setup
1. 아래 URL에 Hadoop 2.7.4 tar.gz 파일을 다운로드
다운로드 URL:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.4/
2. 다운로드한 파일을 FileZilla에서 아래의 경로에 업로
저장 경로: /home/hadoop
3. Hadoop tar파일 압축해제
[hadoop@testauto3 ~]$ tar zxvf hadoop-2.7.4.tar.gz
4. vi에디터로 .bashrc 파일을 열어 아래 내용 추가
[hadoop@testauto3 ~]$ vi .bashrc
5. bashrc 파일을 수정한 후에 수정된 값을 바로 적용
[hadoop@testauto3 ~]$ source .bashrc
6. <HADOOP_HOME>/etc/hadoop 폴더의 yarn-env.sh 파일에 아래 내용 편집
[hadoop@testauto3 ~]$ cd /home/hadoop/hadoop-2.7.4/etc/hadoop
[hadoop@testauto3 hadoop]$ vi yarn-env.sh
7. HADOOP_HOME에 임시 폴더를 생성
[hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/tmp
[hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/hdfs
[hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/hdfs/namenode
[hadoop@testauto3 hadoop]$ mkdir -p $HADOOP_HOME/hdfs/datanode
8. <HADOOP_HOME>/etc/hadoop 에서 아래의 설정 파일들을 편집
(1) core-site.xml 편집
[hadoop@testauto3 ~]$ cd /home/hadoop/hadoop-2.7.4/etc/hadoop
[hadoop@testauto3 hadoop]$ vi core-site.xml
(2) hdfs-site.xml 편집
[hadoop@testauto3 hadoop]$ vi hdfs-site.xml
(3) mapred-site.xml 편집
[hadoop@testauto3 hadoop]$ cp mapred-site.xml.template mapred-site.xml
[hadoop@testauto3 hadoop]$ vi mapred-site.xml
(4) yarn-site.xml 편집
[hadoop@testauto3 hadoop]$ vi yarn-site.xml
9. NameNode 포맷
[hadoop@testauto3 sbin]$ hdfs namenode -format
10. Hadoop 실행
[hadoop@testauto3 ~]$ cd /home/hadoop/hadoop-2.7.4/sbin
[hadoop@testauto3 sbin]$ start-dfs.sh
[hadoop@testauto3 sbin]$ start-yarn.sh
[hadoop@testauto3 sbin]$ mr-jobhistory-daemon.sh start historyserver
11. jps를 실행하여 결과 확
[hadoop@testauto3 sbin]$ jps
12. 웹 브라우저에 http://[IP주]:50070 과 http://[ip주소]:50090, http://[ip주소]:8088을 입력
Last updated
