[hadoop] IOException there appears to be a gap in the edit log. we expected txid 215246, but got txid 215550

원인

하둡 서버 자체가 다운되었습니다. nn02에는 모든 데몬이 내려가 있었고 (주키퍼, 저널노드 포함), nn01에 hbase와 namenode가 내려갔습니다. 네임노드 재시작 시 아래와 같은 에러가 발생하며, 네임노드 데몬이 올라오지 못했습니다. 에러내용으로는 네임노드가 내려가면서, edit로그의 정합성이 깨진 것 같습니다.

 

 

해결1- (nn01,nn02 둘다 데몬 내려가서 안 올라올 때)

# edit_log 및 fsimage 백업 (nn01)
cd /data/dfs/nn/current/
cd -r current current_backup

# hadoop bin 폴더 이동 (nn01)
cd /hadoop/bin

# 네임노드 복구(nn01) Continue or Always 옵션 선택(nn01)
./hadoop namenode -recover

# 네임노드 시작(nn01)
/rnd/hadoop/default/bin/./hdfs --daemon start namenode

# 세이프 모드 진입 및 설정(nn01)
cd /hadoop/bin/
./hdfs dfsadmin -safemode enter
./hdfs dfsadmin -saveNamespace
./hdfs dfsadmin -safemode leave

# fsimage 파일 복사(nn02)
cd /hadoop/bin/
./hdfs namenode -bootstrapStandby -force

# 네임노드 재시작 (nn02)
/rnd/hadoop/default/bin/./hdfs --daemon start namenode

# 네임노드 상태 확인
/hadoop/bin/./hdfs haadmin -getServiceState nn01
/hadoop/bin/./hdfs haadmin -getServiceState nn02

 

 

해결2 - (nn02 데몬 내려가서 안 올라올 때)

# 세이프 모드 진입 및 설정(nn01)
cd /hadoop/bin/
./hdfs dfsadmin -safemode enter
./hdfs dfsadmin -saveNamespace
./hdfs dfsadmin -safemode leave

# fsimage 파일 복사(nn02)
cd /hadoop/bin/
./hdfs namenode -bootstrapStandby -force

# 네임노드 재시작 (nn02)
/hadoop/bin/./hdfs --daemon start namenode

# 네임노드 상태 확인
/hadoop/bin/./hdfs haadmin -getServiceState nn01
/hadoop/bin/./hdfs haadmin -getServiceState nn02