Taegu

에러

ha테스트 중 active namenode를 kill하고 standby 네임노드가 active가 되기를 기다렸지만 여전히 standby 상태였습니다. 

tail -f zkfc.log를 확인하니 아래와 같은 에러메세지가 발생했습니다.

WARN org.apache.hadoop.ha.SshFenceByTcpPort: Unable to connect to [ip] as user [user]
com.jcraft.jsch.JSchException: java.net.ConnectException: Connection refused (Connection refused)

원인

sshfence 통신이 안되는 문제였습니다. 확인해보니 현재 22포트가 아닌 다른 포트를 사용하여 발생한 에러였습니다.

해결방법

해결방법으로는 hdfs-site.xml에서 아래 사진과 같이 유저와 포트를 지정해줄 수 있습니다 저는 sshfence(user:0000)으로 변경하였습니다.

원인

카프카 매니저 설치 중 에러를 기록합니다.

카프카 매니저 2.0.0.2설치 중 ./sbt clean dist 명령어 입력후 설치가 진행되다가 위의 에러가 수십개 발생하였습니다.

원인을 알아보니 80즉 http로 다운로드를 진행하지만 현재 관련 파일들은 https에 있어 그런 것으로 확인되었습니다. 

해결

해결방법은 간단합니다.

CMAK-2.0.0.2/project/plugins.sbt 파일 내용에서 

http://repo.typesafe.com/typesafe/releases/  >https://repo.typesafe.com/typesafe/releases/로 변경해주면 됩니다.

카프카 매니저  설치 전 sbt 설치 방법에 대해 기록하고자 한다.

sudo rm -f /etc/yum.repos.d/bintray-rpm.repo
sudo rm -f /etc/yum.repos.d/bintray-sbt-rpm.repo

curl -L https://www.scala-sbt.org/sbt-rpm.repo > sbt-rpm.repo
sudo mv sbt-rpm.repo /etc/yum.repos.d/
sudo yum install sbt

주키퍼 설치 진행하다 log에 아래와 같은 메세지를 뱉으며 리더 선출이 안되며, 구성이 안됐습니다. 기본적으로 포트도 허용하였고 myid 또한 정확하게 셋팅하였습니다.

WARN [QuorumPeer[myid=1](plain=[0:0:0:0:0:0:0:0]:2181)(secure=disabled):Follower@129] - Exception when following the leader java.lang.IllegalArgumentException

결론적으로 제가 주키퍼 3.6.0버전을 쓰고 있는데 구글서치를 하니 3.6.0버전에서 발생하는 오류라고 합니다. 저는 3.7.1로 변경하여 구성 완료하였고

다른분들은 3.6.1을 사용하여 위의 에러를 해결했다고 합니다.

netstat

netstat는 전송 제어 프로토콜, 라우팅 테이블, 수많은 네트워크 인터페이스, 네트워크 프로토콜 통계를 위한 네트워크 연결을 보여주는 명령 줄 도구입니다. 특히 서버끼리 통신 시 포트 허용여부를 확인하려고 많이 썻습니다.

• Proto : 프로토콜 종류. TCP / UDP (tcp와 tcp6의 차이는 IPv4와 IPv6 를 의미합니다)
• Recv-Q : process가 현재 받는 바이트 표기
• Send-Q : process가 현재 보내는 바이트 표기
• Local Address : 출발지 주소 및 포트. 자신의 주소 및 포트 (: 뒤는 포트를 나타냅니다)
• Foreign Address : 목적지 주소 및 포트 (0.0.0.0:* tcp의 모든 아이피를 뜻하며, [::]:*의경우 tcp6의 모든 아이피를 뜻합니다.)
• State : 포트의 상태 표기.(LISTEN - 포트가 열려있는 상태ESTABLISHED - 연결되어 있음)

netstat 예시

내부의 모든 IP의 SSH(Local Address, 0.0.0.0:111) 외부의 모든 IP의 모든 포트에 대한(Foreign Address, 0.0.0.0:*) 요청을 기다리고(Listen) 있다라고 생각하면 될 것 같습니다!

개요

hadoop을 배우게 되면 HDFS라는 개념을 가장먼저 배우게 되는데 데이터를 블록단위로 저장하는 분산저장시스템입니다. 그렇다면 하둡의 HDFS가 있는데 HBase를 사용하는 이유는 무엇일까요? 

다시 정리하자면, HDFS는 분산형 파일 시스템으로 대규모 데이터를 저장하기 위한 것이고, HBase는 분산형 NoSQL 데이터베이스로 대규모 데이터를 저장하고 실시간으로 읽고 쓰기 위한 것입니다.

여기서 HBase는 실시간으로 읽고 쓰기 위한 것에 초점을 맞췄습니다. HDFS는 데이터를 단순히 저장하기만 하지만, HBase는 데이터를 저장하는 동시에 실시간으로 조회하고 처리할 수 있습니다. 따라서 HBase는 Hadoop 기반의 분산 시스템에서 대규모 데이터를 저장하고 처리하는 데 사용됩니다.

HDFS / HBase 차이점

데이터 모델

• HDFS  - HDFS는 분산형 파일 시스템으로 데이터를 파일 단위로 저장합니다. 파일은 블록으로 분할되고, 이 블록들은 클러스터의 여러 노드에 저장됩니다. 
• HBase - HBase는 분산형 NoSQL 데이터베이스로, 데이터를 행 단위로 저장하며, 각 행은 키-값 쌍의 집합으로 구성됩니다.

데이터의 읽기 쓰기 방식

• HDFS  - HDFS는 데이터를 일괄적으로 쓰고 읽는 데 특화되어 있습니다. 일관성이 중요하지 않은 대용량 파일의 저장과 처리에 적합합니다.
• HBase - HBase는 실시간으로 읽고 쓰는 데 특화되어 있으며, 빠른 응답 속도와 일관성이 필요한 애플리케이션에 적합합니다.

데이터 처리

• HDFS  - HDFS는 대규모 데이터 처리를 위해 MapReduce와 같은 분산 처리 프레임워크를 사용합니다. 
• HBase - HBase는 Hadoop 에코시스템의 다른 도구와 함께 사용하여 데이터 처리를 할 수 있습니다.

hive / hbase

하둡을 처음 공부하면서 hbase와 hive에 혼동이 생겨 정리하고자 포스팅합니다. 앞에 h가 붙어 뭔가 연결되어 있는 느낌이 있습니다. 결론적으로 hive가 hbase에 있는 데이터를 사용하여 데이터를 집계할 수 있지만 두개의 프로젝트가 긴밀한 연관이 있는 것은 아닙니다.

Hive와 HBase는 둘 다 Apache 소프트웨어 재단에서 개발된 분산 데이터 저장 및 처리 시스템입니다. 하지만 Hive는 데이터 웨어하우스 시스템이고 HBase는 분산형 NoSQL 데이터베이스 시스템입니다. 그러므로 Hive와 HBase는 목적과 사용 사례가 다릅니다.

hive란?

Apache Hive는 Hadoop 기반의 대규모 분산 데이터 처리 시스템에서 SQL 쿼리를 실행하기 위한 데이터 웨어하우스 솔루션입니다. Hive는 구조화된 데이터를 처리하는 데 적합하며, SQL 쿼리를 사용하여 데이터를 조회, 분석, 변환, 저장 등 다양한 작업을 수행할 수 있습니다.

Hive는 Hadoop 클러스터의 분산 파일 시스템(HDFS) 및 Hbase에 저장된 데이터를 처리하며, MapReduce를 사용하여 데이터를 분산 처리합니다. HiveQL이라는 SQL 언어를 사용하여 데이터를 쿼리질의 합니다.

또한, 데이터를 압축하고 파티셔닝하고 인덱싱하는 기능을 제공합니다. 또한 데이터베이스 테이블과 유사한 개념인 Hive 테이블(Metastore)을 사용하여 데이터를 구조화하고 관리할 수 있습니다.

hbase란?

Apache HBase는 Apache Hadoop 기반의 분산형 NoSQL 데이터베이스 시스템으로, 대규모 데이터를 실시간으로 읽고 쓸 수 있는 고성능 데이터 저장소입니다. HBase는 Google의 Bigtable 논문에서 영감을 받아 개발된 오픈 소스 프로젝트로, 구글의 Bigtable과 유사한 데이터 모델을 사용합니다.

HBase는 대규모 데이터 집합을 처리하고 저장하는 데 사용되며, Hadoop Distributed File System(HDFS) 상에서 동작합니다. 데이터를 행 단위로 저장하며, 각 행은 키-값 쌍의 집합으로 구성됩니다.

HBase는 대규모 웹 애플리케이션에서 사용자 프로필과 같은 대규모 데이터 집합을 저장하고 관리하는 데 이용됩니다. 또한, HBase는 인터넷 로그 데이터를 저장하고 분석하는 데 사용됩니다.

파월이 살린장을 옐런이 망쳤네요 ㅎㅎ

fomc이후 발언에서 옐런이 모든 은행의 예금을 보호하지는 않는다고 발언하였습니다. 이 때문에 은행주 주가가 더 가파트게 내려가는걸 볼 수 있네요 

금융주 계좌 공개(3월22일 장 끝난후)

공포탐욕지수(23년 3월 22일자)

시장의 하락으로 공포지수는 공포쪽으로 약간 움직인 것을 볼 수 있습니다.  암호화폐또한 fear쪽으로 움직였네요

기존 공포 탐욕지수

암호화폐 공포 탐욕지수

현재 느낀점

 새로운 친구들을 소개합니다. frc는 기분삼아 4주를 구매하였고 bnku와 pacw를 추가 매수 하였습니다. 

pacw매수 이유는 처음에 frc를 추가 매수할까 하다 중소은행중 가장 재무적으로 튼튼하며, 하락폭이있는 주식을 골랐고 그게 바로 pacw입니다. frc에 자금이 더 들어갔다가 혹시나 모르는 파산이슈로 쉽게 매수버튼이 안눌러 지더라고요, 만약 샀다고 하더라고 계속해서 계좌를 쳐다볼거 같아 pacw를 사고 푹잤습니다. 아침에 보니 떨어졌네요 ㅎㅎ

다음글부터는 심경의 변화 또는 계좌의 변화가 있을 때 포스팅하겠습니다.

그럼 이만