Taegu

도커  컨테이너 확인

도커 내부컨테이너의 ip를 확인하려고 합니다.

우선 현재 airflow 컨테이너를 띄어놓은 상태입니다.

도커  컨테이너 내부아이피 확인

아래 명령어를 입력하시게 되면 도커 컨테이너 내부 아이피를 확인할 수 있습니다.

docker inspect -f \
'{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' \
3f6d8e568bcf --컨테이너 ID--

터미널에서 pyspark 실행 시 제목과 같은 에러가 발생했습니다. 물론 원인은 다양할 수 있으나 저의 해결방법이 도움이 될까 하여 기록합니다. 전체 에러는 아래와 같습니다.

에러

22/07/10 13:22:24 ERROR SparkContext: Error initializing SparkContext.

java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the service 'sparkDriver' (for example spark.driver.bindAddress for SparkDriver) to the correct binding address.

at java.base/sun.nio.ch.Net.bind0(Native Method)

at java.base/sun.nio.ch.Net.bind(Net.java:555)

at java.base/sun.nio.ch.ServerSocketChannelImpl.netBind(ServerSocketChannelImpl.java:337)

at java.base/sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:294)

at io.netty.channel.socket.nio.NioServerSocketChannel.doBind(NioServerSocketChannel.java:134)

at io.netty.channel.AbstractChannel$AbstractUnsafe.bind(AbstractChannel.java:562)

at io.netty.channel.DefaultChannelPipeline$HeadContext.bind(DefaultChannelPipeline.java:1334)

at io.netty.channel.AbstractChannelHandlerContext.invokeBind(AbstractChannelHandlerContext.java:506)

at io.netty.channel.AbstractChannelHandlerContext.bind(AbstractChannelHandlerContext.java:491)

at io.netty.channel.DefaultChannelPipeline.bind(DefaultChannelPipeline.java:973)

at io.netty.channel.AbstractChannel.bind(AbstractChannel.java:260)

at io.netty.bootstrap.AbstractBootstrap$2.run(AbstractBootstrap.java:356)

at io.netty.util.concurrent.AbstractEventExecutor.safeExecute(AbstractEventExecutor.java:164)

at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:469)

at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:503)

at io.netty.util.concurrent.SingleThreadEventExecutor$4.run(SingleThreadEventExecutor.java:986)

at io.netty.util.internal.ThreadExecutorMap$2.run(ThreadExecutorMap.java:74)

at io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)

at java.base/java.lang.Thread.run(Thread.java:833)

해결

우선 로컬 pc의 호스트 네임을 확인합니다.

확인 후 etc 아래에 있는 hosts 파일에 127.0.0.1 hostname을 추가 합니다.

wq!를 통해 저정 후 터미널에 pyspark를 실행하면 정상적으로 작동하는 것을 볼 수 있습니다.

추가

혹시 위와 같은 방법으로도 해결이 안된다면 jdk 등의 버전 호환을 확인해보시길 바랍니다.

개요

redash 공식 문서를 따라 설치하게 되면 version8로 설치 됩니다. 현재 redash v10에서는 trino연동을 지원하기 때문에 v10으로 업그레이드 하려고 합니다.

업그레이드

cd opt/redash

vi docker-compose.yml 을 통해 docker-compose.yml 파일을 수정해 줍니다.

수정 전 스크립트

version: "2"
x-redash-service: &redash-service
  image: redash/redash:8.0.0.b32245
  depends_on:
    - postgres
    - redis
  env_file: /opt/redash/env
  restart: always
services:
  server:
    <<: *redash-service
    command: server
    ports:
      - "5000:5000"
    environment:
      REDASH_WEB_WORKERS: 4
  scheduler:
    <<: *redash-service
    command: scheduler
    environment:
      QUEUES: "celery"
      WORKERS_COUNT: 1
  scheduled_worker:
    <<: *redash-service
    command: worker
    environment:
      QUEUES: "scheduled_queries,schemas"
      WORKERS_COUNT: 1
  adhoc_worker:
    <<: *redash-service
    command: worker
    environment:
      QUEUES: "queries"
      WORKERS_COUNT: 2
  redis:
    image: redis:5.0-alpine
    restart: always
  postgres:
    image: postgres:9.6-alpine
    env_file: /opt/redash/env
    volumes:
      - /opt/redash/postgres-data:/var/lib/postgresql/data
    restart: always
  nginx:
    image: redash/nginx:latest
    ports:
      - "80:80"
    depends_on:
      - server
    links:
      - server:redash
    restart: always

수정 후 스크립트

version: '2'
x-redash-service: &redash-service
  image: redash/redash:10.1.0.b50633
  depends_on:
    - postgres
    - redis
  env_file: /opt/redash/env
  restart: always
services:
  server:
    <<: *redash-service
    command: server
    ports:
      - "5000:5000"
    environment:
      REDASH_WEB_WORKERS: 4
  scheduler:
    <<: *redash-service
    command: scheduler
  scheduled_worker:
    <<: *redash-service
    command: worker
  adhoc_worker:
    <<: *redash-service
    command: worker
  redis:
    image: redis:6-alpine
    restart: always
  postgres:
    image: postgres:12-alpine
    env_file: /opt/redash/env
    volumes:
      - /opt/redash/postgres-data:/var/lib/postgresql/data
    restart: always
  nginx:
    image: redash/nginx:latest
    ports:
      - "80:80"
    depends_on:
      - server
    links:
      - server:redash
    restart: always
  worker:
    <<: *redash-service
    command: worker
    environment:
      QUEUES: "periodic emails default"
      WORKERS_COUNT: 1

스크립트 수정후 아래 명령어 입력

docker-compose up --force-recreate --build
docker-compose run --rm server manage db upgrade
docker-compose up -d

확인

V10업데이트를 확인할 수 있습니다.

mac m1에 brew 설치를 위해 아래 주소에 들어간 후 

https://brew.sh/

홈페이지에 나와있는 명령어를 입력하면됩니다.

설치 도중 아래와 같은 에러가 발생하였습니다.

Warning: /opt/homebrew/bin is not in your PATH

path에 brew가 없어 발생한 문제입니다.

터미널 홈에서 vim .zshrc 입력 후

export PATH=/opt/homebrew/bin:$PATH를 추가 후 wq!를 통해 저장 후 나옵니다.

저장 후 터미널 재시작 또는 source ~/.zshrc 입력하게 되면 brew명령어가 정상적으로 실행됩니다.

문제

python을 통한 gmail 보내기 테스트 중 아래와 같은 에러가 발생하였습니다.  2022년 5월 30일 부로 바뀐 구글 정책으로 인해 발생한 것 같습니다.

해결

1. 구글계정 접속

2. Google 계정관리(오른쪽 위 프로필 클릭)

3. 왼쪽 탭에 있는 보안 클릭

4. 2단계 인증 클릭 후 인증을 통한 활성화

5. 인증 후 다시 보안탭을 클릭 하면 아래 앱 비밀번호가 보입니다

6. 앱 비밀번호 클릭 후 앱 선택 기타 

7. Python 입력 후 생성

8. 생성 후 로그인 비밀번호 대신 기기용 앱 비밀번호 입력

9.메일이 정상적으로 보내지는 것을 확인할 수 있습니다.

가상머신을 통해 redash를 설치해보겠습니다. 

설치 전 준비

우선 가상머신 virtualbox를 아래에서 다운로드 및 설치합니다.

https://www.virtualbox.org/

다음은 우분투 이미지를 다운받아야 하는데 redash에서 권장하는 Ubuntu 18.04를 다운로드 하겠습니다.

https://releases.ubuntu.com/18.04/

이미지 다운로드 후 가상머신에 리눅스를 설치해 줍니다.

redash 권장 권장하는 인스턴스 사양은 아래와 같습니다.

CPU(Core): 1개 이상

Memory: 4GB 이상

저는 Memory 6GB, 디스크 50GB로 만들었습니다.

설치

이제 설치가 완료 된후 가상머신에 접속하여 터미널을 열어줍니다.

# apt 패키지 업데이트
$ sudo apt update

# git 설치
$ sudo apt install git -y

# redash setup clone
$ git clone https://github.com/getredash/setup.git

# 프로젝트 디렉터리로 이동
$ cd setup/

# setup 스크립트 권한 수정
$ sudo chmod +x setup.sh

# 스크립트 실행
$ ./setup.sh

설치 후

sudo docker -ps 를 통해 도커 컨테이너가 띄워져 있는걸 확인할 수 있습니다.

브라우저에서 localhost:5000 을 입력하면 redash 웹 화면으로 접속할 수 있습니다.

접속 후 admin계정을 생성하면 메인 화면으로 이동할 수 있습니다.

다음은 redash 버전 업데이트 및 리대쉬 기능, 메일설정을 알아보겠습니다.

매달 배당금이 월급만큼 들어오면 얼마나 좋을까? 라는 생각을 통해 20년 6월 부터 배당주 투자를 진행해왔습니다.

운이 좋게 코로나 시기에 주식을 매입해 연 10% 배당이 넘는 종목을  가지고 있을 수 있었습니다. 앞으로 매월 배당을 기록하며, 월 배당 300만원을 목표로 기록하고자 합니다.

코로나 이후 주식시장은 엄청난 상승을 보였고, 이러한 상승으로 인해 배당주에 투자를 미뤄왔습니다. 현재 전쟁, 중국 봉쇄, 인플레이션 등등의 이유로 주식 가격이 하락하였고 저는 저만의 기준을 가지고 다시 배당주 투자를 진행하려고 합니다. 앞으로의 포스팅이 많은 분들에게 도움이 되었으면 좋겠습니다.

- 배당 보유 종목(2022.06 기준)

- 2020년 배당 캘린더 (세후 기준)

- 2021년 배당 캘린더 (세후 기준)

- 2022년 배당 캘린더 (세후 기준)

안녕하세요 오늘은 금융 전략을 위한 머신러닝 책에 대해 리뷰를 해보는 시간을 가져보도록 하겠습니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

도서소개

● 도서명  : 금융 전략을 위한 머신러닝

● 출판사 : 한빛미디어

● 가격 : 정가 35,000원

목차

PART 1 프레임워크
CHAPTER 1 금융머신러닝
CHAPTER 2 머신러닝모델개발
CHAPTER 3 인공신경망
PART 2 지도학습
CHAPTER 4 지도학습: 모델및개념
CHAPTER 5 지도학습: 회귀(시계열모델)
CHAPTER 6 지도학습: 분류
PART 3 비지도학습
CHAPTER 7 비지도학습: 차원축소
CHAPTER 8 비지도학습: 군집화
PART 4 강화학습과자연어처리
CHAPTER 9 강화학습
CHAPTER 10 자연어처리

책내용

추천독자

1. 머신러닝 도입을 생각하고 있는 금융권 종사자

2. 금융권 데이터분석 취업을 준비하고 있는 분

3. 머신러닝을 통한 주가예측을 해보고 싶은 분

4. 머신러닝에 대한 기본 지식을 습득하고자 하는분

총평

코로나 팬데믹 이후 많은 사람아 금융자산에 관심을 가지게 되었고, 코인 및 주식은 요즘 젊은 세대에 없어서는 안될 대화 주제가 되었습니다. 이런 상황에서 데이터분석을 통한 기업분석, 머신러닝을 통한 주식 자동 매매 알고리즘을 개발해보고 싶다는 생각을 가졌고, 금융 전략을 위한 머신러닝 책을 읽게 되었습니다. 

금융 전략을 위한 머신러닝책은 파이썬 및 금융에 대한 기본지식을 가지고 있는 사람이 아닌 분에게는 다소 어렵게 읽힐 수 있는 책입니다. 위에 목차에서도 볼 수 있듯이 머신러닝에 대한 전반적인 내용을 책에 넣으려고 했기 때문에 위의 사전지식이 있어야 어느 정도 수월하게 읽을 수 있습니다. 또한, 특정 알고리즘 등에 대해 깊게 파고드는 책이 아니며, 금융 전략을 진행하는 시작점에 도움이 되는 책이라고 생각합니다.

책에서 가장 좋았던 부분은 각 챕터 마다 알고리즘에 대해 학습하고, 그 알고리즘을 적용한 실전 문제를 코드와 함께 볼 수 있다는 점입니다. 꼭 금융이 아니더라고 머신러닝에 대해 배우고 싶은 분들에게도 추천해주고 싶습니다. 마지막으로 아쉬운 점은 한 권에 방대한 양의 머신러닝 알고리즘을 다루려 하니, 내용이 자세하지는 않습니다. 그러다 보니 파이썬 및 머신러닝에 대해 기본지식을 가지고 있지 않다면, 어렵게 읽힐 수 있을 것 같습니다.