Taegu

아래 명령어를 통해 파일의 row수를 셀 수 있습니다.

cat 파일명.xml | wc -l
194

아나콘다 설치

아나콘다 설치 후 airflow를 설치해보겠습니다. 아나콘다 설치가 안된분들은 아래 포스팅을 확인해주새요

https://taeguu.tistory.com/100

airflow 설치

# conda 가상환경 실행
# 가상환경이 없는경우 conda create -n test pip python=3.7 명령어 실행
conda activate test

# airflow 설치
pip install apache-airflow

# db init
airflow db init

# webserver 실행
airflow webserver -p 8080

airflow 웹서버 접속

웹서버를 실행하게 되면 아래와 같이 airflow 웹서버거 실행되며 localhost:8080을 url에 입력하여 접속합니다.

접속하면 아래 그림과 같이 로그인 창이 뜹니다. 이제 다시 커멘드창으로 이동하여 계정을 생성하겠습니다.

airflow 계정 생성

웹서버를 창은 그대로 두고 새로운 창을 열어 아래 명령어을 입력하게 되면 admin권한을 가지는 admin계정이 생성됩니다.

airflow users create  --username admin  --firstname admin  --lastname admin   --role Admin  --password admin  --email admin

airflow 계정접속

id / pw : admin / admin으로 접속하게 되면 sample dag가 보이며, 접속이 완료됐습니다.

airflow 둘러보기

특정 dag를 클릭하게 되면 dag안에 task들의 의존성 및 dag 코드를 확인할 수 있습니다.

이번 포스팅은 리눅스 서버에 아나콘다를 설치하겠습니다.

os는 우분투 18.04 lts에 설치해보도록 하겠습니다.

아나콘다 다운

https://www.anaconda.com/products/distribution#linux

우선 위의 링크에 접속해 anaconda 리눅스 버전을 다운받겠습니다.

마우스 우 클릭 후 링크 주소를 복사합니다.

curl -O https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh

위 명령어를 통해 아나콘다를 다운로드 합니다.

아나콘다 설치

1. sh파일 실행

bash Anaconda3-2022.10-Linux-x86_64.sh

2. 실행 후 엔터를 누르다 보면 라이센트 관련 내용이 나오고 yes를 입력합니다.

3. 아나콘다 디렉토리 위치 선택이 나오며, 엔터를 누르면 자동으로 설정된 디렉토리에 아나콘다가 설치됩니다.

4. conda init 실행 질문에 yes

아나콘다 확인

 설치가 완료된 후 conda 명령어가 실행되지 않을 수 있다 그럴 경우 아래 명령어를 입력해 줍니다.

home아래 본인의 디렉토리 입력 필수

export PATH="/home/taegwan/anaconda3/bin:$PATH"

입력 후에 cond 작성후 tab버튼을 눌렀을 때 자동완성으로 conda가 입력되면 아나콘다가 설치된 것입니다.

또한 서버 재접속 시 명령어 앞에 (base)가 표시되면 설치가 정상적으로 된 것입니다.

마지막으로 아래 명령어를 통해 콘다 가상환경을 생성한 후 pip 버전을 확인해보겠습니다.

conda env list
#create 실행 후 y입력
conda create -n test python=3.8
conda env list
conda activate test
pip --version

다음은 jupyter notebook 설치를 통해 원격으로 접속하는 방법을 포스팅하겠습니다.