티스토리

Taegu
검색하기

블로그 홈

Taegu

taeguu.tistory.com/m

김태구 님의 블로그입니다.

구독자
10
방명록 방문하기

주요 글 목록

  • except yum.Errors.RepoError, e: 해결방법 개요클릭하우스 설치를 위해 아래 명령어를 입력하던 중 에러가 발생하였다. sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo 코드 python 버전 디폴트가 3으로 설정되어 발생하였으며, 해결을 위해 2로 변경해 준다. 해결#파이썬 버전확인ls /usr/bin/ | grep python----------------------------abrt-action-analyze-pythonpythonpython2python2.7python3python3.6python3.6m----------------------------# 현재 설정 파이썬버전 확인update-alternatives --config pytho.. 공감수 0 댓글수 0 2025. 1. 16.
  • [python] 특정기간 월별 데이터프레임 만들기 개요 1986년 4월 부터 2023년7월까지 월별 데이터프레임 형식을 만드려고 합니다. 이런 작업이 필요했던 이유는 미국 금리데이터의 경우 금리 변동 때 마다 데이터를 기록하기 때문에 임의의 데이터프레임을 만든 후 merge하여 nan부분을 이전 값으로 채워주기 위함입니다. 코드 공감수 0 댓글수 0 2023. 7. 5.
  • [Python] Python을 통한 mariadb 대용량 데이터 insert import pymysql conn = pymysql.connect( user='id', passwd='password', host='111.10.1.1', db='test_db', charset='utf8' ) #df는 컬럼이 8개인 데이터프레임 cursor = conn.cursor() sql = 'insert into test_tbl (col1, col2, col3, col4, col5, col6, col7,col8) values ' data = [] for idx, i in tqdm(enumerate(df.values)): sql += '(%s, %s, %s, %s, %s, %s, %s, %s),' for j in i: data.append(j) if idx % 30 == 0: sql = sql.r.. 공감수 0 댓글수 0 2023. 6. 26.
  • ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all() 에러 원인 보통 위와 같은 원인은 특정 조건이 만족하는 두개의 True/False 값을 and / or연산으로 묶을 때 발생합니다. 예를들어 특정 데이터 프레임에서 몸무게가 50kg이상 키가 170cm이하인 사람을 찾을 때 df['weight'] >= 50kg 과 df['height'] = 50) and (df['height'] = 50 & df['height'] = 50 & (df['height'] != 170)] 공감수 0 댓글수 0 2023. 1. 25.
  • [python] 특정 문자열 이후 제거하기(정규표현식 X) 개요 PERlEPS(2022.09)와 같은 문자열이 있을 때 l 부터 그 이후의 문자열을 제거하려면 어떻게 해야할까요? 저는 split를 사용하여 해결하였습니다. 코드 #특정 문자 기준으로 분리하기 'PERlEPS(2022.09)'.split('l') #분리된 리스트에서 0번 인덱스 가져오기 'PERlEPS(2022.09)'.split('l')[0] 해결 공감수 0 댓글수 0 2022. 12. 13.
  • [Python] Python을 통한 MSSQL 대용량 데이터 insert 속도 테스트 최근 MSSQL에 python을 통해 전처리 한 대용량 데이터를 insert할 일이 생겨, 관련된 내용을 정리하려고 합니다. 테스트에 사용하는 데이터의 row는 10만건이며 행은 15행이 존재합니다. TEST1 : 6분26초 (하나씩 insert - 최종 commit) 첫 번째 테스트는 데이터를 하나씩 삽입 후에 commit을 진행하였습니다. 10만건의 데이터를 삽입하는데 10분이 걸렸으며, 모든데이터 삽입 후 commit을 하기 때문에 중간에 에러 발생시 롤백이 진행됩니다. TEST2 : 18분41초 (하나씩 insert - 삽입 마다 commit) 두 번째 테스트는 TEST1과 같은 방식이지만 하나씩 삽입할 때마다 커밋을 해주었습니다. 이런경우 중간에 에러가 날 경우라도 기존에 삽입된 데이터는 유지된.. 공감수 0 댓글수 0 2022. 11. 8.
  • [Python] 리눅스 서버에 anaconda 설치 이번 포스팅은 리눅스 서버에 아나콘다를 설치하겠습니다. os는 우분투 18.04 lts에 설치해보도록 하겠습니다. 아나콘다 다운 https://www.anaconda.com/products/distribution#linux Anaconda | Anaconda Distribution Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single machine. www.anaconda.com 우선 위의 링크에 접속해 anaconda 리눅스 버전을 다운받겠습니다. 마우스 우 클릭 후 링크 주소를 복사합니다. curl -O https://repo.anacond.. 공감수 0 댓글수 0 2022. 10. 27.
  • [Python] TypeError: a bytes-like object is required, not 'str' 위 에러는 문장에 특정 단어를 strip으로 제거할 때 나타났습니다. 문장 그대로 보면 str이 아닌 bytes-like object가 필요하다고 하지만, 에러가 난 문장은 byte타입이었으며, 문자열로 변경하니 정상적으로 작동하는 것을 확인할 수 있었습니다. 에러 해결 공감수 0 댓글수 0 2022. 9. 21.
  • [Python] SMTPAuthenticationError 문제 python을 통한 gmail 보내기 테스트 중 아래와 같은 에러가 발생하였습니다. 2022년 5월 30일 부로 바뀐 구글 정책으로 인해 발생한 것 같습니다. 해결 1. 구글계정 접속 2. Google 계정관리(오른쪽 위 프로필 클릭) 3. 왼쪽 탭에 있는 보안 클릭 4. 2단계 인증 클릭 후 인증을 통한 활성화 5. 인증 후 다시 보안탭을 클릭 하면 아래 앱 비밀번호가 보입니다 6. 앱 비밀번호 클릭 후 앱 선택 기타 7. Python 입력 후 생성 8. 생성 후 로그인 비밀번호 대신 기기용 앱 비밀번호 입력 9.메일이 정상적으로 보내지는 것을 확인할 수 있습니다. 공감수 0 댓글수 0 2022. 7. 5.
  • [Python] Colab plot 한글깨짐현상 해결방법. 문제 Colab에서 python을 통해 그래프(plot)를 그릴 경우, 한글깨짐 현상이 나타날 수 있습니다. 해결 #나눔 폰트 설치 !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf #matplotlib font 설정 import matplotlib .pyplot as plt plt.rc('font', family='NanumGothic') 위의 코드실행 후 다시 그래프를 그릴 경우 아래와 같이 한글이 잘 나타납니다. 혹시 깨짐현상이 다시 발생하는 경우 런타임 다시시작 클릭 후 실행하면 한글이 나타납니다 추가-다른글꼴사용 나눔고딕이 글씨체가 마음에 들지 않다면, 글꼴을 설정할 수 있습니다. 아래 코드를 입.. 공감수 0 댓글수 0 2021. 11. 8.
  • [Python] TypeError: pos() missing 1 required positional argument: 'phrase' Konlpy라이브러리를 처음 실행하다 보면 위와 같은 에러를 만날 수 있습니다. 예를들어 Okt를 통해 형태소분석 또는 명사추출을 진행할 때 아래와 같이 Okt.morph 또는 Okt.pos처럼 사용할 때 발생합니다. from konlpy.tag import Okt Okt.pos('오늘 배가 아파서 화장실을 갔어') #TypeError Traceback (most recent call last) # in # 1 from konlpy.tag import Okt #----> 2 Okt.pos('오늘 배가 아파서 화장실을 갔어') #TypeError: pos() missing 1 required positional argument: 'phrase' 해결 방법은 다음과 같습니다. Okt를 사용할때 가로를 넣어주.. 공감수 5 댓글수 1 2021. 10. 26.
  • [Python] 'tqdm_notebook' object has no attribute 'delay' tqdm 라이브러리는 반복문을 실행할 때 진행사항을 알려주는 유용한 라이브러리입니다. 아래와 같이 완료시간 및 진행시간, 진행횟수를 알려줍니다. 아래와 같이 에러가 발생할 경우 ipywidgwts 설치 후 커널을 재시작하게 되면 기능이 정상적으로 작동합니다. 공감수 0 댓글수 0 2021. 10. 25.
  • [python] 공공데이터 포털 API사용 최근 법률관련 데이터를 얻기 위해 공공데이터 포털을 이용했습니다. https://www.data.go.kr/index.do 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 해당 데이터는 생활법률지식 정보였으며, 생활법률에 대한 Q&A데이터 였습니다. 아래 요청 주소 및 요청에 필요한 Parameter가 있습니다. API Parameter 코드 인증키의 경우 회원가입 후 특정 API에 대한 사용신청을 하게되면 얻을 수 있으며 약 1일 소요됩니다. requests.get을 통해 데이터를 얻었으며 beautifulsoup를.. 공감수 0 댓글수 0 2021. 8. 10.
  • [Python] url 파일다운로드 에러 - UnicodeEncodeError: 'ascii' codec can't encode character python을 통해 pdf파일을 다운받는 중 제목과 같은 에러가 발생하였습니다. 에러 발생코드 import urllib from random import randint # a는 pdf주소가 저장된 list / b는 pdf문서 이름이 저장된 list for i, n in enumerate(tqdm_notebook(a)): #random sleep sleep(randint(1,10)) #주소를 통해 파일 다운로드 urllib.request.urlretrieve(n, "{}.pdf".format(b[i])) 발생이유 https://file.download.com?file=1440047203387.pdf&path=001&downFile=파일다운12해보자.pdf 위와 같은 url에서 파일다운12해보자 부분을 en.. 공감수 0 댓글수 0 2021. 7. 21.
  • [Python] 'list' object has no attribute 'split' split는 strings objects를 input으로 받기 때문에 list가 들어오는 순간 에러를 발생합니다.. text = ['아버지 가방에 들어가신다'] text.split(" ") #AttributeError: 'list' object has no attribute 'split' 리스트 안에 str값을 넣어줘야 split가 작동합니다. text = ['아버지 가방에 들어가신다'] text[0].split(" ") #['아버지', '가방에', '들어가신다'] output 값이 ['아버지', '가방에', '들어가신다'] 이렇게 나온 것을 볼 수 있습니다. 분리된 값이 리스트 안에 요소로 들어가 있습니다. 그렇다면 원상태로 되돌리려면 어떻게해야할까요? #output 리스트 벗기기 text = ['아버.. 공감수 0 댓글수 0 2020. 5. 12.
  • [Python] 리스트 안의 숫자를 문자로 변경하는방법 저는 숫자 자체를 문자열로 취급하여 Word2vec를 돌리기 위해 리스트 안의 숫자들을 문자로 변경할 필요가 있었습니다. 리스트 안에 문자열 생성 a = ['1233113', '21424214', '14514214', '3213123'] a # ['1233113', '21424214', '14514214', '3213123'] 리스트 안에 문자를 숫자로 변경 a = list(map(int, a)) a # [1233113, 21424214, 14514214, 3213123] 리스트 안에 숫자를 문자로 변경 a = list(map(str, a)) a # ['1233113', '21424214', '14514214', '3213123'] 공감수 1 댓글수 0 2020. 5. 11.
  • [Python] transport_encoding 오류 해결방법 딥러닝을 위하여 파이썬에 keras를 설치하는 도중 오류가 발생했습니다. 아나콘다 프롬프 창에 conda install -c anaconda html5lib 를 입력하면 keras가 제대로 설치되는걸 확인할 수 있습니다. 공감수 0 댓글수 0 2017. 11. 18.
  • [Python] 파이썬에서 XGBoost설치 XGBoost는 머신러닝의 분류 알고리즘으로 현재 kaggle에서 가장 인기있는 머신러닝 모델이다 kaggle의 우승자의 대부분이 이 XGBoost를 쓴다고 해도 과언이 아니다. anaconda 패키지 안에는 XGBoost가 설치되지 않아서 직접 설치해야하는 불편함이 있는데 이러한 설치를 쉽게 알려주는 사이트가 있다. 이곳을 클릭하면 XGBoost를 쉽게 설치할 수 있다. 공감수 0 댓글수 0 2017. 11. 17.
  • [Python] the file has been downloaded incorrectly 해결법 MinGW-W64를 설치할때 이런 오류가 계속 떠구글링 및 여러 답변을 참고 하였지만 해결되지 않았는데 그러던 중 해결방법을 찾았다.이러한 문제점은 MinGW-W64를 재설치할때 일어난다고 가정한다.(재설치할때 문제가 생겼기 때문에) the file has been downloaded incorrectly! 가 계속 뜨던중 혹시환경변수에 MinGW-W64를 설정해놔서 그런건가 싶어 환경변수 Path에서 MinGW-W64의 경로를 삭제후 설치하니 제대로 설치가 된걸 확인할 수 있었다. 공감수 2 댓글수 0 2017. 11. 17.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.