반응형
원인
이번주 부터 갑자기 자동화로 수집되는 크롤링들이 안되는 경우가 있었을 겁니다. 이유는 바로 115버전으로 업데이트 되면서 chromedriver_autoinstaller.install(True)이 제대로 작동하지 않아서 입니다. 저는 아래와 같은 에러메세지가 발생했습니다.
해결
1. 크롬드라이버다운(115)
https://chromedriver.chromium.org/downloads
우선 115가 아니더라도 자신의 크롬버전의 맞은 크롬드라이브를 다운받습니다. 우선 아래 빨간색 밑줄 클릭후
저는 115이기 때문에 stable win64버전을 다운받았습니다.
2. 코드 수정
기존에러 코드
chrome_ver = chromedriver_autoinstaller.get_chrome_version().split('.')[0]
try:
driver = webdriver.Chrome(f'./{chrome_ver}/chromedriver.exe', options=option)
except:
chromedriver_autoinstaller.install(True)
driver = webdriver.Chrome(f'./{chrome_ver}/chromedriver.exe', options=option)
driver.implicitly_wait(10)
수정된 에러코드
저는 스크립트와 크롬드라이브를 같은 폴더내에 위치하여 경로를 아래와 같이 잡았습니다. 수정 후 배치를 다시 진행되면 스크립트가 정상적으로 수행되는 것을 볼 수 있습니다.
chrome_ver = chromedriver_autoinstaller.get_chrome_version().split('.')[0]
try:
driver = webdriver.Chrome(f'./{chrome_ver}/chromedriver.exe', options=option)
except:
chromedriver_autoinstaller.install(True)
## 현재 작동안함
#driver = webdriver.Chrome(f'./{chrome_ver}/chromedriver.exe', options=option)
## 신규 코드
driver = webdriver.Chrome(f'./chromedriver.exe', options=option)
driver.implicitly_wait(10)
반응형
'데이터엔지니어 > etc' 카테고리의 다른 글
[trino] 몽고디비 json형태 꺼내오는 쿼리(feat.unnest) (0) | 2023.10.26 |
---|---|
WSL 에 운영체제 설치하기 (0) | 2022.12.15 |
WLS에 설치된 운영체제 삭제하기 (0) | 2022.12.15 |
[리뷰] 금융 전략을 위한 머신러닝 (Machine Learning and Data Science Blueprints for Finance) (0) | 2022.02.23 |
[mac m1] Visual Studio Code에 anaconda 가상환경 연결 (0) | 2021.08.14 |