Python 웹 스크래핑

Python으로 웹에 있는 자료들을 스크래핑 하는 방법을 알아봅니다.


수강중

17. Colab에서 셀레늄 사용

동영상이 없는 텍스트 강의 자료입니다.

Colab은 Python을 구글에서 제공하는 서버에서 돌려볼 수 있는 서비스이다.

Colab에서 셀레늄을 사용하려면 먼저 크롬을 설치해야 한다.

!apt update && apt install chromium-chromedriver

다음으로 셀레늄을 설치한다.

!pip install selenium

다음으로 셀레늄을 이용해서 크롬을 열면 된다. 다만 자신의 컴퓨터에서 실행할 때와 차이가 있으므로 몇 가지 옵션 설정이 필요하다.

from selenium.webdriver import Chrome, ChromeOptions
op = ChromeOptions()
op.add_argument('--headless')
op.add_argument('--no-sandbox')
op.add_argument('--disable-dev-shm-usage')

browser = Chrome('chromedriver', options=op)

Colab은 서버에 접속해서 주피터 노트북만 볼 수 있는 상태이므로, 위와 같은 방법으로 크롬을 띄우더라도 크롬 화면을 볼 수는 없다. 그러나 사용 자체는 동일하게 할 수 있다.