로튼 토마토(Rotten Tomatoes)는 영화 관련 웹사이트 가운데 하나로 영화에 대한 소식, 비평, 정보 등을 제공한다. 주로 비평가 위주의 평점을 매기는 곳이다.
로튼토마토의 수많은 영화리뷰를 크롤링해서 목적에 맞게 분석해 보면 어떨까?
우선 예시로 아바타2의 리뷰를 크롤링해보려 한다.
먼저 이번 장에선 파이썬 IDE, 셀레니움, 크롬드라이버를 설치해 보자!
- 파이썬 IDE 설치하기
- 셀레니움(selenium) 설치하기
- 크롬드라이버(chromedriver) 설치하기
1. 파이썬 IDE 설치하기
먼저 크롤링하기에 앞서, 파이썬 코드를 편집할 수 있는 IDE를 설치해보자!
IDE에 대한 설명과 설치 방법은 아래 사이트에 나와 있으니 필요시 참고하면 된다.
[Python] 왕초보도 가능한 파이썬 입문: 아나콘다(Anaconda) 설치
[Python] 왕초보도 가능한 파이썬 입문: 아나콘다(Anaconda) 설치
파이썬에 입문을 원한다면 아나콘다(Anaconda)를 설치해 보자! 아는 사람은 알테지만, 처음 들어본다면 당황스러운 그 이름 아나콘다?! 뱀을 연상케 하는 아나콘다는 단일 시스템 내에서 Python/R 데
rabbit2tiger.tistory.com
2. 셀리니움(selenium) 설치하기
이제부터 크롤링에 필요한 셀레니움을 설치하자.
셀레니움은 크롬을 열어 크롤링하고자 하는 페이지를 불러올 수 있으며, <next> 같은 페이지 버튼을 누르는 것을 가능하게 한다.
mac에선 terminal, window에서는 cmd창을 이용하여 아래 명령어를 입력하면 된다.
pip install selenium
3. 크롬드라이버(chromdriver) 설치하기
셀레니움을 설치하면 크롬드라이버(chromedriver)를 설치해야 한다.
크롬 버전은 chrome://settings/help에 들어가거나 아래와 같이 우측 상단 점3개 기호를 누르고->설정->Chrome정보에 들어가면 확인할 수 있다.
버전에서 앞 숫자 세 개를(위 이미지에서는 109) 확인 후,
아래 사이트에서 해당 버전과 일치하는 크롬드라이버를 다운로드하면 된다.
https://chromedriver.chromium.org/home
ChromeDriver - WebDriver for Chrome
WebDriver is an open source tool for automated testing of webapps across many browsers. It provides capabilities for navigating to web pages, user input, JavaScript execution, and more. ChromeDriver is a standalone server that implements the W3C WebDriver
chromedriver.chromium.org
(내 크롬버전은 109로 시작하니, ChromeDriver 109.0.5414.74를 선택!)
참고로 프로젝트라면 폴더를 만들어 해당 폴더에 chromdriver를 옮겨놓으면 관리가 편하다.
끝 v^-^v
댓글