김도현의 블로그

* 아래의 코드를 실행했다는 가정 하의 명령어들이다. from selenium import webdriver driver = webdriver.Chrome() 기본 동작 1. driver.quit()는 selenium의 webdriver세션을 종료하는 명령어이다. 메모리 누수를 방지하고 자원을 관리하기 위해 webdriver를 사용한 자동화 프로세스가 끝난 이후에 반드시 실행해줘야 한다. 2. driver.maximize_window()는 창을 최대화한다. 3. driver.minimize_window()는 창을 최소화한다. 4. driver.set_window_size()는 창의 크기를 설정한다. (예시: driver.set_window_size(600, 600)) * selenium을 통해 데이터를 ..

확인했다1. selenium 라이브러리를 사용할 계획이다. bs4를 사용하려면 '웹 주소'를 알아야만 한다. 그러나 최근에는 사용자가 보는 페이지의 url을 알 수 없는 경우가 많다. Beautiful Soup만으로 해결할 수 없는 상황 - 접근할 웹 주소를 알 수 없을때 - 자바스크립트를 사용하는 웹페이지의 경우(대부분 아닌가?) - 웹 브라우저로 접근하지 않으면 안될 때 selenium: - 웹 브라우저를 원격 조작하는 도구 - 자동으로 URL을 열고 클릭할 수 있음 - 스크롤, 문자의 입력, 화면 캡처 등등 2. selenium을 사용하려면 두 가지 과정을 거쳐야 한다. 1. Python 모듈을 설치하고, 2. Chrome 자체 모듈(확장프로그램)도 받아야 한다. 3. 먼저 사용자의 conda 가상..

1. 이제 지금까지 만들어온 데이터를 시각화할 차례다. 우선 데이터를 다시 불러와준다. import pandas as pd df = pd.read_csv('../data/03. best_sandwiches_list_chicago_ds_study02.csv') 2. 지도 시각화를 위한 라이브러리들을 불러와준다. import folium import googlemaps import numpy as np from tqdm import tqdm 3. 먼저 googlemaps로 주소들을 검색하여 좌표(lat, lng)를 표시해준다. gmaps_key = 'API키 여기에' gmaps = googlemaps.Client(key=gmaps_key) lat = [] lng = [] for idx, row in tqdm..

1. 아직 URL페이지 각각에 들어가 50개 페이지 각각의 가격과 주소를 가져와야 한다. 먼저 하나의 케이스에 도전해보자. from bs4 import BeautifulSoup from urllib.request import urlopen import pandas as pd 2. 일단 저번에 저장한 파일이 잘 불러와지는지 열어보자. df = pd.read_csv('../data/03. best_sandwiches_list_chicago_ds_study.csv', index_col=0) df.head() 3. 50개의 URL 중 하나를 대상으로 잡는다. 해당 페이지에 가서 정상적으로 열리는지도 보자. https://www.chicagomag.com/Chicago-Magazine/November-2012/B..