본문 바로가기

웹 크롤링9

웹 크롤링 - [Python] 전기차 충전소 이용률 구하기 전기차 충전소 이용률에 대해 구해보도록 하겠습니다. 안타깝게도 충전소당 이용률을 알려주는 통계는 없고, 대신에 실시간 충전소 이용상태를 알려주는 환경공단의 API를 크롤링해서 이용률을 구해야 합니다. 시작해보겠습니다. 1. 오픈 API 활용 신청 https://www.data.go.kr/data/15076352/openapi.do 사이트에서 전기차 충전소 정보를 제공하는 API 사용신청을 해야합니다. 사이트 회원가입을 하시고 활용신청을 하게 되면 약 2시간 있다가 신청승인이 납니다. 따로 승인됐다고 메세지가 오는 건 아니고, 승인 전에 API 사용하려고 하면 사용이 안 됩니다. 적당히 2시간 있다가 하시면 될 것 같습니다. 2. 코딩을 시작하기 전에 제가 구할 데이터는 인천 전기차 충전소 실시간 이용상태.. 2021. 12. 10.
웹 크롤링 - [Python]파이썬으로 웹 사이트 이미지 저장 오늘은 웹 페이지에 있는 이미지를 저장하는 방법을 알아보도록 합니다. 크롤링을 할 사이트는 바로 https://m.post.naver.com/viewer/postView.nhn?volumeNo=31538876&memberNo=6408050 이곳입니다. 아이즈원 밍구리(김민주)의 하스 바자 코리아 5월 화보 이미지입니다. 예쁜 밍구리의 화보 사진을 저장해보도록 할게요. from selenium import webdriver from urllib.request import urlretrieve from urllib.request import urlopen from bs4 import BeautifulSoup options = webdriver.ChromeOptions() options.add_argument.. 2021. 6. 11.
웹 크롤링 - [Python]파이썬으로 네이버 블로그 우클릭 뚫기(selenium, iframe) 오늘 포스팅은 우클릭을 막은 네이버 블로그, 혹은 카페에 있는 글을 가져오는 것입니다. 기본적으로 네이버 블로그나, 카페를 크롤링 할 경우 BeautifulSoup를 이용하기보다 Selenium으로 하길 추천드립니다. 오늘 가져와볼 네이버 블로그는 https://blog.naver.com/ssagazyzzang/40000359630 입니다. 저는 영어로 된 색상표를 한글로 번역을 하고 싶은데요, 여기 네이버 블로거 한 분이 영어로된 색상을 한글로 번역해주셨네요.(무려 2003년 글...) 대략 개수를 세어봐도 60개가 넘어보이는데요, 영어로 된 색 이름과 한글로된 색이름을 같이 가져와 엑셀에 저장하겠습니다! 물론 우클릭이 안 됩니다. 그럼 시작하겠습니다. 1. 셀레니움으로 가져오기 from seleniu.. 2021. 6. 7.
웹 크롤링 - [Python]파이썬으로 카카오 맵 API 사용하기(4) - 반경을 이용한 검색 오늘은 카카오맵 API로 어느 지점에서 반경 몇 m이내 원하는 매장(게스트하우스, 약국, 마트, 호텔, 카페, 관광시설 등등)의 개수를 검색해 보도록 하겠습니다. 1. 코딩 전 확인 사항 일단 짚고 넘어가야할 것을 알려드리겠습니다. 1) 어느 지점은 위, 경도 좌표로 할 수 있습니다. 원하는 지점의 위, 경도 좌표를 알고 싶다면 구글맵을 켜서, 그 지점을 찍으면 확인이 가능합니다. 2) 반경 설정은 20m에서 20km까지 가능합니다. 3) 우리는 총 개수만 알 수 있습니다. 예를 들어 나의 집 반경 20km이내의 CU편의점을 검색한다고 해봅시다. 구글맵으로 내 집 좌표를 확인하고, 검색어를 CU편의점으로 해서 카카오 API를 돌렸을 때 총 개수가 46개 이상을 넘어간다면, 46번부터 CU편의점의 구체적인.. 2021. 5. 24.

티스토리툴바