본문 바로가기

전체 글22

웹 크롤링 - [Python]파이썬으로 네이버 블로그 우클릭 뚫기(selenium, iframe) 오늘 포스팅은 우클릭을 막은 네이버 블로그, 혹은 카페에 있는 글을 가져오는 것입니다. 기본적으로 네이버 블로그나, 카페를 크롤링 할 경우 BeautifulSoup를 이용하기보다 Selenium으로 하길 추천드립니다. 오늘 가져와볼 네이버 블로그는 https://blog.naver.com/ssagazyzzang/40000359630 입니다. 저는 영어로 된 색상표를 한글로 번역을 하고 싶은데요, 여기 네이버 블로거 한 분이 영어로된 색상을 한글로 번역해주셨네요.(무려 2003년 글...) 대략 개수를 세어봐도 60개가 넘어보이는데요, 영어로 된 색 이름과 한글로된 색이름을 같이 가져와 엑셀에 저장하겠습니다! 물론 우클릭이 안 됩니다. 그럼 시작하겠습니다. 1. 셀레니움으로 가져오기 from seleniu.. 2021. 6. 7.
웹 크롤링 - [Python]파이썬으로 카카오 맵 API 사용하기(4) - 반경을 이용한 검색 오늘은 카카오맵 API로 어느 지점에서 반경 몇 m이내 원하는 매장(게스트하우스, 약국, 마트, 호텔, 카페, 관광시설 등등)의 개수를 검색해 보도록 하겠습니다. 1. 코딩 전 확인 사항 일단 짚고 넘어가야할 것을 알려드리겠습니다. 1) 어느 지점은 위, 경도 좌표로 할 수 있습니다. 원하는 지점의 위, 경도 좌표를 알고 싶다면 구글맵을 켜서, 그 지점을 찍으면 확인이 가능합니다. 2) 반경 설정은 20m에서 20km까지 가능합니다. 3) 우리는 총 개수만 알 수 있습니다. 예를 들어 나의 집 반경 20km이내의 CU편의점을 검색한다고 해봅시다. 구글맵으로 내 집 좌표를 확인하고, 검색어를 CU편의점으로 해서 카카오 API를 돌렸을 때 총 개수가 46개 이상을 넘어간다면, 46번부터 CU편의점의 구체적인.. 2021. 5. 24.
웹 크롤링 - [Python]파이썬으로 카카오 맵 API 사용하기(3) - 도로명 주소를 지번 주소로 변환 오늘은 도로명 주소를 지번 주소로 변환하는 코드를 짜보려고 합니다. 제가 다니는 숭실대학교의 도로명 주소는 '서울특별시 동작구 상도로 369 숭실대학교'입니다. 지번주소는 '서울특별시 동작구 상도동 511'입니다. 간혹 도로명 주소가 아닌 지번 주소의 동, 읍, 면의 이름이 필요한 경우가 있습니다. 다행히 카카오 맵으로 도로명 주소를 지번 주소로, 지번 주소를 도로명 주소로 바꿀 수 있습니다. 이번에는 도로명 주소를 지번 주소로 바꾸는 코딩을 하겠습니다. 1. 도로명 주소를 지번 주소로 1) 도로명 주소 가져오기 저에게는 약 4400여개의 도로명 주소 목록이 있습니다. 여러분도 엑셀 파일에 저장된 데이터 중에서 도로명 주소 칼럼만 가져오시면 됩니다. 2) 카카오 맵 API로 도로명 주소 가져오기 loca.. 2021. 5. 24.
[M1 맥북 Python] 주피터 노트북 환경설정(feat. tensorflow, pandas) m1 맥북의 데이터 분석용 라이브러리 설치와 tensorflow설치까지 진행해보도록 하겠습니다. 특히 ensorflow를 설치와 pandas설치가 안 되는 분들을 위한 글입니다. 예를 들어 no suitable image found setup.py build_ext --force' to build the C extensions first No module named 'tensorflow' No module named 'pandas' 이런 오류... 1단계 : tensorflow설치와 pandas설치 iterm2를 쓰시는 분이나 맥북이 제공하는 터미널을 쓰시는 분은 '응용프로그램'에 가셔서 iterm과 터미널을 우클릭하신 다음 정보 가져오기를 눌러주세요 정보 가져오기에서 반드시 Rosetta를 사용하여 열.. 2021. 5. 14.