분류 전체보기22 웹 크롤링 - [Python]파이썬으로 카카오 맵 API 사용하기(2) - 특정 범위 검색 목표 '위도, 경도, 키워드를 조합해, 46개 이상의 모든 결과 값을 가져오겠습니다.' 지난 포스팅에서 키워드 만으로 결과 값을 도출해 내었습니다. 하지만 키워드만 검색해서는 46개 이상의 결과를 가져올 수 없었습니다. '성산일출봉 전기충전소'의 검색 결과는 60여개가 넘게 나오는데, 가져올 수 있는 건 45개만 가져옵니다. 총 검색 결과 개수만 알려주고, 결과는 45개만 가져오게 해주는 나쁜 카카오API........ 여기서 굴복할 수 없져 ㅋㅋㅋ 이런 문제를 해결하고자 위도와 경도, 키워드 3가지를 이용해 모든 결과를 가져오도록 하겠습니다. 위도, 경도, 키워드를 이용한 검색 검색 키워드는 '공영주차장'으로 정했고, 이번에는 검색 범위를 정해봅시다. 대략적으로 범위를 직사각형으로 잡았으면 왼쪽 아래 .. 2021. 3. 31. 웹 크롤링 - [Python]파이썬으로 카카오 맵 API 사용하기(1) - 키워드 검색 목표 카카오 맵 API를 사용하여 검색한지점의 위도와 경도를 얻고, folium으로 지도에 결과 값을 좌표를 찍겠습니다. 먼저 KAKAO DEVELOPER(developers.kakao.com)에서 4가지 Key를 발급받았고 이렇게 플랫폼(Android, IOS, Web) 중에 Web을 만든 상태에서 진행을 합니다. Web을 만들 때 Redirect URL을 입력해야 합니다. 저는 192.168.0.2:9999로 했고, 그냥 제가 아이패드에서도 주피터 노트북 쓰려고 열어놓은 내부 서버 IP입니다. (당연히 바깥에서 쓸 때는 외부 서버로 씁니다.) 주피터 서버를 열지 않으신 분들은 http://localhost:3000(개발자 임시 서버)으로 적으셔도 됩니다. 그러면 모든 준비가 됐네요. 카카오 맵 API.. 2021. 3. 30. 웹 크롤링 - 사람처럼 보이게 (feat. 멜론 크롤링) 지난 번 네이버 금융 사이트 크롤링을 하는 법을 포스팅했습니다. 네이버 금융 페이지에서 종목에 대한 뉴스기사를 가져오는 것 방법을 배웠는데요, 이번에는 html문서를 가져오는 것을 막은 사이트를 크롤링하는 법을 알아보겠습니다. 멜론 실시간 차트(www.melon.com/chart/index.htm)에서 1 ~ 100위까지의 곡, 가수, 앨범을 가져와보겠습니다. 멜론 실시간 차트는 1시간마다 갱신됩니다. import requests from bs4 import BeautifulSoup request = requests.get('https://www.melon.com/chart/day/index.htm') ## 주간 차트를 크롤링 할 것임 html = request.text bs = BeautifulSoup.. 2021. 3. 21. 웹 크롤링 - 네이버 금융 기사 가져오기(정적 페이지 응용) 오늘은 네이버 금융 기사를 가져오려고 합니다. 그 중에서 한국콜마라는 기업에 대한 뉴스기사를 가져올 거에요. 며칠 전에 교양 수업에 한국콜마 대표님이 오셔서 강의하신 기억이 나서, 어떤 기업인지 궁금하니까 크롤링 해보겠습니다. ㅋ 참고로 코딩은 주피터로 하는 것을 추천드리며, 크롤링은 기본적으로 코랩에서는 작동하지 않는 점 참고하시면 될 것 같습니다. 주소 : finance.naver.com/item/main.nhn?code=161890 한국콜마 - 네이버 금융 : 네이버 금융 관심종목의 실시간 주가를 가장 빠르게 확인하는 곳 finance.naver.com 오늘도 떨어졌군요... 아무튼 시작해보겠습니다. 1. 명확한 주소 찾아내기 일단 가운데 뉴스공시에 한국콜마에 대한 기사가 있습니다. 여기를 클릭해보.. 2021. 3. 20. 이전 1 2 3 4 5 6 다음
