Python/데이터 분석을 위한 데이터 스크래핑

데이터 분석을 위한 데이터 스크래핑 ✔️ XML 데이터 스크래핑✔️ 공공데이터 API 활용 XML 데이터 스크래핑     ✔️ XML 데이터 스크래핑     데이터 스크래핑_XMLxml : html처럼 태그 기반으로 자료를 저장한 포멧xml parser를 통해서 str을 xml로 변환하는 작업이 필요xml로 변환이 되면 태그 기반으로 자료를 찾아서 정리태그에서 자료를 추출할 때는 beautifulsoup이라는 라이브러리를 이용xml로 추출된 데이터 스크래핑 과정xml로 데이터를 받으면 처음에는 단순 문자열을 받게됨문자열을 xml 문서 변환 필요beautifulsoup을 이용해 xml 문서로 변환HTML과 XML 파일로부터 데이터를 뽑아내기 위한 파이썬 라이브러리beautifulsoup의 메서드인 sele..

데이터 분석을 위한 데이터 스크래핑 ✔️ 공공데이터 API 신청✔️ 공공데이터 API 활용 데이터 스크래핑     ✔️ 공공데이터 API 신청    공공데이터 API 신청공공데이터 포털정부가 운영하는 공공데이터 통합 제공 플랫폼공공기관이 보유한 데이터를 관리하고 개방하여 검색, 다운로드하여 데이터를 활용공공데이터 API  신청 과정1. 공공데이터포털 로그인 및 원하는 데이터 검색2. API 활용 신청3. API 키 발급 및 일반 인증키로 인증하여 API 활용 데이터 스크랩핑 수행 가능     1. 공공데이터포털 로그인 및 원하는 데이터 검색  공공데이터 포털국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 ..

데이터 분석을 위한 데이터 스크래핑 ✔️ requests 모듈✔️ requests 모듈_네이버 API 활용     ✔️ requests 모듈     requests 모듈requests 모듈HTTP프로토콜을 사용할 수 있게 해주는 모듈requests 모듈 설치conda install requestspip install requestsrequests 모듈 사용법1. 모듈 불러오기 : import requests2. url 부분만 변수에 저장3. url 파라미터 : payload = {파라미터1: value, 파라미터2: value, ...}API를 활용하기 위한 설명서에서 파라미터 부분 확인하고 적용4. headerheaders = {key: value}5. HTTP 요청 보내기 : get 방식, post ..

데이터 분석을 위한 데이터 스크래핑 ✔️ 데이터 스크래핑(Data Scraping)✔️ 네이버(NAVER) API 신청✔️ 네이버 API 활용한 자료 수집     ✔️ 데이터 스크래핑(Data Scraping)     데이터 스크래핑데이터 스크래핑(data scraping)과 크롤링(crawling)크롤링 : google, naver에서 데이터를 가져오는 것스크랩핑 : API 등을 활용하여 데이터를 가져오는 것웹에서 자료를 수집하는 방법 1. API를 이용해 자료 수집naver, google, kakao, 공공데이터에서 제공하는 API를 이용해 자료 수집2. Web 페이지를 직접 스크래이핑 해서 자료 수집 (페이지의 성격에 맞게 자료 수집)정적페이지 수집 : javascript 없이 수집 가능한 사이트동..