전체 글

데이터 분석을 위한 데이터 스크래핑 ✔️ XML 데이터 스크래핑✔️ 공공데이터 API 활용 XML 데이터 스크래핑     ✔️ XML 데이터 스크래핑     데이터 스크래핑_XMLxml : html처럼 태그 기반으로 자료를 저장한 포멧xml parser를 통해서 str을 xml로 변환하는 작업이 필요xml로 변환이 되면 태그 기반으로 자료를 찾아서 정리태그에서 자료를 추출할 때는 beautifulsoup이라는 라이브러리를 이용xml로 추출된 데이터 스크래핑 과정xml로 데이터를 받으면 처음에는 단순 문자열을 받게됨문자열을 xml 문서 변환 필요beautifulsoup을 이용해 xml 문서로 변환HTML과 XML 파일로부터 데이터를 뽑아내기 위한 파이썬 라이브러리beautifulsoup의 메서드인 sele..

데이터 분석을 위한 데이터 스크래핑 ✔️ 공공데이터 API 신청✔️ 공공데이터 API 활용 데이터 스크래핑     ✔️ 공공데이터 API 신청    공공데이터 API 신청공공데이터 포털정부가 운영하는 공공데이터 통합 제공 플랫폼공공기관이 보유한 데이터를 관리하고 개방하여 검색, 다운로드하여 데이터를 활용공공데이터 API  신청 과정1. 공공데이터포털 로그인 및 원하는 데이터 검색2. API 활용 신청3. API 키 발급 및 일반 인증키로 인증하여 API 활용 데이터 스크랩핑 수행 가능     1. 공공데이터포털 로그인 및 원하는 데이터 검색  공공데이터 포털국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 ..

문제 대여 시작일을 기준으로 2022년 8월부터 2022년 10월까지 총 대여 횟수가 5회 이상인 자동차들에 대해서 해당 기간 동안의 월별 자동차 ID 별 총 대여 횟수 리스트를 출력하는 SQL문을 작성 https://school.programmers.co.kr/learn/courses/30/lessons/151139 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr     요구 사항 확인자동차 대여시작한 일자 중 월, 자동차 ID, 대여 횟수만 조회대여 시작일이 '2022-08'부터 '2022-10'인 경우 중 자동차별 대여 기록이 5회 이상인 자동차 조회(CTE:with절 활용)2022년 8월부터 10..

데이터 분석을 위한 데이터 스크래핑 ✔️ requests 모듈✔️ requests 모듈_네이버 API 활용     ✔️ requests 모듈     requests 모듈requests 모듈HTTP프로토콜을 사용할 수 있게 해주는 모듈requests 모듈 설치conda install requestspip install requestsrequests 모듈 사용법1. 모듈 불러오기 : import requests2. url 부분만 변수에 저장3. url 파라미터 : payload = {파라미터1: value, 파라미터2: value, ...}API를 활용하기 위한 설명서에서 파라미터 부분 확인하고 적용4. headerheaders = {key: value}5. HTTP 요청 보내기 : get 방식, post ..

데이터 분석을 위한 데이터 스크래핑 ✔️ 데이터 스크래핑(Data Scraping)✔️ 네이버(NAVER) API 신청✔️ 네이버 API 활용한 자료 수집     ✔️ 데이터 스크래핑(Data Scraping)     데이터 스크래핑데이터 스크래핑(data scraping)과 크롤링(crawling)크롤링 : google, naver에서 데이터를 가져오는 것스크랩핑 : API 등을 활용하여 데이터를 가져오는 것웹에서 자료를 수집하는 방법 1. API를 이용해 자료 수집naver, google, kakao, 공공데이터에서 제공하는 API를 이용해 자료 수집2. Web 페이지를 직접 스크래이핑 해서 자료 수집 (페이지의 성격에 맞게 자료 수집)정적페이지 수집 : javascript 없이 수집 가능한 사이트동..

데이터 분석을 위한 Python ✔️  모듈(Module)✔️ 사용자 모듈 생성 및 활용     ✔️  모듈(Module)    모듈모듈 사용 누군가가 미리 사용하기 평하게 만들어 놓은 함수, 클래스 import 명령을 통해 프로그램 가장 위에서 모듈을 불러와 사용 가능 모듈에 너무 많은 기능이 있는 경우 from 모듈명 import 함수/메서드 형식으로 일부 기능만 불러올 수 있음 모듈은 사용자가 직접 생성 가능사용자 모듈을 불러올 때는 실행하는 파일과 같은 위치에 있어야 함    모듈_datetime 모듈datetime 모듈날짜와 시간을 다루기 위한 기능 제공datetime.now() : 현재 날짜와 시간 동시에 표시datetime.datetime() : 날짜와 시간 동시에 표시datetime.tim..

데이터 분석을 위한 Python ✔️  생성자(constructor)✔️ 클래스의 상속✔️ 클래스 및 인스턴스 속성✔️ 메서드 활용     ✔️  생성자(constructor)    생성자 생성자클래스를 실행해서 인스턴스를 만들 때 자동으로 실행되고 초기값을 받도록 해주는 메소드생성자(constructor)는 객체(인스턴스)가 생성되는 경우 자동으로 호출되는 메소드(주로 초기값 받을 때 사용)클래스 내에서 메소드명으로 __init__ 를 사용 = 생성자    생성자_생성자를 활용한 사칙연산 계산기(FourCal2)# 생성자를 이용해 초기값을 입력받는 FourCal2 생성class FourCal2(): def __init__(self, num1, num2): self.num1 = ..

데이터 분석을 위한 Python ✔️  클래스(class)✔️ 인스턴스(instance)✔️ 메서드(method)     ✔️  클래스(class)    객체지향 프로그래밍1. 절차적 프로그래밍프로그래밍 순차적 수행(코드가 위아래로 절차적으로 진행 -> 기존의 파이썬 코드)2. 함수형 프로그래밍여러 개의 함수를 작성하여 함수에 기반해 프로그래밍 수행코드의 재사용 가능 및 유지보수 용이버그 발생률이 낮고 예측 가능성 높음 병렬 처리, 동시성 처리에 강함(멀티 코어 이용하는 경우 유리)(파이썬의 함수 생성 및 활용)3. 객체지향 프로그래밍JAVA, C++ 등 클래스 기반으로 프로그래밍 수행캡슐화, 상속, 다향성 같은 개념 사용코드 재사용 특화 및 코드의 독립적 사용 가능(여러 사람이 사용하는 경우)    클..

문제 아이스크림 총 주문량과 상반기의 아이스크림 총 주문량을 더한 값이 큰 순서대로 상위 3개의 맛을 조회하는 SQL 문을 작성 프로그래머스SW개발자를 위한 평가, 교육, 채용까지 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr    요구 사항 확인아이스크림의 맛만 조회7월 아이스크림 맛별 총 주문량(SUM())을 구하는 테이블 생성(CTE : with절 활용)상반기 아이스크림 주문량을 조회하기 위해 7월 아이스크림 총 주문량 정보(JULY_TOTAL_ORDER) 테이블과상반기 주문 정보(FIRST_HALF) 테이블 JOIN 진행(기준 컬럼 : 7월 아이스크림의 맛 = 상반기 아이스크림 맛)상반기 아이스크림 주문량과 7월 아이스크림 주문량을 더한 값별 아..

데이터 분석을 위한 Python ✔️  람다 표현식✔️ 예외 처리     ✔️  람다 표현식    람다 표현식람다 표현식(lambda expression)익명함수(함수 이름이 없음)간단한 함수를 작성하거나 다른 함수의 인수로 함수를 넣을 경우 사용사용 후 메모리에서 삭제lambda 매개변수: return할 값, 계산(lambda x: x + 10)(5)plus_ten = lambda x: x + 10plus_ten(5)# 자료 1개를 입력받아 10을 더해 리턴하는 함수# def 활용한 함수 생성def plus_ten(x): return x + 10# 결과 확인plus_ten(5)  # 람다 함수 사용(lambda x: x + 10)(5)  # 람다 함수를 변수 할당 -> 잘 사용하지는 않음plus_..