본문 바로가기

Data Science : Study/2. Data Engineering (FastCampus)

4강-1. AWS MySQL 데이터베이스 생성 썸네일 AWS MySQL 데이터베이스 생성 AWS – RDS – Database 1. create database 2. 데이터베이스 생성 방식 선택 - Standard 선택 - MySQL 선택 - 5.7.22 선택 : 해당 버전이 필수는 아님. 강의와 동일하게 맞추기 위해 해당 버전으로 진행. - Free tier 선택 3. 설정 - identifier(DB 인스턴스 식별자) : DB 이름 - credentials(자격 증명 설정) : 이 부분을 통해 DB에 연결할 권한을 가져온다. 이름과 패스워드 원하는 것으로 입력. 4. 인스턴스 구성 - DB 인스턴스 클래스(db instance size) : Burstable classes 선택 (free tier에서는 다른건 선택권 없음!) 5. 스토리지(Sto.. 더보기
3강-5. Python Albums API 사용해보기, Pagination (Spotify) 썸네일 Albums API를 사용하기 위해서는 먼저 artist id 값이 필요하다 → Search API requet 값에서 id 가져오기! https://hellominji.tistory.com/55 Pagination - 한정된 네트워크 자원을 효율적으로 활용하기 위해, 쿼리의 결과값으로 리턴된 리소스를 분할하여 전달하는 것 - 데이터가 많고, 한 번에 가져올 수 있는 데이터의 양은 한정되어 있을 때, 페이지네이션 핸들링을 통해 일정 길이로 끊어서 전달 - 현재의 위치를 의미하는 offset, 한번 응답 시 돌려줄 갯수를 의미하는 limit, 두 가지의 파라미터를 활용 - 여기서는 가져와야 하는 앨범 리스트가 10,000개면 모두 한번에 보여주는 것이 아닌 100개씩 분할하여 보여주는 것이라고 이해.. 더보기
3강-4. Python Search API 사용해보기 (Spotify) 썸네일 * Spotify Search API에 대한 상세한 설명은 url 참고할 것! https://developer.spotify.com/documentation/web-api/reference/#category-search ! 목표 검색어를 입력해서 데이터를 불러온다. 1. 필요한 패키지 불러오기 import sys import requests import base64 import json import logging​ 2. Spotify API 연결을 위한 key : Spotify API site dashboard에서 확인 가능 client_id = "@@@" client_secret = "@@@" 3. Spotify Search API 사용 API 사용을 위한 access token def main.. 더보기
3강-3. Python API 토큰 가져오기 (Spotify) 썸네일 * Spotify API에 대한 상세한 설명은 url 참고할 것! https://developer.spotify.com/documentation/general/guides/authorization-guide/#client-credentials-flow ! 목표 API 사용을 위한 access token이 3600초마다 만료되기 때문에, 함수를 정의하여 적절한 client key를 넣었다면 만료되지 않은 access token을 반환하도록 하였다. 1. 필요한 패키지 불러오기 import sys import requests import base64 import json import logging​ 2. Spotify API 연결을 위한 key : Spotify API site dashboard에서 .. 더보기
3강-2. Spotify Web API 썸네일 Spotify Web API - 우리가 만들 app이 spotify의 데이터를 가져와서 사용한다. - 우리가 만들 app은 Baseic Auth로, Spotify에 동의를 얻은 후 필요 정보를 받아온다. Spotify API에 대한 설명 https://developer.spotify.com/documentation/web-api/ document - API에 어떤 방식으로 접근할 수 있는지 알려주는 문서 - Rate limiting - 특정 시간 내에 보낼 수 있는 request의 수 - 몇 초에 몇 만개의 request를 보낸다면, 서버에 과부하가 걸리기 때문에 안정성 위해 rate limiting 확인 필수! - 앱마다 권한이 다르기 때문에 자신이 개발한 앱에서 확인. reference - A.. 더보기
3강-1. API 개요, REST API, web API, API 접근권한 썸네일 1. API 개요 Resource - API를 통해 리턴되는 정보 - 하나의 resource 안에 여러개의 endpoint가 존재할 수 있다. Endpoint - 리소스에 access하는 경로/방법 - method resource (ex. get/campaigns/(campaign_id)/actions/send ) Method 해당 리소스에 접근하는 방식 - get : 해당 리소스를 조회하고 정보를 가져온다(많이 사용) - head : 응답코드와 head만 가져온다 (API가 잘 작동하는지 확인할 때 사용) - post : 데이터를 해당 API에 새로 생성하는 것 - put : 데이터를 해당 API에 업데이트하는 것 - delete Parameter endpoint를 통해 요청할 때 같이 전달하는.. 더보기
2강-2. AWS CLI(Command Line Interface) - 커멘드 창에서 AWS 제어하기 썸네일 AWS 명령줄 인터페이스(CLI) - AWS 서비스를 관리하는 통합 도구 - 도구 하나만 다운로드하여 구성하면 AWS website에 들어와서 console을 작동시키는게 아니라, linux 상에서 command로 통신하여 여러 AWS 서비스를 제어할 수 있다. Install cmd 창에서 해당 명령 실행 (Successfully~~~ 나오면 OK) Configure 1. AWS web에서 IAM에 들어간다 : 내가 누구이고, 어떤 access를 가졌는지 관리 2. 사용자 선택 3. 사용자 추가 선택 4. 사용자 이름: 원하는 대로 설정 액세스 유형: 프로그래밍 방식 액세스(CLI 사용 위해) 5. Permission Setting(권한 설정) - 어떤 프로젝트를 하는데 해당 AWS account.. 더보기
2강-1. 기본적인 Unix / Shell Commands 썸네일 ▶ Navigating Files and Directions cd path path로 경로 이동 ls path path 내의 파일 확인 pwd 현재 경로 확인 .. 뒤로 . 현재 ▶ Files and Directories cp old new new 위치에 old 이동, 복사(파일) mkdir path path 만들기(폴더) rm path 제거(파일) cp -r 복사 rm -r 제거(폴더) ▶ Pipes and Filters cat 파일내용 전체 print head 상위 내용 확인 tail 하위 내용 확인 command > file command 실행결과를 file에 저장(기존 내용 전부 지우고 새로 생성) command >> file command 실행결과를 field에 저장(기존 내용에 appe.. 더보기

티스토리툴바