Data Science : Study/2. Data Engineering (FastCampus) 썸네일형 리스트형 1강. 데이터 엔지니어링 개요 1. 데이터 시스템 옵션 관계형 데이터베이스 (ex. mysql) - 목적: 데이터의 저장. 어떤 형식으로 저장할건지. ex. sql:데이터를 어떻게 열람하고 유지할건지에 대한 방식. NoSQL 데이터베이스 (ex. dynamo) - 목적: 스키마(틀)가 없는 데이터의 저장. ex. 메신저 spark - 오픈소스 클러스터 컴퓨팅 프레임워크 - 리얼타임 데이터를 프로세싱하기에 좋다. - java, python, scala, sql 환경 서포트하기 때문에 API 사용에 용이하다. 서버리스 프레임워크 - 유지, 관리해야 하는 서버를 띄워놓지 않아도 된다. - function 같이 특정 trigger가 들어오면 실행됨. 2. 데이터 파이프라인 - 데이터를 한 장소에서 다른 장소로 옮기는 것. (API - DB,.. 더보기 이전 1 2 3 다음
