본문 바로가기

Data Science : Project

캐글 샌프란시스코 범죄발생률 예측 : train & test ▶이전글 : EDA 캐글 샌프란시스코 범죄발생률 예측 : EDA 파이썬으로 진행하였고, 데이터 분석 강의 4주차를 마무리하고 캐글에 최종적으로 제출한 버전을 기반으로 코드를 설명했다. (중간 과정이 궁금하다면 github를 참고! github.com/helloMinji/Kaggle_crime_Sa hellominji.tistory.com 데이터 전처리 여기서는 train에 대해서만 기재하지만, test에도 같은 과정을 거쳤다. 1 Dates train["Dates-year"] = train["Dates"].dt.year train["Dates-month"] = train["Dates"].dt.month train["Dates-day"] = train["Dates"].dt.day train["Dates-h.. 더보기
캐글 샌프란시스코 범죄발생률 예측 : EDA 이 예측의 목적은, feature와 같은 정보가 있을 때 어떤 종류의 범죄가 발생할 확률이 얼마인지 예측하는 것이다. 파이썬으로 진행하였고, 데이터 분석 강의 4주차를 마무리하고 캐글에 최종적으로 제출한 버전을 기반으로 코드를 설명했다. (중간 과정이 궁금하다면 github를 참고! github.com/helloMinji/Kaggle_crime_SanFrancisco ) helloMinji/Kaggle_crime_SanFrancisco [Kaggle] 샌프란시스코에서 발생한 범죄 종류 예측. Contribute to helloMinji/Kaggle_crime_SanFrancisco development by creating an account on GitHub. github.com 데이터 설명 Dates.. 더보기
PowerBI 프로젝트 : 보고서 - 구 단위 2 시각화4 꺾은선형 차트 1) 월별 생활인구 날짜 계층을 바꾸면 분기, 년도 별로도 확인이 가능하나 유의미한 상태가 월별이라고 판단하여 월로 고정하였다. 월별 서울시 구의 생활인구는 위와 같고, 마포구, 강남구, 서초구의 생활인구가 많음을 알 수 있다. 필드 축: (Calendar) Date, 월, 일 테이블 내에는 Date 컬럼만 있는데, 그걸 필드-축으로 끌고 오면 v 표시가 생긴다. 해당 표시를 클릭하여 날짜 계층을 선택하면 월, 일이 생긴다. 범례: (행정동코드) 시군구명 - 색을 임의로 지정할 수 없고, 범례에 따라 무작위로 선택된다. 다른 시각화 개체를 생성하면 같은 범례값끼리는 같은 색으로 나온다. 값: (생활인구) 평균생활인구수/24개 생활인구 테이블 내에 생활인구수/24 컬럼 생성: 생활인.. 더보기
PowerBI 프로젝트 : 보고서 - 구 단위 1 핫플레이스 분석의 목표는, 시각화를 통해 핫플레이스가 어디인지 분석해내는 것이다. 이를 위해 핫플레이스의 정의를 정하였고, 정한 정의에 따라 시각화를 진행하였다. 우리가 정한 핫플레이스란? 젊은 사람들이 많이 돌아다니고, 핫한 가게가 많은 곳! 이 중 내가 맡은 부분은 생활인구 데이터로, 젊은 나이의 유동인구가 많은 곳이 핫플레이스라고 가정하고 시각화를 진행하였다. Option 필터 생활인구 데이터 중 2030대의 데이터만 필터를 걸어 시각화에 사용한다. 이를 통해 젊은 사람들이 많이 다니는 곳을 알 수 있다. 현재 페이지에서만 필터를 걸건지, 모든 페이지에 필터를 건건지에 따라 필터를 선택한다. - 데이터 필드 추가로 원하는 컬럼을 추가한다. - 필터 형식을 선택한다 : 여기서는 '기본 필터링'을 선택.. 더보기
PowerBI 프로젝트 : 핫플레이스 분석 - 모델 모델 모드에서 테이블 간 연결을 진행하는데, 의미가 같은 컬럼끼리 연결해준다. 원하는 컬럼을 클릭한 채 드래그해서 다른 테이블의 컬럼에서 클릭을 놓으면 연결이 된다. 연결을 했는데 이미지와 같이 양방향이 아닐 경우, 화살표 위에서 오른쪽 클릭으로 속성에 들어가 설정을 변경해준다. 생활인구 [행정동코드] = 행정동코드 [행자부행정동코드] 생활인구 [기준일ID] = Calendar [Date] 이제 이 테이블을 이용하여 시각화를 진행하였다. (다음 포스트로) 더보기
PowerBI 프로젝트 : 핫플레이스 분석 - 테이블 핫플레이스 분석 프로젝트 중 내가 맡은 부분은 생활인구였다. 이 부분을 진행하면서 사용한 데이터는 다음과 같다. Calendar : PowerBI에서 생성 생활인구 : 공공데이터 행정동코드 : 공공데이터 1 Calendar PowerBI에서 새 테이블로 해당 데이터를 만들었다. 테이블 모드에서 테이블도구 - 새 테이블을 선택한다. Calendar = ADDCOLUMNS( CALENDAR(date(2017,07,01), date(2017,12,31)), "요일", Format([Date], "aaa"), "요일No", WEEKDAY([Date], 2)) 테이블의 데이터는 DAX로 작성한다: Calendar = ADDCOLUMNS( ... ) CALENDAR(시작날짜, 종료날짜): 연속된 날짜 세트(두 날짜.. 더보기
QGIS, Power BI: 공간데이터 시각화 데이터 분석의 기본 프레임: 공간, 시간, 개체 ex) 배달음식 [공간] 자치구별 배달 주문 분포 [시간] 연중 배달 주문 추세 [개체] 시간대별 배달 주문 종류 분포 공간 데이터 시각화 1 공간데이터 벡터: 기하학적 형태(포인트, 라인, 폴리곤)로 표현 래스터: 격자형의 픽셀(cell)형태로 표현. 전문적 공간분석이 아니면 잘 활용하지 않는다. 2 좌표계 1. 지리좌표계(GCS) 3차원의 타원체 경도, 위도 우리나라: WGS84 또는 GRS80 타원체를 이용하여 위치표기 2. 투영좌표계 2차원의 평면 다양한 방식의 투영법이 존재 평면 직각 좌표계: 3차원 지구 타원체를 2차원 평면 상에 투영한 좌표계 TM: 국내적용 서부원점: 북위 38도선과 동경 125도선의 교차점 중부원점: 북위 38도선과 동경 1.. 더보기
Power BI: 날짜 데이터타입, 열 피벗 해제, 다중데이터 분할 1 데이터 로드 생활인구수 데이터 중 2019년 9월의 데이터를 사용하였다. 머리글에 한글이 있으므로 파일원본에서 유니코드로 설정한다. 2 데이터 편집 필요없는 열 제거 연산을 통해 구할 수 있는 열은 제거하려고 한다. 총생활인구수 열을 제거하였다. 데이터 타입 수정: 날짜 데이터 타입을 수정한다. 기준일ID이므로 날짜로 수정해준다. 그러면 위와 같이 오류가 발생한다. 왜? 숫자에서 날짜 형태로 넘어가는 것을 Power BI가 인식하지 못한다. 먼저 데이터 타입을 텍스트로 수정한다. 그 이후에 날짜로 수정하면 이 경우 이전에 타입 변경을 한 번 했기 때문에 위와 같은 메시지가 뜨는데 이 때 새 단계 추가를 한다. 아니면 데이터 타입을 텍스트로 바꿨던 기록이 없어지기 때문에 아까와 같은 오류가 발생한다. .. 더보기

티스토리툴바