데이터 분석 공부

과목 3 데이터 분석 제 3장 정형 데이터 마이닝 제 1절 데이터 마이닝 개요 데이터 마이닝 (data mining) : 거대한 양의 데이터 속에서 쉽게 드러나지 않는 유용한 정보를 찾아내는 과정 데이터 마이닝의 6가지 기능 1. 분류 (Classification) 분류 : 새롭게 나타난 현상을 검토, 기존의 분류, 정의된 집합에 배정하는 것 분류기준과 선분류(preclassified)되어진 검증 집합에 의해 완성 의사결정나무(decision tree), memory-based reasoning link analysis에 사용 2. 추정 (Estimation) 추정 : 주어진 입력 데이터를 사용, 알려지지 않는 결과의 값(연속적) 추정 신경망 모형 (neural networks) 3. 예측 (Predic..

과목 3 데이터 분석 제 2장 통계 분석 제 1절 통계학 개론 1. 통계 분석 개요 가. 통계학의 정의 통계학 : 자료로부터 유용한 정보를 이끌어 내는 학문 (자료의 수집, 정리, 해석) 나. 모집단과 표본 모집단 : 우리가 알고자 하는 전체 추출단위 or 원소 : 모집단을 구성하는 개체 유한 모집단과 무한 모집단(개념적으로 상정된 모집단)으로 나뉨 모집단 조사 방법 : 총조사(census, 모집단 개체 모두 조사)와 표본조사 총조사는 많은 비용과 시간 소요 -> 특별 경우 ('인구주택총조사') 제외하고는 실시 X 표본조사 : 일부만 조사, 모집단 추론 표본 (sample) : 조사하는 모집단의 일부 모수 (parameter) : 모집단에 대해 알고자 하는 값 통계량 (statistic) : 모수를 추론..

과목 3 데이터 분석 제1장 R 기초와 데이터 마트 제 1절 R 기초 SAS, SPSS : 유료, 고가, 대용량, 모듈 별도 구매, 최근 경향 반영 느림, 유료 도서 위주, 공개 커뮤니티 X R : 오픈소스, 용량 적음, 최근 경향 반영 빠름, 공개 도서 많음, 커뮤니티 활발 1. 분석 환경의 이해 가. 통계 패키지 R 오픈소스, 사용자들 직접 제작 패키지 사용 가능 강력한 시각화 요소 나. R의 역사 S : 통계 프로그래밍 언어, Fortran의 서브루틴 통해 통계 계산 수행 New S : 객체 개념 도입, 많은 변경 -> 코드 새로 작성 필요 R : 'Scheme' 이라는 언어로부터 렉시컬 스코프 (정적 스코프) 개념 도입한 또 다른 S 언어 프로그램 처음 발표 2년째, 자유 소프트웨어 재단 (Fre..

과목 2 데이터 분석 기획 제 2장 분석 마스터 플랜 제 1절 마스터 플랜 수립 1. 분석 마스터 플랜 수립 프레임워크 마스터 플랜 수립 개요 우선순위 고려요소 : 전략적 중요도, 비즈니스 성과/ROI, 실행 용이성 -> 적용 우선순위 설정 적용범위/방식 고려 요소 : 업무내재화 적용 수준, 분석데이터 적용 수준, 기술적용 수준 -> Analytics 구현, 로드맵 수립 기업 및 공공기관은 중장기 로드맵을 정의하기 위해 정보전략계획 ISP(Information Strategy Planning) 수행 ISP 정보기술 또는 정보시스템의 전략적 활용 위해 내, 외부 환경 분석 -> 기회나 문제점 도출 사용자의 요구사항 분석 -> 시스템 구축 우선순위 결정 -> 중장기 마스터플랜 수립하는 절차 분석 마스터 플랜..

과목 2 데이터 분석 기획 제 1장 데이터 분석 기획의 이해 제 4절 분석 프로젝트 관리 방안 분석 과제의 5가지 특성 주요 관리 영역 1) Data Size : 데이터의 양 고려 2) Data Complexity : 초기 데이터의 확보와 통합, 분석 모델 선정 등 사전 고려 3) Speed : 분석모델의 성능 및 속도 고려 4) Analytic Complexity : 분석 모델의 정확도와 복잡도는 트레이드오프 (Trade off) 관계 5) Accuracy and Precision Accuracy = 모델과 실제 값 사이의 차이가 적다는 정확도 -> 분석의 활용적 측면 Precision = 모델 지속적으로 반복시 편차의 수준으로써 일관적으로 동일한 결과 제시 -> 안정성 측면 트레이드오프 경우 많음 1..

과목 2 데이터 분석 기획 제 1장 데이터 분석 기획의 이해 제 3절 분석 과제 발굴 분석 과제 도출 방식 1) 하향식 접근 방식 (Top Down Approach) 문제가 주어지고 이에 대한 해법 찾기 각 과정이 쳬계적, 단계화되어 수행 전통적 방식 2) 상향식 접근 방식 (Bottom Up Approach) 문제 정의 어려운 경우 데이터 기반으로 문제 재정의 및 해결방안 탐색 -> 지속적 개선 배경 : 대규모의 다양한 데이터 생성, 빠르게 변하는 기업 환경 데이터 활용하여 인사이트 도출, 시행착오 통한 개선 -> 유용성 증가 추세 예) 디자인 사고 (Designe Thinking) 프로세스 발산과 수렴의 반복적 수행 발산 (Diverge) 단계 중요한 의사결정시 가능한 옵션 도출 -> 상향식 접근 방..

과목 2 데이터 분석 기획 제 1장 데이터 분석 기획의 이해 제 2절 분석 방법론 1. 분석 방법론 개요 데이터 분석을 효과적으로 기업내 정착 -> 데이터 분석 방법론 필수 방법론은 상세한 절차 (Procedure), 방법 (Methods), 도구와 기법 (Tools and Techniques), 템플릿과 산출물 (Templates and Outputs)로 구성 -> 어느 정도 지식만 있으면 활용 가능해야 방법론 생성과정 1) 개인의 암묵지 -> 조직의 형식지 : 형식화 2) 체계화, 문서화한 최적화된 형식으로 전개 -> 방법론 만들어짐 3) 방법론이 다시 개인에게 전파되고 활용 -> 암묵지 : 내재화 위 세 단계가 순환 -> 조직 내 방법론 완성 방법론은 적용 업무 특성에 따라 다양한 모델 적용 폭포수..

과목 2 데이터 분석의 이해 제 1장 데이터 분석 기획의 이해 제 1절 분석 기획 방향성 도출 분석 기획 = 실제 분석을 수행하기 전, 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업 어떠한 목표 (What)를 달성하기 위하여 (Why) 어떠한 데이터를 가지고 어떤 방식으로 (How) 수행할지 계획 수립 1. 분석 기획의 특징 균형잡힌 시각 중요 : 비즈니스에 대한 이해와 전문성 필요 분석 주제 유형 분석의 대상 (What)과 분석의 방법 (How)에 따라 네 가지로 분석의 대상 (What) - 분석의 대상이 무엇인지 인지하는 경우 Known, 명확하게 모르는 경우 Un-Known 분석의 방법 (How) - 분석의 방법 알..