분석 방법론: KDD·CRISP-DM·빅데이터 방법론
쉽게 말하면
분석을 체계적으로 하려고 정해 둔 순서가 분석 방법론이에요. 대표가 셋이에요. 데이터 마이닝의 KDD, 업계 표준인 CRISP-DM, 빅데이터 분석 방법론이에요. 모두 '문제 이해 → 데이터 준비 → 분석 → 평가'의 흐름이고, 단계 이름과 순서가 시험에 나와요.
시험용 정의
분석 방법론은 분석을 효과적으로 하려고 절차(Procedures), 방법(Methods), 도구와 기법(Tools & Techniques), 템플릿과 산출물(Templates & Outputs)을 체계화한 것이다. 보통 단계(Phase) → 태스크(Task) → 스텝(Step)의 계층으로 구성한다. 개발 모델로는 순차적인 폭포수, 일부를 먼저 만들어 보며 개선하는 프로토타입, 반복할 때마다 위험을 분석하는 나선형이 있다. 데이터 분석 방법론의 대표는 KDD(데이터베이스에서 지식 발견, 5단계), CRISP-DM(업계 표준, 6단계), 빅데이터 분석 방법론(5단계)이다.
비유로 이해하기
집 짓기다. 설계 → 기초 → 골조 → 마감을 한 번에 순서대로 하면 폭포수, 모델하우스를 먼저 지어 보고 고치면 프로토타입, 큰 단지를 한 동씩 지으며 매번 위험을 점검하면 나선형이다.
자세히
그림으로 보기: KDD 분석 절차
- 데이터 선택목표에 맞는 데이터 고르기
- 전처리잡음·이상값·결측값 처리
- 변환변수 선택, 차원 축소
- 데이터 마이닝알고리즘으로 패턴 찾기
- 해석·평가결과를 해석하고 활용
그림으로 보기: CRISP-DM 6단계
- 업무 이해목표와 상황 파악
- 데이터 이해수집·탐색, 품질 확인
- 데이터 준비정제·통합·포맷 변환
- 모델링기법 선택, 모델 만들기
- 평가업무 목표에 맞는지
- 전개적용 계획, 모니터링
계층적 프로세스 모델
| 계층 | 뜻 |
|---|---|
| 단계 (Phase) | 가장 큰 묶음. 단계마다 기준선(Baseline)을 정하고 버전을 관리한다 |
| 태스크 (Task) | 단계를 이루는 단위 활동. 산출물이 나온다 |
| 스텝 (Step) | 입력·처리 도구·출력으로 이루어진 가장 작은 작업 단위 (WBS 의 워크 패키지) |
개발 모델 세 가지
| 모델 | 특징 | 알맞은 경우 |
|---|---|---|
| 폭포수 | 앞 단계를 끝내야 다음 단계로 (순차, 필요하면 되돌아감) | 문제와 요구가 명확할 때 |
| 프로토타입 | 일부를 먼저 만들어 결과를 보며 개선 (상향식) | 문제가 불명확할 때 |
| 나선형 | 반복 개발, 반복마다 위험 분석 | 위험이 큰 대규모 프로젝트 |
KDD 5단계
| 순서 | 단계 | 하는 일 |
|---|---|---|
| 1 | 데이터셋 선택 (Selection) | 분석 목적에 맞는 데이터를 고른다 (그 전에 업무 도메인을 이해한다) |
| 2 | 데이터 전처리 (Preprocessing) | 잡음·이상값·결측값을 정제 |
| 3 | 데이터 변환 (Transformation) | 변수 선택, 차원 축소로 분석용 데이터로 바꾼다 |
| 4 | 데이터 마이닝 (Data Mining) | 분석 기법을 적용해 패턴을 찾는다 |
| 5 | 해석과 평가 (Interpretation/Evaluation) | 결과를 해석하고 평가한다 |
CRISP-DM 6단계와 업무
| 단계 | 주요 업무 |
|---|---|
| 1 업무 이해 | 업무 목적 파악, 상황 파악, 데이터 마이닝 목표 설정, 프로젝트 계획 |
| 2 데이터 이해 | 초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 품질 확인 |
| 3 데이터 준비 | 데이터셋 선택, 정제, 편성, 통합, 포맷팅 |
| 4 모델링 | 모델링 기법 선택, 테스트 계획 설계, 모델 작성, 모델 평가 |
| 5 평가 | 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가 |
| 6 전개 | 전개 계획, 모니터링과 유지보수 계획, 종료 보고서, 프로젝트 리뷰 |
빅데이터 분석 방법론 5단계
| 단계 | 주요 태스크 |
|---|---|
| 1 분석 기획 | 비즈니스 이해와 범위 설정, 프로젝트 정의·계획, 위험 계획 |
| 2 데이터 준비 | 필요 데이터 정의, 데이터 스토어 설계, 수집과 정합성 점검 |
| 3 데이터 분석 | 분석용 데이터 준비, 텍스트 분석, 탐색적 분석(EDA), 모델링, 평가·검증 |
| 4 시스템 구현 | 설계와 구현, 테스트와 운영 (단순 보고서로 끝나면 생략 가능) |
| 5 평가 및 전개 | 모델 발전 계획(생명주기·모니터링), 프로젝트 평가와 보고 |
위험 대응 네 가지
회피(Avoid), 전이(Transfer), 완화(Mitigate), 수용(Accept). 빅데이터 분석 방법론의 분석 기획 단계에서 위험 계획을 세운다.
시험에 이렇게 나와요
- CRISP-DM 순서: 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개
- CRISP-DM 단계별 업무: 데이터 탐색은 데이터 이해, 정제·통합·포맷팅은 데이터 준비, 모델 적용성 평가는 평가 단계
- 빅데이터 분석 방법론: 분석 기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개
- 평가 및 전개 → 모델 발전 계획·모니터링 포함, 보고서로 끝나는 과제는 시스템 구현 생략 가능
- 나선형 → 반복마다 위험 분석, 대규모·고위험 프로젝트
- KDD → 도메인 이해 → 선택 → 전처리 → 변환 → 마이닝 → 해석·평가
확인 문제
Q1. CRISP-DM 의 첫 단계는?
- 데이터 준비
- 업무 이해
- 모델링
- 데이터 이해
정답 보기
2번 업무 이해
CRISP-DM 은 업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개 순이다. 업무 목표부터 정한다.
Q2. CRISP-DM 에서 '데이터 탐색'을 수행하는 단계는?
- 데이터 준비
- 평가
- 업무 이해
- 데이터 이해
정답 보기
4번 데이터 이해
데이터 이해 단계에서 수집·기술 분석·탐색·품질 확인을 한다.
Q3. 빅데이터 분석 방법론의 단계 순서로 옳은 것은?
- 분석 기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개
- 데이터 분석 → 분석 기획 → 데이터 준비 → 시스템 구현 → 평가 및 전개
- 분석 기획 → 데이터 분석 → 데이터 준비 → 평가 및 전개 → 시스템 구현
- 데이터 준비 → 분석 기획 → 데이터 분석 → 시스템 구현 → 평가 및 전개
정답 보기
1번 분석 기획 → 데이터 준비 → 데이터 분석 → 시스템 구현 → 평가 및 전개
기획부터 시작해 준비 → 분석 → 구현 → 평가·전개.
Q4. 반복할 때마다 위험 분석을 하며 대규모·고위험 프로젝트에 알맞은 개발 모델은?
- KDD 모델
- 나선형 모델
- 폭포수 모델
- 프로토타입 모델
정답 보기
2번 나선형 모델
나선형 모델이다. 계획·위험 분석·개발·평가를 반복하며 위험을 줄인다. 폭포수 모델은 단계를 한 번씩 순서대로 밟고, 프로토타입 모델은 시제품으로 요구를 확인한다.
Q5. CRISP-DM 의 모델링 단계 업무가 아닌 것은?
- 모델링 기법 선택
- 모델 테스트 계획 설계
- 모델 적용성 평가
- 모델 작성
정답 보기
3번 모델 적용성 평가
모델 적용성 평가는 평가 단계 업무다.
Q6. KDD 의 단계 순서로 옳은 것은?
- 선택 → 전처리 → 변환 → 데이터 마이닝 → 해석·평가
- 전처리 → 선택 → 변환 → 데이터 마이닝 → 해석·평가
- 데이터 마이닝 → 선택 → 전처리 → 변환 → 해석·평가
- 선택 → 변환 → 전처리 → 해석·평가 → 데이터 마이닝
정답 보기
1번 선택 → 전처리 → 변환 → 데이터 마이닝 → 해석·평가
선택하고, 정제하고, 바꾸고, 캐고, 해석한다.
헷갈리기 쉬운 O·X
CRISP-DM 의 데이터 준비 단계에서 데이터 탐색을 한다.
정답 보기
X 데이터 탐색은 데이터 이해 단계.
빅데이터 분석 방법론에서 단순 분석 보고서로 끝나는 과제는 시스템 구현 단계를 건너뛸 수 있다.
정답 보기
O
평가 및 전개 단계에서는 시스템 구현 계획만 세우고 운영·모니터링은 고려하지 않는다.
정답 보기
X 모델의 생명주기와 모니터링 방안(모델 발전 계획)을 세운다.