데이터 마이닝 개요와 데이터 분할
쉽게 말하면
데이터 마이닝은 많은 데이터에서 쓸모 있는 패턴을 찾는 일이에요. 정답이 붙은 문제집으로 공부하는 것이 지도학습, 정답 없이 비슷한 것끼리 묶어 보는 것이 비지도학습이에요. 문제집으로만 공부하고 같은 문제로 시험 보면 실력을 알 수 없죠. 그래서 데이터를 공부용, 중간 점검용, 최종 시험용으로 나눠요.
시험용 정의
데이터 마이닝은 대용량 데이터에서 의미 있는 패턴과 규칙을 찾아 의사결정에 쓰는 과정이다. 목표변수(정답)가 있는 데이터로 학습하는 지도학습에는 범주를 맞히는 분류(의사결정나무, 로지스틱 회귀, 신경망, SVM, k-NN, 나이브 베이즈, 앙상블)와 연속값을 맞히는 예측(회귀분석)이 있고, 목표변수 없이 구조를 찾는 비지도학습에는 군집분석, 연관분석, 주성분분석 같은 차원 축소가 있다. 모형을 만들 때 데이터는 훈련(학습), 검증(과대·과소적합 조정, 모형 선택), 평가(최종 성능)용으로 나누며, 나누는 방법에는 홀드아웃, k-폴드 교차검증, 부트스트랩이 있다.
비유로 이해하기
수능 준비다. 기출 문제집(훈련 데이터)으로 공부하고, 모의고사(검증 데이터)로 공부 방법을 고치고, 실제 수능(평가 데이터)으로 실력이 판가름 난다. 기출 문제만 달달 외워 기출은 다 맞히는데 새 문제는 못 푸는 상태가 과대적합이다.
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 목표변수 | 맞히려는 값. 정답, 반응변수, 종속변수 |
| 과대적합 | 훈련 데이터에 너무 맞춰져 새 데이터에서 성능이 떨어짐 |
| 과소적합 | 너무 단순해 훈련 데이터의 패턴도 못 잡음 |
| 일반화 | 같은 모집단의 다른 데이터에 적용해도 비슷한 성능이 나오는 성질 |
기법 나누기
| 구분 | 목적 | 기법 |
|---|---|---|
| 지도 · 분류 | 범주 예측 (이탈/유지) | 의사결정나무, 로지스틱 회귀, 신경망, SVM, k-NN, 나이브 베이즈, 앙상블 |
| 지도 · 예측(회귀) | 연속값 예측 (매출액) | 선형·다중 회귀, 회귀나무, 신경망 |
| 비지도 · 군집 | 비슷한 개체끼리 묶기 | 계층적 군집, k-평균, DBSCAN, 혼합분포, SOM |
| 비지도 · 연관 | 함께 일어나는 규칙 | Apriori 연관규칙, 순차 패턴 |
| 비지도 · 차원 축소 | 변수 요약 | 주성분분석, 다차원척도법 |
데이터 마이닝 추진 5단계
| 단계 | 하는 일 |
|---|---|
| 1 목적 정의 | 무엇을 하려는지 분명히 한다 |
| 2 데이터 준비 | 데이터를 모으고 정제한다 |
| 3 데이터 가공 | 목적변수를 정하고 분석에 맞는 형식으로 만든다 |
| 4 기법 적용 | 모형을 만든다 |
| 5 검증 | 결과를 검증하고 업무에 적용한다 |
데이터 분할
| 데이터 | 쓰임 | 비율 예 |
|---|---|---|
| 훈련 | 모형이 패턴을 학습하고 가중치를 조정 | 가장 큼 (50~60%) |
| 검증 | 학습 중 과대·과소적합 점검, 모형·하이퍼파라미터 선택 | 20~30% |
| 평가 (테스트) | 학습에 쓰지 않고 최종 성능만 측정 | 20~30% |
분할 방법
| 방법 | 방식 |
|---|---|
| 홀드아웃 | 무작위로 훈련·평가(·검증)로 한 번 나눈다 |
| k-폴드 교차검증 | k 등분 → k - 1 개 학습, 1 개 평가를 k 번 반복해 평균 |
| LOOCV | 한 개씩만 빼서 평가하는 극단적인 교차검증 (k = n) |
| 부트스트랩 | 복원추출로 같은 크기의 표본을 반복해서 만든다. 뽑히지 않은 약 36.8% 로 평가할 수 있다 |
더 깊게: 왜 36.8% 인가
크기 d 인 자료에서 하나를 뽑을 때 특정 관측치가 안 뽑힐 확률은 1 - 1/d 다. 복원추출로 d 번 뽑으면 한 번도 안 뽑힐 확률은 (1 - 1/d)d 이고, d 가 크면 e-1 ≈ 0.368 에 가까워진다. d = 100 이면 0.366. 그래서 부트스트랩 표본 하나에는 원래 자료의 약 63.2% 가 들어간다.
범주 불균형
사기 거래처럼 한 범주의 사례가 매우 적으면 모형이 그 범주를 제대로 배우지 못한다. 모두 '정상'이라고만 해도 정확도가 99% 가 될 수 있다. 다수 범주를 줄이는 언더샘플링, 소수 범주를 늘리는 오버샘플링으로 맞추고, 정확도 대신 재현율·F1 같은 지표로 평가한다.
시험에 이렇게 나와요
- 추진 단계: 목적 정의 → 데이터 준비 → 데이터 가공 → 기법 적용 → 검증
- 훈련: 학습, 검증: 과대·과소적합 조정, 평가: 최종 성능 ('검증용으로 최종 성능 평가', '테스트로 학습'은 틀림), 훈련 비율이 가장 큼
- 부트스트랩에서 안 뽑힐 확률 (1 - 1/d)^d, d = 100 이면 (1 - 1/100)^100
- 분류: 이미 분류된 데이터로 새 데이터의 그룹 예측 (다중회귀는 분류 아님, 군집은 예측 기법 아님)
- 모형 평가 기준: 같은 모집단 다른 데이터에서도 유사 → 일반화
- 한 범주 사례가 너무 적어 학습이 안 됨 → 범주 불균형
확인 문제
Q1. 모델을 다 만든 뒤 최종 성능을 객관적으로 재기 위해 쓰는 데이터는?
- 모든 데이터를 다시 학습
- 훈련 데이터
- 검증 데이터
- 평가(테스트) 데이터
정답 보기
4번 평가(테스트) 데이터
학습에 한 번도 쓰지 않은 평가 데이터로 최종 성능을 잰다. 검증 데이터는 학습 중에 모형을 고르고 조정하는 데 쓴다.
Q2. 데이터 마이닝 추진 단계의 순서로 옳은 것은?
- 목적 정의 → 데이터 가공 → 데이터 준비 → 기법 적용 → 검증
- 데이터 가공 → 기법 적용 → 목적 정의 → 데이터 준비 → 검증
- 목적 정의 → 데이터 준비 → 데이터 가공 → 기법 적용 → 검증
- 데이터 준비 → 목적 정의 → 데이터 가공 → 기법 적용 → 검증
정답 보기
3번 목적 정의 → 데이터 준비 → 데이터 가공 → 기법 적용 → 검증
목적 → 준비 → 가공 → 적용 → 검증.
Q3. 다음 중 비지도학습 기법은?
- 다중회귀
- 의사결정나무
- k-평균 군집
- 로지스틱 회귀
정답 보기
3번 k-평균 군집
k-평균 군집이다. 정답 없이 비슷한 것끼리 묶는다. 로지스틱 회귀, 의사결정나무, 다중회귀는 정답(목표변수)이 있는 지도학습이다.
Q4. 다음 중 분류 모형이 아닌 것은?
- 의사결정나무
- 다중 회귀분석
- 인공신경망
- 로지스틱 회귀
정답 보기
2번 다중 회귀분석
다중 회귀분석이다. 연속형 숫자를 예측한다. 인공신경망, 의사결정나무, 로지스틱 회귀는 범주를 분류하는 데 쓴다.
Q5. 데이터를 5 등분해 4 개로 학습하고 1 개로 평가하기를 5 번 반복하는 방법은?
- 부트스트랩
- 홀드아웃
- 5-폴드 교차검증
- 층화추출
정답 보기
3번 5-폴드 교차검증
5-폴드 교차검증이다. 모든 데이터가 한 번씩 평가에 쓰인다. 홀드아웃은 한 번만 나누고, 부트스트랩은 복원 추출로 표본을 만든다.
Q6. 크기 50 인 자료에서 부트스트랩 표본을 만들 때 특정 관측치가 한 번도 뽑히지 않을 확률은?
- 1 - (1/50)^50
- 1/50
- (1 - 1/50)^50
- (1/50)^50
정답 보기
3번 (1 - 1/50)^50
매번 안 뽑힐 확률 1 - 1/50 을 50 번 곱한다.
Q7. 검증 데이터의 쓰임으로 가장 알맞은 것은?
- 모형의 가중치를 직접 학습한다
- 모형을 완성한 뒤 최종 성능만 보고한다
- 결측값을 채운다
- 학습 중 과대적합 여부를 점검하고 모형을 고른다
정답 보기
4번 학습 중 과대적합 여부를 점검하고 모형을 고른다
최종 성능은 평가 데이터의 몫이다.
헷갈리기 쉬운 O·X
검증용 데이터는 완성된 모델의 최종 성능을 평가하는 데 쓴다.
정답 보기
X 최종 성능은 학습에 쓰지 않은 평가(테스트) 데이터로 잰다.
군집분석은 미래 값을 예측하는 대표적인 지도학습 기법이다.
정답 보기
X 군집분석은 비지도학습이다.
훈련·검증·평가 데이터는 항상 같은 비율로 나눠야 한다.
정답 보기
X 보통 훈련 데이터에 가장 많이 할당한다.