분석모형 설계와 분석 환경
쉽게 말하면
어떤 모형을 쓸지는 '무엇을 알고 싶은가'에서 시작해요. 숫자를 맞히면 회귀, 범주를 맞히면 분류, 정답이 없으면 군집이에요. 설명이 중요하면 의사결정나무처럼 읽기 쉬운 모형을, 정확도가 중요하면 앙상블이나 딥러닝을 골라요. 그리고 데이터를 세 덩어리로 나눠 배우고, 고르고, 최종 시험을 봐요.
시험용 정의
분석모형 설계는 분석 목적에 맞는 모형을 고르고(분석모형 선정), 무엇을 입력·출력으로 할지 정하고(분석모형 정의), 만드는 순서를 정하는(구축 절차) 일이다. 선정은 지도/비지도, 반응변수의 유형(연속형 → 회귀, 범주형 → 분류), 해석이 필요한지, 데이터 양과 변수 수를 보고 한다. 구축 절차는 요건 정의(목적·평가 기준 확정) → 모델링(데이터 마트 준비, 탐색, 모형 학습) → 검증 및 테스트(성능 평가) → 적용(운영 환경에 올림)이다. 분석 환경 구축에서는 분석 도구(R, 파이썬, SAS, SPSS 등)를 고르고 데이터를 학습·검증·평가 데이터로 나눈다.
비유로 이해하기
운동선수 훈련으로 보자. 평소 연습 경기가 학습 데이터, 전술을 고르는 연습 시합이 검증 데이터, 실력을 공식 확인하는 본 시합이 평가 데이터다. 본 시합 문제를 미리 보고 연습하면 진짜 실력을 알 수 없다.
자세히
분석모형 선정
| 상황 | 고를 만한 모형 |
|---|---|
| 숫자 예측, 해석 중요 | 선형 회귀, 규제 회귀 |
| 범주 분류, 해석 중요 | 로지스틱 회귀, 의사결정나무 |
| 범주 분류, 정확도 중요 | 랜덤 포레스트, 부스팅, 서포트벡터머신, 신경망 |
| 정답 없음, 그룹 찾기 | k-평균, 계층적 군집, 혼합분포 군집 |
| 함께 일어나는 패턴 | 연관규칙 (지지도·신뢰도·향상도) |
| 시간 순서 예측 | ARIMA, 지수평활, 순환 신경망 |
| 이미지·텍스트 | CNN, RNN·트랜스포머, 텍스트 마이닝 |
분석모형 구축 절차
| 단계 | 하는 일 |
|---|---|
| 요건 정의 | 분석 요건 도출, 수행 방안 설계, 성공 기준(평가 지표·목표 수준) 확정 |
| 모델링 | 데이터 마트 설계·구축, 탐색적 분석, 모형 학습과 성능 비교 |
| 검증 및 테스트 | 운영과 같은 환경에서 평가 데이터로 검증, 업무 담당자 확인 |
| 적용 | 운영 시스템에 배포, 결과 모니터링, 필요하면 리모델링 |
분석 도구 고르기
| 도구 | 특징 |
|---|---|
| R | 무료, 통계 패키지가 풍부, 그래프에 강함 |
| 파이썬 | 무료, 머신러닝·딥러닝 라이브러리(scikit-learn, TensorFlow, PyTorch), 서비스와 연결이 쉬움 |
| SAS·SPSS | 상용, 메뉴 방식 분석, 기관·기업에서 오래 써 옴 |
| 스파크 MLlib | 분산 환경에서 대용량 머신러닝 |
고를 때는 비용, 분석 기법 지원, 데이터 크기, 팀의 숙련도, 운영 시스템과의 연결을 따진다.
데이터 분할
| 데이터 | 쓰는 곳 | 흔한 비율 |
|---|---|---|
| 학습 (훈련) | 모형의 매개변수(가중치·계수)를 학습 | 50~70% |
| 검증 | 초매개변수 선택, 과대적합 확인, 조기 종료 | 15~25% |
| 평가 (테스트) | 마지막 일반화 성능 측정. 학습·선택에 쓰지 않음 | 15~25% |
데이터가 적으면 k-겹 교차 검증으로 학습·검증을 번갈아 하고, 범주 비율을 유지하려면 층화 추출로 나눈다. 시간 순서가 있는 데이터는 섞지 말고 과거로 학습, 미래로 평가한다.
시험에 이렇게 나와요
- 반응변수 연속형 → 회귀, 범주형 → 분류, 없음 → 군집·연관
- 구축 절차: 요건 정의 → 모델링 → 검증 및 테스트 → 적용
- 학습(매개변수) / 검증(초매개변수) / 평가(최종 성능)
- 평가 데이터를 모형 선택에 쓰면 성능이 부풀려진다
- 시계열은 섞지 않고 시간 순서로 나눈다
출제기준 3과목 '분석모형 선정·정의·구축 절차, 분석 도구 선정, 데이터 분할'
확인 문제
Q1. 초매개변수(예: 나무 깊이)를 고를 때 쓰는 데이터는?
- 평가 데이터
- 학습 데이터
- 검증 데이터
- 전체 데이터
정답 보기
3번 검증 데이터
모형은 학습 데이터로 만들고, 설정을 고르는 것은 검증 데이터로, 마지막 성능 확인은 한 번도 안 쓴 평가 데이터로 한다.
Q2. 분석모형 구축 절차의 순서로 알맞은 것은?
- 검증 및 테스트 → 요건 정의 → 모델링 → 적용
- 요건 정의 → 적용 → 모델링 → 검증 및 테스트
- 모델링 → 요건 정의 → 적용 → 검증 및 테스트
- 요건 정의 → 모델링 → 검증 및 테스트 → 적용
정답 보기
4번 요건 정의 → 모델링 → 검증 및 테스트 → 적용
목적을 정하고, 만들고, 확인한 뒤, 운영에 올린다.
Q3. 고객의 다음 달 구매 금액(원)을 예측하려 한다. 알맞은 모형 계열은?
- 주성분분석
- 회귀
- 연관규칙
- 군집
정답 보기
2번 회귀
반응변수가 연속형 숫자이므로 회귀 문제다.
Q4. 마지막 일반화 성능을 재기 위해 학습과 모형 선택에 전혀 쓰지 않고 남겨 두는 데이터는?
- 평가 데이터
- 검증 데이터
- 학습 데이터
- 부트스트랩 표본
정답 보기
1번 평가 데이터
평가(테스트) 데이터다. 학습 데이터로 모형을 만들고 검증 데이터로 모형을 고른 뒤, 평가 데이터로 마지막 성능을 한 번만 잰다.
Q5. 월별 매출 시계열을 학습·평가로 나눌 때 알맞은 방법은?
- 무작위로 섞어 나눈다
- 앞쪽 기간으로 학습하고 뒤쪽 기간으로 평가한다
- 뒤쪽 기간으로 학습하고 앞쪽으로 평가한다
- 같은 데이터를 둘 다에 쓴다
정답 보기
2번 앞쪽 기간으로 학습하고 뒤쪽 기간으로 평가한다
미래 정보가 학습에 새지 않도록 시간 순서를 지킨다.
헷갈리기 쉬운 O·X
평가 데이터로 여러 모형을 비교해 가장 좋은 것을 고른 뒤, 같은 평가 데이터 점수를 최종 성능으로 보고하면 된다.
정답 보기
X 선택에 쓴 데이터의 점수는 부풀려진다. 선택은 검증 데이터로 한다.
해석이 중요한 분류 문제에는 의사결정나무나 로지스틱 회귀가 알맞다.
정답 보기
O
검증 데이터는 모형의 가중치를 직접 학습하는 데 쓴다.
정답 보기
X 가중치는 학습 데이터로 배우고, 검증 데이터는 초매개변수 선택과 과대적합 확인에 쓴다.