요인분석과 판별분석
쉽게 말하면
설문 문항이 20개인데 '친절해요, 설명을 잘해요, 웃으며 맞아요'는 사실 '서비스 태도'라는 한 가지를 재고 있을 수 있어요. 이렇게 겉으로 드러난 변수 뒤에 숨은 공통 원인(요인)을 찾는 것이 요인분석이에요. 반대로 판별분석은 이미 집단이 나뉜 데이터를 보고 새 사람이 어느 집단인지 가르는 식을 만들어요.
시험용 정의
다변량 분석은 여러 변수를 한꺼번에 다루는 분석이다. 요인분석은 서로 상관이 높은 관측 변수들 뒤에 공통으로 작용하는 잠재 요인이 있다고 보고, 그 요인을 찾아 변수를 묶는다. 각 변수가 요인과 얼마나 관련되는지는 요인 적재값으로 보고, 해석하기 쉽게 축을 돌리는 요인 회전을 한다. 판별분석은 정답 범주(집단)가 있는 데이터로, 설명변수의 선형 결합인 판별 함수를 만들어 새 관측값의 집단을 예측하는 지도학습이다. 정준상관분석은 두 변수 묶음(예: 학업 지표 묶음과 생활 습관 묶음) 사이의 관계를 가장 크게 드러내는 선형 결합을 찾는다.
비유로 이해하기
학생들의 국어·영어·사회 점수가 함께 오르내리고, 수학·과학 점수가 함께 오르내린다면 그 뒤에 '언어 능력'과 '수리 능력'이라는 숨은 요인이 있다고 볼 수 있다. 요인분석이다. 이미 문과·이과로 나뉜 학생들의 점수로, 새 학생이 어느 쪽에 가까운지 가르는 식을 만드는 것은 판별분석이다.
자세히
주성분분석과 요인분석
| 주성분분석 | 요인분석 | |
|---|---|---|
| 목적 | 정보(분산)를 최대한 남기며 차원 축소 | 변수 사이 상관을 설명하는 잠재 요인 찾기 |
| 방향 | 관측 변수 → 새 변수(주성분) | 잠재 요인 → 관측 변수를 만든다고 가정 |
| 결과 | 주성분은 서로 독립, 1주성분이 가장 중요 | 요인 사이 순서·중요도가 정해져 있지 않음 |
| 이름 붙이기 | 보통 하지 않음 | 적재값을 보고 '서비스 태도'처럼 이름을 붙임 |
요인분석에서 쓰는 말
| 말 | 뜻 |
|---|---|
| 요인 적재값 | 변수와 요인의 상관. 절댓값이 클수록 그 요인에 속함 |
| 공통성 | 한 변수의 분산 중 공통 요인들이 설명하는 비율 |
| 고유값 | 요인이 설명하는 분산. 보통 1 이상인 요인만 남김 (카이저 기준), 스크리 그림도 참고 |
| 직교 회전 | 요인끼리 상관 없게 유지 (배리맥스) |
| 사교 회전 | 요인끼리 상관을 허용 (오블리민, 프로맥스) |
판별분석
- 지도학습: 집단(범주)이 정해진 데이터로 학습
- 선형판별분석은 집단 간 차이(분산)는 크게, 집단 안 흩어짐은 작게 하는 축을 찾는다
- 가정: 설명변수가 집단마다 다변량 정규분포, 집단의 공분산 행렬이 같음 (다르면 이차판별분석)
- 로지스틱 회귀와 같은 분류 문제를 풀지만, 분포 가정을 더 강하게 둔다
정준상관분석
변수 묶음 X(예: 공부 시간·출석·과제 점수)와 묶음 Y(예: 중간·기말 점수)가 있을 때, X 의 선형 결합과 Y 의 선형 결합 사이 상관이 가장 커지도록 가중치를 찾는다. 두 묶음 전체의 관계를 한 번에 본다.
시험에 이렇게 나와요
- 요인분석: 잠재 요인, 요인 적재값, 고유값 1 이상(카이저 기준)
- 주성분분석(분산 최대 차원 축소) vs 요인분석(상관을 만드는 잠재 요인)
- 직교 회전 배리맥스 / 사교 회전 오블리민·프로맥스
- 판별분석은 지도학습, 선형판별분석은 집단 간 분산 최대 · 집단 내 분산 최소
- 정준상관분석: 두 변수 묶음 사이 최대 상관
출제기준 3과목 '다변량 분석'
확인 문제
Q1. 만족도 설문 15문항을 '가격', '품질', '서비스' 같은 몇 개의 숨은 요인으로 묶고 싶다. 알맞은 분석은?
- 요인분석
- 판별분석
- 연관분석
- 시계열 분석
정답 보기
1번 요인분석
여러 관측 변수를 공통 원인(잠재 요인)으로 묶는 것이 요인분석이다.
Q2. 요인 사이에 상관이 없도록 축을 돌리는 대표적인 직교 회전 방법은?
- 오블리민
- 와드
- 프로맥스
- 배리맥스
정답 보기
4번 배리맥스
배리맥스가 직교 회전이고, 오블리민·프로맥스는 사교 회전이다.
Q3. 판별분석에 대한 설명으로 옳은 것은?
- 변수 사이 숨은 요인을 찾는다
- 정답 범주 없이 집단을 찾는다
- 시간 순서 데이터를 예측한다
- 정답 범주가 있는 데이터로 집단을 가르는 함수를 만든다
정답 보기
4번 정답 범주가 있는 데이터로 집단을 가르는 함수를 만든다
판별분석은 지도학습 분류 방법이다.
Q4. 요인분석에서 몇 개의 요인을 남길지 정할 때 흔히 쓰는 기준은?
- 고유값 1 이상
- 지지도 0.1 이상
- 결정계수 0.5 이상
- p값 0.05 미만
정답 보기
1번 고유값 1 이상
고유값 1 이상(카이저 기준)과 스크리 그림을 함께 본다.
Q5. 학업 지표 묶음과 생활 습관 지표 묶음 사이의 관계를 한 번에 보려 할 때 알맞은 분석은?
- 정준상관분석
- k-평균 군집
- 연관분석
- 단순 회귀분석
정답 보기
1번 정준상관분석
두 변수 묶음 사이 상관을 최대로 하는 정준상관분석이다.
헷갈리기 쉬운 O·X
주성분분석과 요인분석은 목적과 가정이 완전히 같다.
정답 보기
X 주성분분석은 분산을 최대로 남기는 차원 축소, 요인분석은 상관을 만드는 잠재 요인을 가정한다.
선형판별분석은 집단 간 분산을 크게, 집단 내 분산을 작게 하는 축을 찾는다.
정답 보기
O
판별분석은 정답 범주가 없는 비지도학습이다.
정답 보기
X 집단이 정해진 데이터로 배우는 지도학습이다.