회귀분석과 결과 해석
쉽게 말하면
자동차가 빠를수록 멈추는 데 더 먼 거리가 필요하죠. 이 관계를 '제동 거리 = 절편 + 기울기 × 속도' 같은 직선 식으로 나타내는 게 회귀분석이에요. 식이 있으면 속도 20 일 때 제동 거리를 예측할 수 있어요. 결정계수는 이 식이 제동 거리의 들쭉날쭉함을 몇 % 설명하는지 알려 줘요.
시험용 정의
회귀분석은 하나 이상의 독립변수(설명변수) X 가 종속변수(반응변수) Y 에 미치는 영향을 식으로 나타내 설명하고 예측하는 분석이다. 독립변수가 하나면 단순선형회귀 Y = β0 + β1X + ε, 여럿이면 다중선형회귀다. 계수는 관측값과 예측값의 차이인 잔차의 제곱합을 가장 작게 하는 최소제곱법(OLS)으로 추정한다. 각 계수가 0 인지는 t검정(H0: β = 0)으로, 모형 전체가 쓸모 있는지는 F검정(H0: 모든 β = 0)으로 본다. 모형이 Y 의 변동을 얼마나 설명하는지는 결정계수 R² 로 본다.
비유로 이해하기
택시 요금표다. 기본요금(절편)에 거리마다 붙는 요금(기울기)을 더하면 대략의 요금이 나온다. 실제 요금은 신호 대기나 막힘 때문에 식에서 조금씩 벗어나는데, 그 차이가 잔차다. 결정계수는 '요금이 들쭉날쭉한 이유 중 거리로 설명되는 비율'이다.
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 잔차 | 실제값 - 예측값. 잔차 제곱합(SSE)을 최소로 하는 것이 최소제곱법 |
| SST | 전체 제곱합 Σ(y - ȳ)². Y 가 평균에서 흩어진 전체 양 |
| SSR | 회귀 제곱합 Σ(ŷ - ȳ)². 모형이 설명한 양 |
| SSE | 잔차 제곱합 Σ(y - ŷ)². 설명하지 못한 양. SST = SSR + SSE |
| 더미변수 | 범주형 변수를 0·1 로 바꾼 변수. 범주가 k 개면 k - 1 개 |
회귀분석의 가정 (잔차로 점검)
| 가정 | 뜻 | 확인 |
|---|---|---|
| 선형성 | X 와 Y 가 직선 관계 | 잔차도에 곡선 패턴이 없어야 |
| 독립성 | 잔차끼리 서로 독립 (독립변수끼리가 아님) | 더빈-왓슨 검정 |
| 등분산성 | X 값과 관계없이 잔차의 분산이 같음 | 잔차도가 깔때기 모양이면 위반 |
| 정규성 | 잔차가 정규분포 | 정규 Q-Q 그림, 샤피로-윌크 검정 |
분산분석표 (독립변수 p 개, 관측치 n 개)
| 요인 | 제곱합 | 자유도 | 평균제곱 | F |
|---|---|---|---|---|
| 회귀 | SSR | p | MSR = SSR / p | MSR / MSE |
| 잔차 | SSE | n - p - 1 | MSE = SSE / (n - p - 1) | |
| 전체 | SST | n - 1 |
계산 예
단순회귀에서 n = 12, SSR = 40, SSE = 10 이면 SST = 50, R² = 40 / 50 = 0.8, 잔차 자유도 10, MSE = 10 / 10 = 1 (오차 분산의 불편추정량), F = 40 / 1 = 40 이다. summary 출력에 잔차 자유도 41, 독립변수 5 개가 보이면 관측치는 41 + 5 + 1 = 47 개다.
summary(lm) 읽는 법
| 부분 | 읽는 법 |
|---|---|
| Estimate | 계수. 다른 변수가 같을 때 그 변수가 1 늘면 Y 가 평균 얼마 변하나 |
| Pr(>|t|) | 그 계수의 t검정 p값. 0.05 보다 작으면 유의 |
| Multiple R-squared | 결정계수. 0.65 면 Y 변동의 65% 설명 |
| Adjusted R-squared | 수정 결정계수. 변수 수를 고려해 모형끼리 비교할 때 |
| F-statistic, p-value | 모형 전체 검정 |
| Residual standard error | 잔차의 표준편차 추정값 √MSE |
자주 틀리는 해석
- 계수가 크다고 더 중요한 변수가 아니다. 단위가 다르면 비교할 수 없다 (표준화 계수로 비교)
- 더미변수만 있고 교호작용 항이 없으면 두 집단은 절편만 다르고 기울기는 같다
- 유의하지 않은 변수를 빼면 남은 계수도 바뀐다. 기존 계수를 그대로 쓰지 말고 다시 적합한다
- 설명변수끼리의 상관(다중공선성)만으로 모형 적합성을 판단하지 않는다
- 잔차의 평균은 0 이고 독립변수와 상관이 없다. 종속변수와 잔차는 상관이 있을 수 있다
- 회귀계수가 유의해도 인과를 단정할 수 없다
시험에 이렇게 나와요
- 회귀계수 t검정: H0 β = 0, H1 β ≠ 0
- 회귀식 쓰기: 절편 + 기울기 × x (ŷ = 96.04 + 1.97x 처럼)
- 가정의 독립성은 잔차의 독립 ('독립변수 간 관련 없음'은 틀림), 잔차와 종속변수의 무상관은 가정이 아님
- R² 는 0 ~ 1 ('-1 ~ 1' 은 틀림), R² = SSR / SST, 결정계수 0.563 이면 56.3% 설명
- n = 잔차 df + 변수 수 + 1, 단순회귀 MSE = SSE / (n - 2) (SSE 20, n 10 → 2.5)
- 더미변수: 기준 범주 대비 차이, 교호작용 항이 없으면 기울기 같음 ('교호작용이 유의'는 틀림)
- 계수 크기만으로 변수 중요도 판단 불가, 변수 제외 시 다시 적합, 인과 단정 불가
- 잔차도에 곡선 패턴 → 비선형 관계, 설명변수 간 상관으로 모형 적합성 판단은 틀림
- 단위 해석: 연봉 단위가 백만 원이면 계수 8.94 는 894만 원
확인 문제
Q1. 회귀식 ŷ = 10 + 3x 에서 x 가 2 만큼 늘면 ŷ 는 어떻게 될까?
- 3 늘어난다
- 6 늘어난다
- 13 이 된다
- 변하지 않는다
정답 보기
2번 6 늘어난다
기울기 3 은 x 가 1 늘 때 ŷ 가 3 느는 것이다. 2 늘면 3 × 2 = 6 늘어난다.
Q2. 독립변수 3 개, 잔차 자유도 26 인 다중회귀의 관측치 수는?
- 26
- 29
- 30
- 33
정답 보기
3번 30
30이다. 잔차 자유도 = n - p - 1이라 n = 26 + 3 + 1이다.
Q3. SST = 200, SSE = 50 인 회귀모형의 결정계수는?
- 0.25
- 0.5
- 0.75
- 4
정답 보기
3번 0.75
R² = 1 - 50 / 200 = 0.75.
Q4. 선형회귀의 가정이 아닌 것은?
- 잔차의 분산이 일정하다
- 잔차가 정규분포를 따른다
- 독립변수와 종속변수가 선형 관계다
- 독립변수끼리 서로 관련이 없어야 한다
정답 보기
4번 독립변수끼리 서로 관련이 없어야 한다
독립성 가정은 잔차끼리의 독립이다. 독립변수끼리의 상관은 다중공선성 문제로 따로 본다.
Q5. 회귀식 ŷ = 5 + 2x + 4D (D 는 0·1 더미, 교호작용 없음) 에 대한 설명으로 옳지 않은 것은?
- D = 1 이면 같은 x 에서 ŷ 가 4 크다
- x 가 1 늘 때 ŷ 증가량은 두 집단이 같다
- 두 집단의 기울기가 다르다
- D = 1 집단의 절편은 9 다
정답 보기
3번 두 집단의 기울기가 다르다
교호작용 항이 없으니 기울기는 2 로 같고 절편만 4 차이 난다.
Q6. 단순회귀에서 n = 22, SSE = 40 일 때 MSE 는?
- 1.82
- 2
- 20
- 40
정답 보기
2번 2
잔차 자유도 22 - 2 = 20, 40 / 20 = 2.
Q7. 다중회귀 결과 한 변수가 유의하지 않아 빼려 한다. 알맞은 방법은?
- 모든 변수를 빼고 절편만 남긴다
- 기존 계수에서 그 변수만 지우고 그대로 쓴다
- 유의하지 않아도 계수를 2 배로 한다
- 그 변수를 빼고 다시 적합해 새 계수를 확인한다
정답 보기
4번 그 변수를 빼고 다시 적합해 새 계수를 확인한다
변수가 빠지면 남은 계수도 바뀐다.
헷갈리기 쉬운 O·X
결정계수 R² 는 -1 에서 1 사이 값을 가진다.
정답 보기
X 0 에서 1 사이다. -1 ~ 1 은 상관계수.
독립변수를 추가하면 결정계수는 줄어들지 않는다.
정답 보기
O 그래서 변수 수를 고려한 수정 결정계수로 비교한다.
회귀계수의 절댓값이 가장 큰 변수가 종속변수에 가장 중요한 변수다.
정답 보기
X 변수마다 단위가 달라 계수 크기로 중요도를 비교할 수 없다.