인공신경망
쉽게 말하면
뇌의 신경세포처럼 작은 계산 단위(노드)를 여러 층으로 이어 붙인 모형이에요. 각 노드는 들어온 값에 중요도(가중치)를 곱해 더하고, 그 합이 충분히 크면 다음으로 신호를 보내요. 정답과 틀린 만큼 가중치를 조금씩 고치며 배우는데, 왜 그런 답이 나왔는지는 설명하기 어려워요.
시험용 정의
인공신경망은 입력층, 하나 이상의 은닉층, 출력층의 노드가 가중치로 연결된 모형이다. 각 노드는 입력값 x 와 가중치 w 를 곱해 더하고 편향 b 를 더한 값 Σwx + b 를 활성화 함수에 넣어 출력한다. 활성화 함수에는 계단 함수, 시그모이드(0 ~ 1), tanh(-1 ~ 1), ReLU(음수면 0, 양수면 그대로), 다중 범주 출력용 소프트맥스가 있다. 학습은 예측 오차를 출력층에서 입력층 쪽으로 거꾸로 전달하며 가중치를 고치는 역전파 알고리즘과 경사하강법으로 한다. 은닉층 없이 출력 노드 하나에 시그모이드를 쓰면 로지스틱 회귀와 같은 모양이 된다.
비유로 이해하기
회사의 결재 라인이다. 사원들이 올린 의견(입력)에 팀장이 각자 신뢰도(가중치)를 곱해 종합하고, 일정 수준을 넘으면(활성화) 위로 올린다. 결과가 틀리면 사장부터 거꾸로 '누구 의견을 너무 믿었나'를 따져 신뢰도를 고친다(역전파). 결재 단계가 너무 많으면 사장의 피드백이 아래까지 거의 전달되지 않는다(기울기 소실).
자세히
먼저 알아 둘 말
| 말 | 뜻 |
|---|---|
| 노드 (뉴런) | 가중합을 계산하고 활성화 함수를 거쳐 출력하는 단위 |
| 가중치 | 입력의 중요도. 학습으로 정해진다 |
| 편향 | 가중합에 더하는 상수. 기준선을 옮긴다 |
| 퍼셉트론 | 입력층과 출력층만 있는 가장 단순한 신경망. 은닉층을 두면 다층 퍼셉트론(MLP) |
| 역전파 | 출력 오차를 거꾸로 전파해 가중치를 고치는 학습 방법 |
활성화 함수
| 함수 | 식 | 출력 범위 | 쓰임 |
|---|---|---|---|
| 계단 | 임계값 이상이면 1, 아니면 0 | 0 또는 1 | 초기 퍼셉트론 |
| 시그모이드 | 1 / (1 + e-x) | 0 ~ 1 | 이진 분류 출력 |
| tanh | (ex - e-x) / (ex + e-x) | -1 ~ 1 | 은닉층 |
| ReLU | max(0, x) | 0 ~ ∞ | 은닉층, 기울기 소실 완화 |
| 소프트맥스 | exi / Σexj | 0 ~ 1, 합 1 | 다중 범주 출력 |
구조 정하기
- 입력층 노드 수 = 입력 변수(특성) 수, 출력층 노드 수 = 범주 수 (회귀면 1)
- 은닉층과 노드 수는 사람이 정한다. 너무 적으면 과소적합, 너무 많으면 과대적합
- 모든 은닉층의 노드 수가 같을 필요는 없다
- 층을 늘리고 노드를 줄이면 역전파 때 기울기가 점점 작아지는 기울기 소실이 생길 수 있다
장점과 단점
| 장점 | 단점 |
|---|---|
| 복잡한 비선형 관계를 스스로 학습 | 가중치로 결과를 설명하기 어렵다 (블랙박스) |
| 잡음에 비교적 강함 | 초기값·학습률에 민감, 지역 최솟값에 빠질 수 있다 |
| 이미지·음성 같은 비정형 데이터 처리 | 과대적합되기 쉽고 계산량이 많다 |
시험에 이렇게 나와요
- 가중치 개수 계산: 20 × 50 + 50 × 3 = 1150 (편향 제외)
- 시그모이드 출력 0 < y < 1, tanh 는 -1 ~ 1 ('tanh 가 0 ~ 1' 은 틀림), ReLU 는 음수에서 0
- 다중 범주 출력 → 소프트맥스, 소프트맥스 식 e^ai / Σe^aj
- 은닉층 없이 시그모이드 → 로지스틱 회귀와 같은 원리
- 가중합을 출력으로 바꿔 다음 층에 보내는 함수 → 활성화 함수
- 단점: 가중치로 결과를 설명하기 어려움 ('설명력 있는 가중치' 는 틀림)
- 은닉층 노드 수가 모두 같을 필요 없음, 층을 늘리면 기울기 소실 가능
확인 문제
Q1. 입력층 노드 10개, 은닉층 노드 5개, 출력층 노드 2개인 신경망의 가중치는 몇 개일까? (편향 제외)
- 17
- 50
- 60
- 100
정답 보기
3번 60
층과 층 사이 모든 노드가 연결된다. 10 × 5 + 5 × 2 = 60. 편향까지 넣으면 (10 + 1) × 5 + (5 + 1) × 2 = 67.
Q2. 다중 범주 분류의 출력층에 주로 쓰는 활성화 함수는?
- tanh
- 계단 함수
- 소프트맥스
- ReLU
정답 보기
3번 소프트맥스
범주별 확률을 내고 합이 1 이다.
Q3. 출력 범위가 -1 에서 1 사이인 활성화 함수는?
- 시그모이드
- 소프트맥스
- ReLU
- tanh
정답 보기
4번 tanh
tanh(하이퍼볼릭 탄젠트)다. 시그모이드는 0~1, ReLU는 0 이상, 소프트맥스는 출력의 합이 1이 되는 확률을 낸다.
Q4. 입력층 8개, 은닉층 4개, 출력층 1개 노드인 신경망의 가중치 개수(편향 제외)는?
- 13
- 32
- 36
- 45
정답 보기
3번 36
8 × 4 + 4 × 1 = 36.
Q5. 출력 오차를 출력층에서 입력층 방향으로 전달하며 가중치를 고치는 방법은?
- 순전파
- 역전파
- 가지치기
- 부트스트랩
정답 보기
2번 역전파
역전파(backpropagation)다.
Q6. 인공신경망의 단점으로 알맞은 것은?
- 이미지를 처리할 수 없다
- 결과가 왜 나왔는지 설명하기 어렵다
- 비선형 관계를 다룰 수 없다
- 범주형 출력을 낼 수 없다
정답 보기
2번 결과가 왜 나왔는지 설명하기 어렵다
가중치가 많아 해석이 어려운 블랙박스다.
Q7. 은닉층 수는 늘리고 층마다 노드 수는 줄였을 때 생길 수 있는 문제는?
- 결측값
- 기울기 소실
- 다중공선성
- 범주 불균형
정답 보기
2번 기울기 소실
깊어질수록 역전파 기울기가 작아진다.
헷갈리기 쉬운 O·X
인공신경망은 가중치로 결과를 쉽게 설명할 수 있다.
정답 보기
X 가중치가 많고 얽혀 있어 해석이 어렵다.
ReLU 함수는 입력이 음수면 0 을, 양수면 입력값을 그대로 출력한다.
정답 보기
O
모든 은닉층은 같은 개수의 노드로 구성해야 한다.
정답 보기
X 층마다 다르게 정할 수 있다.