빅데이터의 가치와 활용 기법
쉽게 말하면
빅데이터로 할 수 있는 일을 일곱 가지 기법으로 정리해요. '이거 산 사람이 저것도 사나?'는 연관 규칙, '이 고객은 어느 무리일까?'는 분류, '가장 좋은 조합은?'은 유전 알고리즘, '기온에 따라 얼마나 팔릴까?'는 회귀, '후기가 좋은가 나쁜가?'는 감정 분석, '누가 영향력이 크지?'는 소셜 네트워크 분석, 그리고 이 모든 걸 데이터로 스스로 배우는 기계 학습이에요.
시험용 정의
빅데이터는 누가 언제 어디서 재사용·재조합할지 알 수 없고, 기존에 없던 새 가치를 만들며, 분석 기술이 발전하면 지금은 가치 없는 데이터도 가치를 얻기 때문에 가치를 미리 산정하기 어렵다. 기업은 혁신·경쟁력·생산성을, 정부는 환경 탐색·상황 분석·미래 대응을, 개인은 맞춤 서비스를 얻는다. 활용 기본 테크닉 일곱 가지는 연관 규칙 학습(함께 일어나는 항목), 유형 분석(분류), 유전 알고리즘(진화를 흉내 낸 최적화), 기계 학습(데이터로 학습해 예측), 회귀 분석(변수가 다른 변수에 주는 영향, 수치 예측), 감정 분석(글의 긍정·부정), 소셜 네트워크 분석(사람·조직 사이의 관계와 영향력)이다.
비유로 이해하기
같은 쇼핑몰 데이터라도 묻는 질문에 따라 쓰는 도구가 다르다. 장바구니를 보면 연관 규칙, 회원 등급을 매기면 분류, 택배 차를 어떻게 돌릴지 정하면 유전 알고리즘, 후기 별점 대신 글을 읽으면 감정 분석이다. 질문이 도구를 고른다.
자세히
가치 산정이 어려운 이유
| 이유 | 뜻 |
|---|---|
| 데이터 활용 방식 | 재사용·재조합·다목적 개발로 누가 언제 어디서 쓸지 모른다 |
| 새로운 가치 창출 | 기존에 없던 가치를 만들어 기존 잣대로 잴 수 없다 |
| 분석 기술 발전 | 지금은 쓸모없는 데이터도 새 분석 기법이 나오면 가치가 생긴다 |
기본 테크닉 일곱 가지와 질문
| 기법 | 이런 질문 | 예 |
|---|---|---|
| 연관 규칙 학습 | A 를 산 사람이 B 도 사나? | 커피와 탄산음료 동시 구매, 장바구니 분석 |
| 유형 분석 (분류) | 이 대상은 어느 범주에 속하나? | 스팸 메일 판별, 신용 등급, 질병 진단 |
| 유전 알고리즘 | 여러 후보 조합 중 가장 좋은 것은? | 시청률 최대 편성, 택배 차량 배치, 연비 최적 차량 설계 |
| 기계 학습 | 데이터로 배워 다음을 맞힐 수 있나? | 시청 기록으로 영화 추천 |
| 회귀 분석 | 한 변수가 다른 변수에 얼마나 영향을 주나? | 기온과 판매량, 공부 시간과 성적 |
| 감정 분석 | 이 글은 긍정인가 부정인가? | 상품 후기, 새 정책 반응 |
| 소셜 네트워크 분석 | 누가 누구와 연결되고 누가 영향력이 큰가? | SNS 영향력자, 관계망 시각화 |
분류냐 회귀냐
맞히려는 값이 범주(스팸/정상, 등급)면 분류, 숫자(가격, 판매량)면 회귀다. '위치와 면적으로 아파트 가격 예측'은 가격이 숫자라 회귀다. 설문조사만 하는 것은 데이터 분석 기법 사례가 아니고, 전문가 면담만으로 바꾸는 것도 데이터 활용 사례로 보기 어렵다.
기업 활용 예
- 마케팅: 매장 위치 선정, 타깃 고객 최적화
- 공급: 적정 재고량 결정, 가스·전력 공급량 예측
- 인력: 이직률 예측
- 단순히 거래처 목록을 저장·관리하는 것은 분석 활용이 아니다
시험에 이렇게 나와요
- 상황에 맞는 기법 고르기: 함께 구매 → 연관, 수치 예측 → 회귀, 최적 조합 → 유전 알고리즘
- 유전 알고리즘 → 선택·교배·돌연변이로 세대를 거쳐 최적해 (군집분석이라 하면 틀림)
- 분류 사례: 신용 등급·스팸·질병 진단 / 아파트 가격 예측은 회귀
- 가치 산정이 어려운 이유: 활용 방식(재사용), 새 가치 창출, 분석 기술 발전 (전문가 증가는 아님)
- 연관분석은 변수 사이 선형 관계를 보는 기법이 아니다. 지지도·신뢰도·향상도를 쓴다
확인 문제
Q1. 기온에 따라 아이스크림이 몇 개 팔릴지 예측할 때 가장 알맞은 기법은?
- 소셜 네트워크 분석
- 회귀 분석
- 연관 규칙 학습
- 감정 분석
정답 보기
2번 회귀 분석
기온(설명변수)으로 판매량이라는 숫자를 예측하므로 회귀 분석이다.
Q2. 마트에서 함께 팔리는 상품 조합을 찾아 묶음 할인을 기획할 때 알맞은 기법은?
- 유전 알고리즘
- 연관 규칙 학습
- 감정 분석
- 회귀 분석
정답 보기
2번 연관 규칙 학습
함께 일어나는 항목을 찾는 장바구니 분석이다.
Q3. 방송 편성표를 여러 조합으로 바꿔 보며 시청률이 가장 높은 편성을 찾는 데 알맞은 기법은?
- 유전 알고리즘
- 연관 규칙 학습
- 소셜 네트워크 분석
- 감정 분석
정답 보기
1번 유전 알고리즘
여러 후보 조합 중 최적을 찾는 최적화 문제다.
Q4. 분류(유형 분석) 사례로 옳지 않은 것은?
- 스팸 메일 판별
- 면적과 위치로 아파트 가격 예측
- 질병 유무 진단
- 신용 등급 판정
정답 보기
2번 면적과 위치로 아파트 가격 예측
면적과 위치로 아파트 가격을 예측하는 것은 숫자를 맞히는 회귀 문제다. 신용 등급, 스팸, 질병 유무는 범주를 고르는 분류다.
Q5. 빅데이터의 가치 산정이 어려운 이유로 알맞지 않은 것은?
- 데이터 전문가가 늘어 분석 방법이 하나로 정해졌다
- 분석 기술 발전으로 가치 없던 데이터가 가치를 얻는다
- 데이터를 재사용·재조합해 누가 쓸지 모른다
- 기존에 없던 가치를 만든다
정답 보기
1번 데이터 전문가가 늘어 분석 방법이 하나로 정해졌다
전문가 증가는 대표 이유가 아니다.
Q6. 상품 후기 글을 읽어 고객이 만족하는지 불만인지 나누는 기법은?
- 회귀 분석
- 유전 알고리즘
- 감정 분석
- 연관 규칙 학습
정답 보기
3번 감정 분석
글의 긍정·부정을 판별하는 감정 분석이다.
헷갈리기 쉬운 O·X
세대를 반복하며 설계 조합을 개선해 최적 결과를 찾는 것은 군집분석의 예다.
정답 보기
X 유전 알고리즘의 예다.
소셜 네트워크 분석은 사람·조직 사이의 연결 관계와 영향력을 분석한다.
정답 보기
O
연관분석은 두 변수 사이의 선형 관계를 측정한다.
정답 보기
X 선형 관계는 상관·회귀. 연관분석은 함께 일어나는 규칙을 찾는다.