비정형 데이터 분석: 텍스트 마이닝·사회연결망
쉽게 말하면
리뷰, 뉴스, 상담 기록 같은 글은 표가 아니라서 바로 분석할 수 없어요. 먼저 단어로 쪼개고 '은, 는, 그리고' 같은 쓸모없는 말을 빼요. 그다음 단어를 세어 숫자로 바꾸면 분류나 군집을 할 수 있어요. 사람과 사람의 관계(친구, 댓글)를 선으로 이어 누가 중심인지 보는 것은 사회연결망 분석이에요.
시험용 정의
비정형 데이터 분석은 글·이미지·음성처럼 정해진 구조가 없는 데이터에서 의미를 뽑는 분석이다. 대표가 텍스트 마이닝으로, 글을 정제(특수문자·태그 제거)하고 토큰화(단어·형태소로 나눔)한 뒤 불용어를 빼고 어간 추출·표제어 추출로 단어 형태를 맞춘다. 그다음 문서를 숫자로 바꾼다. 단어 빈도만 세는 BoW(단어 가방)와 문서-단어 행렬, 흔한 단어를 낮추는 TF-IDF, 단어 뜻을 벡터로 담는 워드 임베딩(Word2Vec 등)이 있다. 이렇게 만든 숫자로 감성 분석, 토픽 모델링, 문서 분류·군집을 한다. 관계 데이터는 사회연결망 분석으로 노드(사람)와 링크(관계)의 구조와 중심성을 본다.
비유로 이해하기
손편지 천 통을 분석한다면, 먼저 낱말 카드로 오려 내고(토큰화) '그리고·그래서' 카드는 버린 뒤(불용어 제거), 편지마다 어떤 카드가 몇 장 있는지 표로 만든다(문서-단어 행렬). 모든 편지에 다 있는 카드보다 이 편지에만 많은 카드가 그 편지의 특징이다(TF-IDF).
자세히
텍스트 전처리
| 단계 | 하는 일 | 예 |
|---|---|---|
| 정제 | 특수문자·HTML 태그·이모지 등 분석에 쓸모없는 것 제거 | <br>, ㅋㅋㅋ 제거 |
| 토큰화 | 문장을 단어·형태소 단위로 나눔 | '배송이 빨라요' → 배송, 이, 빠르, 아요 |
| 불용어 제거 | 자주 나오지만 의미가 적은 말 빼기 | 조사, 접속사, the, a |
| 어간 추출 | 규칙으로 접사를 잘라 어간만 | running → run |
| 표제어 추출 | 사전형(기본형)으로 바꿈 | was → be, 빨라요 → 빠르다 |
| 품사 태깅 | 단어마다 품사를 붙임 (한국어는 형태소 분석기) | 배송/명사, 빠르/형용사 |
단어를 숫자로
| 방법 | 뜻 | 특징 |
|---|---|---|
| BoW (단어 가방) | 순서는 버리고 단어별 등장 횟수만 | 단순하지만 순서·뜻을 모름 |
| 문서-단어 행렬 | 행은 문서, 열은 단어, 값은 빈도 | 대부분 0 인 희소 행렬 |
| TF-IDF | TF(문서 안 빈도) × IDF(log(전체 문서 수 ÷ 그 단어가 나온 문서 수)) | 흔한 단어는 낮게, 특징 단어는 높게 |
| 워드 임베딩 | 단어를 뜻이 비슷하면 가까운 벡터로 | Word2Vec(CBOW·Skip-gram), GloVe, FastText |
분석 기법
| 기법 | 하는 일 |
|---|---|
| 감성 분석 (오피니언 마이닝) | 리뷰·SNS 글의 긍정·부정·중립을 판별. 감성 사전이나 분류 모형 |
| 토픽 모델링 | 문서 묶음에 숨은 주제를 찾음. 대표가 LDA(잠재 디리클레 할당) |
| 문서 분류·군집 | 스팸 분류, 뉴스 범주 분류, 비슷한 문서 묶기 |
| 개체명 인식 | 사람·장소·기관 이름 같은 고유명을 찾아 표시 |
사회연결망 분석
| 중심성 | 높은 노드는 | 계산 바탕 |
|---|---|---|
| 연결 정도 중심성 | 직접 연결된 이웃이 많다 | 연결된 링크 수 |
| 근접 중심성 | 모든 노드에 가까워 정보를 빨리 퍼뜨린다 | 다른 노드까지 거리 합의 역수 |
| 매개 중심성 | 다른 노드들 사이 최단 경로에 자주 놓여 다리 역할을 한다 | 최단 경로 중 그 노드를 지나는 비율 |
| 위세 중심성 | 중요한 노드와 연결되어 있다 | 연결된 노드들의 중심성 (고유벡터) |
네트워크 전체의 촘촘함은 밀도(실제 링크 수 ÷ 가능한 링크 수)로 본다.
시험에 이렇게 나와요
- 전처리 순서: 정제 → 토큰화 → 불용어 제거 → 어간·표제어 추출
- 어간 추출(규칙으로 자름) vs 표제어 추출(사전형으로)
- TF-IDF: 흔한 단어 ↓, 특징 단어 ↑
- Word2Vec: CBOW(주변 → 가운데), Skip-gram(가운데 → 주변)
- 토픽 모델링 LDA, 감성 분석 = 오피니언 마이닝
- 중심성 넷: 연결 정도·근접·매개·위세
출제기준 3과목 '비정형 데이터 분석'
확인 문제
Q1. 모든 문서에 다 나오는 '그리고' 같은 단어의 가중치를 낮추고, 특정 문서에만 많이 나오는 단어의 가중치를 높이는 방법은?
- 원-핫 인코딩
- TF-IDF
- 주성분분석
- 최소-최대 정규화
정답 보기
2번 TF-IDF
TF-IDF 는 문서 안 빈도(TF)에, 그 단어가 나온 문서가 적을수록 커지는 역문서 빈도(IDF)를 곱한다.
Q2. 사회연결망에서 다른 노드들 사이 최단 경로에 자주 놓여 '다리' 역할을 하는 정도는?
- 근접 중심성
- 연결 정도 중심성
- 밀도
- 매개 중심성
정답 보기
4번 매개 중심성
최단 경로 위에 놓이는 비율이 매개 중심성이다.
Q3. 'was' 를 사전형 'be' 로 바꾸는 처리는?
- 불용어 제거
- 토큰화
- 표제어 추출
- 어간 추출
정답 보기
3번 표제어 추출
문법 규칙과 사전을 써 기본형으로 바꾸는 것이 표제어 추출이다.
Q4. 문서 묶음에서 숨은 주제를 확률적으로 찾는 대표 기법은?
- ARIMA
- k-NN
- 주성분 회귀
- LDA (잠재 디리클레 할당)
정답 보기
4번 LDA (잠재 디리클레 할당)
토픽 모델링의 대표가 LDA 다.
Q5. 단어의 순서는 무시하고 등장 횟수만 세는 표현 방법은?
- Word2Vec
- LSTM
- BoW
- 어텐션
정답 보기
3번 BoW
단어 가방(Bag of Words)이다.
Q6. Word2Vec 에서 주변 단어로 가운데 단어를 예측하는 방식은?
- TF-IDF
- Skip-gram
- CBOW
- BoW
정답 보기
3번 CBOW
CBOW 는 주변 → 가운데, Skip-gram 은 가운데 → 주변이다.
헷갈리기 쉬운 O·X
TF-IDF 는 모든 문서에 공통으로 많이 나오는 단어일수록 가중치를 높인다.
정답 보기
X 많은 문서에 나오는 단어는 IDF 가 작아 가중치가 낮다.
근접 중심성이 높은 노드는 다른 노드들과의 거리가 가깝다.
정답 보기
O
감성 분석은 문서의 숨은 주제를 찾는 기법이다.
정답 보기
X 주제는 토픽 모델링, 감성 분석은 긍정·부정을 판별한다.