고급 데이터 탐색: 시공간·다변량·비정형
쉽게 말하면
변수가 한두 개면 히스토그램과 산점도로 충분하지만, 날짜와 장소가 붙은 데이터, 변수가 열 개 넘는 데이터, 글로 된 데이터는 다른 도구가 필요해요. 시간에 따른 변화는 선 그래프로, 장소는 지도 색칠로, 여러 변수는 산점도를 한꺼번에 깔아 놓고, 글은 단어를 세어 봐요.
시험용 정의
고급 데이터 탐색은 기본 통계량과 단변량 그래프만으로 보기 어려운 데이터를 살피는 일이다. 시공간 데이터는 시간 정보(날짜·시각)와 공간 정보(좌표·행정 구역)를 함께 가진 데이터로, 시간 축의 추세·계절성과 지도 위의 분포(코로플레스 지도, 버블 지도)를 본다. 다변량 데이터는 변수가 여러 개인 데이터로, 산점도 행렬, 평행 좌표 그래프, 상관 히트맵, 주성분분석 점수 그림으로 여러 변수의 관계와 군집을 본다. 비정형 데이터(텍스트·이미지)는 토큰화·형태소 분석으로 단어를 뽑아 빈도·동시 출현을 세고 워드 클라우드로 훑는다.
비유로 이해하기
탐정이 사건 현장을 볼 때 '언제'(시간 축), '어디서'(지도), '누가 누구와'(여러 변수의 관계), '무슨 말을 남겼나'(텍스트)를 모두 살펴야 가설을 세울 수 있다. 결론을 내기 전에 현장을 넓게 훑는 것이 탐색이다.
자세히
시공간 데이터 탐색
| 무엇 | 도구 | 보는 것 |
|---|---|---|
| 시간 | 선 그래프, 이동 평균, 계절 분해 | 추세, 계절성, 주기, 급변 시점 |
| 공간 | 코로플레스 지도(구역 색칠), 버블 지도, 히트맵 지도 | 지역별 차이, 밀집 지역 |
| 시간 + 공간 | 시점별 지도, 애니메이션 | 확산·이동 경로 |
좌표는 같은 좌표계(위경도 등)로 맞추고, 행정 구역 이름은 코드로 통일해야 합칠 수 있다. 시간은 시간대(표준시)와 형식을 맞춘다.
다변량 데이터 탐색
| 그림 | 보는 것 |
|---|---|
| 산점도 행렬 | 모든 변수 쌍의 관계와 이상값 |
| 상관 히트맵 | 상관계수를 색으로, 서로 강하게 얽힌 변수 묶음 |
| 평행 좌표 그래프 | 변수마다 세로축 하나, 관측값을 선으로 이어 패턴·군집 |
| 주성분 점수 그림 | 변수를 두세 개 축으로 줄여 관측값의 분포 |
| 스타 차트·체르노프 얼굴 | 관측값 하나의 여러 변수 값을 한 모양으로 |
비정형 데이터 탐색
- 텍스트: 정제(특수문자·불용어 제거) → 토큰화(단어·형태소 단위로 나눔) → 단어 빈도, n-gram, 동시 출현 → 워드 클라우드, 빈도 막대그래프
- 이미지: 크기·밝기·색 분포, 레이블별 예시 표본을 눈으로 확인
- 탐색으로 '불만 글에 배송이라는 말이 많다' 같은 가설을 세우고, 모델링에서 확인한다
탐색적 자료 분석의 자세
존 튜키가 제안한 탐색적 자료 분석(EDA)은 정해진 가설을 검증하기 전에 그래프와 요약으로 데이터를 보며 구조를 찾는 방법이다. 이상값에 덜 흔들리는 저항성, 모형과 실제의 차이인 잔차 살피기, 보기 좋게 바꾸는 재표현, 그림으로 보여 주는 현시성(그래프화)을 네 가지 주제로 든다.
시험에 이렇게 나와요
- 시공간: 시간 축(추세·계절) + 공간(코로플레스·버블 지도)
- 다변량: 산점도 행렬, 상관 히트맵, 평행 좌표, 주성분 점수
- 텍스트: 토큰화 → 빈도·동시 출현 → 워드 클라우드
- EDA 4주제: 저항성·잔차·재표현·현시성
출제기준 2과목 '시공간·다변량·비정형 데이터 탐색, 탐색 개요'
확인 문제
Q1. 변수 6개의 짝마다 산점도를 바둑판처럼 한꺼번에 그려 관계를 훑는 그림은?
- 워드 클라우드
- 산점도 행렬
- 상자그림
- 파이 차트
정답 보기
2번 산점도 행렬
모든 변수 쌍의 산점도를 격자로 늘어놓은 것이 산점도 행렬이다.
Q2. 행정 구역마다 값의 크기에 따라 색을 칠한 지도는?
- 산점도 행렬
- 평행 좌표 그래프
- 코로플레스 지도
- 상자그림
정답 보기
3번 코로플레스 지도
구역 색칠 지도가 코로플레스 지도다.
Q3. 변수마다 세로축을 하나씩 세우고 관측값을 선으로 이어 패턴을 보는 그림은?
- 파이 차트
- 히스토그램
- 워드 클라우드
- 평행 좌표 그래프
정답 보기
4번 평행 좌표 그래프
평행 좌표 그래프는 여러 변수의 패턴과 군집을 한 번에 본다.
Q4. 텍스트를 단어·형태소 단위로 나누는 작업은?
- 토큰화
- 표준화
- 구간화
- 평활화
정답 보기
1번 토큰화
토큰화다. 문장을 단어나 형태소 같은 단위로 쪼갠 뒤 빈도를 센다. 표준화는 값의 척도를 맞추고, 구간화는 연속값을 구간으로 나누는 작업이다.
Q5. 탐색적 자료 분석(EDA)의 네 가지 주제가 아닌 것은?
- 재표현
- 잔차
- 유의성
- 저항성
정답 보기
3번 유의성
네 주제는 저항성·잔차·재표현·현시성이다.
헷갈리기 쉬운 O·X
탐색적 자료 분석은 미리 세운 가설을 검정하는 것이 주목적이다.
정답 보기
X EDA 는 데이터를 보며 가설을 만드는 단계다. 검정은 확증적 분석에서 한다.
산점도 행렬은 여러 변수 쌍의 관계를 한 번에 볼 수 있다.
정답 보기
O
공간 데이터를 합칠 때 좌표계가 달라도 그대로 겹치면 된다.
정답 보기
X 같은 좌표계로 맞춰야 위치가 맞는다.