ADsP (데이터분석 준전문가) 개념 정리
한국데이터산업진흥원 · 개념 44개
데이터 이해
데이터의 이해
데이터의 가치와 미래
- 빅데이터의 정의와 변화빅데이터는 기존 방법으로는 저장하고 분석하기 벅찰 만큼 크고, 종류가 많고, 빨리 쌓이는 데이터예요. 이 데이터 덕분에…
- 빅데이터의 가치와 활용 기법빅데이터로 할 수 있는 일을 일곱 가지 기법으로 정리해요. '이거 산 사람이 저것도 사나?'는 연관 규칙, '이 고객은…
- 빅데이터의 위기 요인과 통제빅데이터에는 세 가지 위험이 있어요. 내 정보가 처음 목적과 다르게 쓰이는 것(사생활 침해), 아직 하지도 않은 일로…
데이터 사이언스와 전략 인사이트
데이터분석 기획
데이터분석 기획의 이해
분석 마스터 플랜
- 마스터 플랜과 과제 우선순위분석할 과제가 여러 개면 무엇부터 할지 정해야 해요. 지금 당장 필요하고(시급성) 쉽게 할 수 있는(난이도) 과제부터…
- 분석 성숙도와 분석 준비도회사의 분석 실력을 두 가지로 재요. 분석할 준비가 얼마나 됐나(준비도)와 실제로 얼마나 잘 쓰고 있나(성숙도)예요.…
- 분석 거버넌스와 조직 구조분석을 회사에 뿌리내리게 하려면 사람(조직), 일하는 방식(프로세스), 시스템, 데이터, 교육이 함께 갖춰져야 해요. 분석…
데이터분석
R 기초와 데이터 마트
- R 기초와 출력 읽기R 은 통계 분석용 프로그래밍 언어예요. 숫자 여러 개를 c( ) 로 묶은 것이 벡터, 엑셀 시트처럼 행과 열이 있는 표가…
- 데이터 마트와 요약·파생 변수가게 계산대에는 '누가 언제 얼마를 샀다'는 기록이 한 줄씩 쌓여요. 분석하려면 이걸 고객 한 명당 한 줄로 정리해야…
- 결측값 처리설문지에서 몇 사람이 나이 칸을 비워 두면 그 빈칸이 결측값이에요. 빈칸이 있는 사람을 모두 빼면 간단하지만 남는 사람이…
- 이상값과 상자그림반 학생 몸무게가 대부분 50~70kg 인데 한 명만 120kg 으로 적혀 있으면 눈에 띄죠. 이렇게 다른 값들과 동떨어진…
통계학 개론과 검정
- 통계의 기초: 표본추출과 척도학교 전체 학생의 키를 모두 재기는 힘들어요. 그래서 일부만 뽑아 재고 전체를 짐작해요. 전체가 모집단, 뽑은 일부가…
- 기술통계: 대푯값과 산포도데이터 여러 개를 숫자 한두 개로 요약하는 게 기술통계예요. '가운데가 어디냐'를 보여 주는 대푯값(평균, 중앙값,…
- 확률과 확률분포확률은 어떤 일이 일어날 가능성을 0에서 1 사이 숫자로 나타낸 거예요. 주사위를 아주 많이 던지면 평균적으로 나오는 값이…
- 표본분포와 추정표본을 뽑을 때마다 평균은 조금씩 달라요. 그래도 표본을 많이 모으면 표본평균들은 진짜 평균 근처에 종 모양으로 모여요.…
- 가설검정과 p값새 공부법이 효과가 있는지 보려면 '효과 없다'를 기본으로 두고(귀무가설), 데이터가 그 기본과 얼마나 안 맞는지 봐요.…
- t검정·분산분석·카이제곱·비모수 검정두 반의 평균 점수가 정말 다른지 볼 때 t검정을 써요. 반이 셋 이상이면 분산분석을 써요. 점수가 아니라 '남녀'와…
상관·회귀와 다변량 분석
- 상관분석과 공분산키가 큰 사람이 몸무게도 많이 나가는 경향처럼 두 값이 함께 움직이는 정도를 상관이라고 해요. 상관계수는 -1 에서 1…
- 회귀분석과 결과 해석자동차가 빠를수록 멈추는 데 더 먼 거리가 필요하죠. 이 관계를 '제동 거리 = 절편 + 기울기 × 속도' 같은 직선…
- 변수 선택과 다중공선성회귀식에 변수를 많이 넣는다고 좋은 게 아니에요. 쓸모없는 변수는 빼고 꼭 필요한 것만 남겨야 해석도 쉽고 새 데이터에도…
- 주성분분석(PCA)키, 몸무게, 허리둘레, 팔 길이는 서로 비슷하게 움직여요. 이걸 네 개 따로 보지 않고 '덩치'라는 점수 하나로 묶으면…
- 다차원척도법(MDS)서울, 부산, 광주 사이의 거리표만 있어도 지도를 대충 그릴 수 있죠. 다차원척도법은 거리표로 지도를 그리는 방법이에요.…
시계열 예측
- 시계열 분석매달 매출, 매일 기온처럼 시간 순서대로 쌓인 데이터를 시계열이라 해요. 앞날을 예측하려면 데이터의 성질이 시간이 지나도…
데이터 마이닝 개요와 평가
분류분석
- 로지스틱 회귀합격할까 불합격할까처럼 답이 둘 중 하나인 문제에 쓰는 회귀예요. 일반 회귀식은 값이 마이너스나 1 넘게도 나오니까,…
- 의사결정나무스무고개처럼 질문을 이어 가며 답을 좁히는 모형이에요. '나이 30 이상?' → '소득 5천 이상?' 같은 질문을 따라…
- 앙상블: 배깅·부스팅·랜덤 포레스트어려운 문제는 한 사람보다 여러 사람의 의견을 모으면 더 잘 맞히죠. 앙상블은 모형 여러 개를 만들어 다수결로 답을 정하는…
- 인공신경망뇌의 신경세포처럼 작은 계산 단위(노드)를 여러 층으로 이어 붙인 모형이에요. 각 노드는 들어온 값에 중요도(가중치)를…
- k-NN·SVM·나이브 베이즈새로 전학 온 친구가 어느 동아리에 맞을지 볼 때 가장 비슷한 친구 다섯 명이 어디에 있는지 보는 게 k-NN 이에요.…
군집분석
- 거리와 유사도군집분석은 '가까운 것끼리 묶기'라서 먼저 무엇이 가까운지 정해야 해요. 지도 위 직선 거리가 유클리드, 바둑판 길을 따라…
- 계층적 군집과 덴드로그램반 친구들을 비슷한 사람끼리 묶을 때 가장 닮은 두 명부터 짝을 짓고, 그다음 가까운 짝끼리 다시 묶어 나가는 방식이에요.…
- k-평균과 밀도 기반 군집학생들을 세 모둠으로 나눈다고 해요. 먼저 아무 학생 세 명을 모둠장으로 정하고, 나머지는 가장 가까운 모둠장에게 가요.…
- 혼합분포 군집과 SOM키 데이터를 모아 보니 봉우리가 두 개라면 남자 키 분포와 여자 키 분포가 섞였다고 볼 수 있죠. 혼합분포 군집은 이렇게…
연관분석
- 연관규칙: 지지도·신뢰도·향상도마트 영수증 1000장을 모아 보니 '기저귀를 산 사람은 맥주도 자주 산다' 같은 규칙을 찾는 게 연관분석이에요. 얼마나…