1. 통계학이란 산술적 방법을 기초로 하여 주로 다량의 데이터를 관찰하고 정리 및 분석하는 수학의 한 분야이다. 기술통계학이란 데이터를 수집하고 수집된 데이터를 쉽게 이해하고 설명할 수 있도록 정리 요약 설명하는 방법론이다. 추론통계학이란 모집단으로부터 추출한 표본 데이터를 분석하여 모집단의 여러가지 특성을 추론하는 방법론이다.
2. 변수(Variable)이란, 수학적으로 어떤 정해지지 않은 임의의 값을 표현하기 위해 사용된 '기호'이다. 통계학적으로는, 조사 목적에 따라 관측된 자료값을 일컫는다. 해당 변수에 대하여 관측된 값들이 바로 자료(Data)가 된다.
3. 질적 자료란, 숫자의 크기가 의미가 없는 경우를 의미한다. 명목형 데이터란 관측된 데이터가 성별/주소지(시군구)/업종 등과 같이 몇 개의 범주로 구분지을 수 있는 경우를 의미한다. 순서형 데이터란 숫자가 순서를 구분하기 위하여 사용되는 경우를 의미한다. 예를 들어, 성별 데이터 구분 시 1은 남자, 2는 여자로 표현 가능하나, 여기서 1과 2는 숫자의 의미가 없다.(교육 수준, 건강 상태 등도 순서형 데이터의 경우에 해당된다.)
4. 양적 자료란, 관측된 데이터가 숫자의 형태로 숫자의 크기가 의미를 갖고 있는 경우를 의미한다. 숫자를 표현할 때는 이산형 데이터와 연속형 데이터로 구분할 수 있다.
5. 데이터를 분석하는 방법으로 가장 많이 사용되는 분석 방법을 EDA(Explatory Data Analysis)라고 한다. EDA는 도표, 그래프, 요약 통계 등을 사용하여 데이터를 체계적으로 분석하는 하나의 방법이다.
EDA의 목적
1. 데이터 분석 프로젝트 초기에 가설을 수립하기 위해 사용
2. 데이터 분석 프로젝트 초기에, 적절한 모델 및 기법의 선정
3. 변수 간 트렌드, 패턴, 관계 등을 찾고 통계적 추론을 기반으로 가정을 평가
4. 분석 데이터에 적절한가 평가, 추가 수집, 이상치 발견 등에 활용
6. 데이터 시각화(Data Visualization)는 데이터 분석 결과를 쉽게 이해할 수 있도록 시각적으로 표현하고 전달되는 과정을 말한다. 데이터 시각화의 목적이란 도표(graph)라는 수단을 통해 정보를 명확하고 효과적으로 전달하는 것이다.
7. 기초 통계량은 통계량(statistic)을 표본으로 산출한 값으로, 기술통계량이라고도 표현한다. 통계량을 통해 데이터(표본)가 갖는 특성을 이해할 수 있다.
8. 중심 경향치란 표본의 중심을 설명하는 값으로, 대표값이라고도 한다. 대표적인 중심 경향치는 평균이며, 중앙값, 최빈값, 절사 평균 등이 있다.
9. 평균은 모집단으로부터 관측된 n개의 x가 주어졌을 때 아래와 같이 정의된다.
10. 중앙값(median)은 평균과 같이 가장 자주 사용하는 값으로, 표본으로부터 관측치를 크기순으로 나열했을 때 가운데 위치하는 값을 의미한다. 관측치가 홀수일 경우 중앙에 있는 값, 짝수일 경우 가운데 두개의 값을 산술평균한 결과이다. 이상치가 포함된 데이터에 사용한다.
11. 최빈값(mode)은 관측치 중에서 가장 자주 관측되는 값이다. 옷 사이즈와 같이 명목형 데이터의 경우 사용된다.
12. 산포도란 데이터가 어떻게 흩어져 있는지를 나타내는 도표이다. 중심경향치와 함께 산포에 대한 측도를 고려해야 하며, 측도로는 범위, 사분위수, 분산, 표준편차, 변동 계수 등이 있다.
13. 범위(Range)란 데이터의 최소값과 최대값의 차이를 의미한다.
14. 사분위수(quartile)란 전체 데이터를 오름차순으로 정렬하여 4등분하였을 때, 첫 번째를 제1사분위수(Q1), 두 번째를 제2사분위수(Q2), ...으로 표현한다.
15. 백분위수(percentile)란 전체 데이터를 오름차순으로 정렬하여 주어진 비율에 의해 등분한 값을 말하며, 제p백분위수는 p%에 위치한 자료값을 말한다. 데이터를 오름차수로 배열하고 자료가 n개 있을 때, 제 (100*p) 백분위수는 아래와 같다.
16. 분산(variance)이란 데이터의 분포가 얼마나 흩어져 있는지를 알 수 있는 척도이다. 데이터 각각의 값들의 편차 제곱합으로 계산하며 수식은 아래와 같다.
17. 표준 편차(standard deviataion)란 분산의 제곱근으로 정의하며 수식은 아래와 같다.
18. 분산이란 크기가 N인 모집단의 평균으로 모분산과 모표준편차는 다음과 같다.
19. 변동계수(Coefficient of Variation: CV)란 평균이 다른 두 개 이상의 그룹의 표준편차를 비교할 때 사용한다. 변동계수는 표준편차를 평균으로 나누어서 산출하여 조건이나 단위에 상관 없이 서로 다른 그룹의 산포를 비교하며 실제 분석에서 자주 사용한다.
20. 왜도(skew)란 자료의 분포가 얼마나 비대칭적인지 표현하는 지표이다. 왜도가 0이면 좌우대칭, 양수일수록 우측꼬리가 길고, 음수일수록 좌측꼬리가 길게 나타난다.
21. 첨도(kurtosis)란 확률분포의 꼬리가 두꺼운 정도를 나타내는 척도이다. 첨도값(K)이 3에 가까우면 산포도가 정규분포에 가깝다. 3보다 작을 경우에는(K<3) 산포는 정규분포보다 꼬리가 얇은 분포로 나타난다. 첨도값이 3보다 큰 양수이면 정규분포보다 꼬리가 두꺼운 분포로 판단한다.
'자료구조와 알고리즘, 수학, 통계학 > 통계학' 카테고리의 다른 글
| 02. 확률, 확률변수+공분산 (1) | 2024.07.07 |
|---|