← 발행 | Statistics(원본)

💡 목차

발행


# ... 다른 설정들
cleanUrl: "/Statistics"
floatFirstTOC: left

1부: 기초 통계학

💡

1. 통계학의 개요

https://youtu.be/O49FDLwg5ps?si=IfT6Agc89z1Sf4Cq

1.1 통계학의 정의와 필요성

1.2 기술통계 vs 추론통계

1.3 데이터의 유형

💡

2. 데이터 수집과 정리

중심경향과 산포도 (평균, 중앙값, 표준편차, 사분위수 등) Mean value(평균값)이란? “Mean value(평균값)”는 주어진 데이터 집합에서 각 관측값을 모두 더한 뒤, 관측값의 개수로 나눈 값을 의미합니다. 보통 산술평균(arithmetic mean)이라고도 부릅니다. 데이터의 중심 경향(central tendency)을 나타내는 가장 기본적인 통계량 중 하나입니다. 예시로, 어떤 측정값들이 $x_1, x_2, \ldots, x_n$ 이라고 할 때, 평균값 $\overline{x}$ 는 아래와 같이 정의됩니다:

$\overline{x} = \frac{x_1 + x_2 + \cdots + x_n}{n}$

$x_1, x_2, \ldots, x_n$ : 측정값(또는 데이터 포인트)

$n$ : 전체 관측값의 개수 특징

데이터의 전반적인 수준(중심)을 대표합니다.

극단값(Outlier)에 민감하여, 값이 매우 크거나 작은 자료가 포함될 경우 평균값이 크게 변할 수 있습니다.

Bland-Altman 플롯에서는 보통 두 측정 기법에서 얻은 측정값의 평균(Mean)을 x축에 두고, 두 값의 차이(Difference)를 y축에 둠으로써 두 기법 간의 일치도를 시각화합니다.

데이터 시각화 (도수분포표, 히스토그램, 상자그림 등)

표본 추출 방법 (확률표본, 비확률표본)

💡

3. 확률 이론과 확률분포

확률 개념과 법칙

이산확률분포 (이항분포, 포아송분포)

연속확률분포 (정규분포, t-분포, 카이제곱분포, F-분포)

2부: 추론 통계학

💡

4. 표본추출과 확률표본분포

표본분포의 개념

중심극한정리 (CLT)

모평균과 모비율의 표본분포

💡

5. 점추정과 구간추정

점추정과 불편추정량

신뢰구간의 개념과 계산 (모평균, 모비율, 모분산)

💡

6. 가설검정

가설검정의 개념과 절차1종 오류와 2종 오류

단일 표본 검정 (z-검정, t-검정)

두 표본 비교 (독립표본 t-검정, 대응표본 t-검정)

카이제곱 검정

3부: 회귀 및 분석 기법

💡

7. 상관분석과 단순회귀분석

상관계수의 의미와 해석

단순선형회귀 분석 (회귀계수 추정, 결정계수 R²)

💡

8. 다중회귀분석과 변수선택

다중선형회귀 개념

다중공선성과 진단방법

변수 선택 기법 (전진선택법, 후진제거법, 단계적 선택법)

💡

9. 분산분석 (ANOVA)

일원배치 분산분석

이원배치 분산분석

다중비교 검정 (Tukey, Bonferroni 등)

4부: 고급 통계 기법 및 응용

💡

10. 비모수 통계 기법

순위검정 (Wilcoxon, Mann-Whitney U)

크루스칼-왈리스 검정

💡

11. 베이지안 통계학 개론

베이즈 정리

사전확률과 사후확률

💡

12. 시계열 분석

이동평균법

자기회귀 모델 (AR, MA, ARIMA)

💡

13. 기계학습과 통계학의 연결

로지스틱 회귀

의사결정나무, 랜덤포레스트

딥러닝 개요

5부: 실전 데이터 분석과 통계 소프트웨어 활용

💡

14. 데이터 분석 과정과 실전 사례

데이터 전처리 및 탐색적 데이터 분석 (EDA)

사례 연구: 금융 데이터, 의료 데이터, 공장 품질 관리 데이터

Descriptive statistics and inferential statistics
Level of measurment
Sampling
Location parameter
Dispersion parameter
Frequency table
Contingency table
Charts.
Inferential Statistics 9.5 Hypothesis Testing 9.6 The p-value
Checking assumptions of statistical tests
Statistical tests for differences
Frequency analysis
Statistical tests to test for differences in more than two groups
Statistical methods for testing correlations
Regression analysis

💡 **Location parameter **

Location parameter는 확률분포나 데이터 집합에서 “중심” 혹은 “대표적인 위치”를 나타내는 값입니다.

영어권에서는 흔히 ‘location parameter’ 혹은 ‘central tendency parameter’라고 부르기도 합니다.

4.1 평균(mean) Mean value(평균값)이란? “Mean value(평균값)”는 주어진 데이터 집합에서 각 관측값을 모두 더한 뒤, 관측값의 개수로 나눈 값을 의미합니다. 보통 산술평균(arithmetic mean)이라고도 부릅니다. 데이터의 중심 경향(central tendency)을 나타내는 가장 기본적인 통계량 중 하나입니다. 예시로, 어떤 측정값들이 $x_1, x_2, \ldots, x_n$ 이라고 할 때, 평균값 $\overline{x}$ 는 아래와 같이 정의됩니다:

$\overline{x} = \frac{x_1 + x_2 + \cdots + x_n}{n}$

$x_1, x_2, \ldots, x_n$ : 측정값(또는 데이터 포인트)

$n$ : 전체 관측값의 개수 특징

데이터의 전반적인 수준(중심)을 대표합니다.

극단값(Outlier)에 민감하여, 값이 매우 크거나 작은 자료가 포함될 경우 평균값이 크게 변할 수 있습니다.

Bland-Altman 플롯에서는 보통 두 측정 기법에서 얻은 측정값의 평균(Mean)을 x축에 두고, 두 값의 차이(Difference)를 y축에 둠으로써 두 기법 간의 일치도를 시각화합니다.

4.2 기하평균(Geometric mean) and 제곱평균(quadratic mean) 아래에서는 기하평균(Geometric Mean)과 제곱평균(Quadratic Mean, 또는 Root Mean Square, RMS)에 대해 설명합니다. 각 평균의 정의와 계산식, 그리고 어떤 상황에서 유용한지 간략히 알아봅니다.

1. 기하평균 (Geometric Mean)

1.1 정의

*기하평균(Geometric Mean)**은 주어진 자료들의 곱을 자료의 개수만큼 분할해서 뿌리한(루트를 취한) 값으로, 주로 비율이나 곱셈적 관계가 중요한 상황에서 사용됩니다. 기하평균은 특히 로그 스케일로 해석할 때 의미가 분명해집니다.

예: nn개의 양의 수 x1,x2,…,xnx_1, x_2, \ldots, x_n이 있을 때, 기하평균 GG는 다음과 같이 정의됩니다. G=(∏i=1nxi)1n=(x1×x2×⋯×xn)1/nG = \left(\prod_{i=1}^{n} x_i\right)^{\frac{1}{n}} = (x_1 \times x_2 \times \cdots \times x_n)^{1/n} 모든 xix_i가 0보다 커야(양수여야) 합니다. (0 이하인 경우 기하평균을 정의하거나 해석하기가 곤란함)

1.2 특징 및 예시

비율/성장률 측정 시 유용: 예를 들어, 어느 회사의 연간 성장률이 해마다 10%, 20%, 30%였다고 할 때, 단순 산술평균( 10+20+303=20%\frac{10+20+30}{3} = 20% )으로 성장률을 보는 것보다, 실제 자본의 변화를 반영하려면 기하평균을 사용해야 적절합니다.

로그 변환: 데이터를 로그 스케일로 변환(logarithm)하면 산술평균(arithmetic mean) 형태로 계산할 수도 있습니다. 즉, ln⁡(G)=1n∑i=1nln⁡(xi).\ln(G) = \frac{1}{n}\sum_{i=1}^n \ln(x_i).

극단값(outlier)이나 0이하 값 취급 주의: 0 이하 값에 대해서는 기하평균을 정의하기 어렵고, 극단적으로 작은 값이 포함되어 있으면 기하평균이 매우 작아집니다.

예시 1

어떤 투자 상품의 수익률이 연 10%, 20%, 30%로 3년간 변동했다고 하자(각 연도별로, 원금 대비 1.10배, 1.20배, 1.30배가 됨).

3년 뒤 최종 배수는 (약 1.716배). 1.10×1.20×1.30=1.7161.10 \times 1.20 \times 1.30 = 1.716

이 기간의 기하평균 성장률은

즉, 약 18.87%입니다. (1.716)1/3−1≈0.1887,(1.716)^{1/3} - 1 \approx 0.1887, 이를 산술평균인 20%와 비교해 보면, 실제 복리 효과를 고려했을 때는 18.87%가 더 정확한 연평균 수익률이라고 볼 수 있습니다.

2. 제곱평균 (Quadratic Mean, Root Mean Square)

2.1 정의

제곱평균(Quadratic Mean, QM) 또는 **Root Mean Square (RMS)**는 각 관측값을 제곱하여 평균을 낸 뒤, 다시 제곱근을 취한 값입니다. 분산(Variance)과 표준편차(Standard Deviation) 같은 개념과 관련이 깊어, **값들의 크기(Amplitude)**를 다룰 때 자주 쓰입니다.

nn개의 수 x1,x2,…,xnx_1, x_2, \ldots, x_n에 대해, 제곱평균 QQ (RMS)는 다음과 같이 정의됩니다: Q=x12+x22+⋯+xn2n=1n∑i=1nxi2Q = \sqrt{\frac{x_1^2 + x_2^2 + \cdots + x_n^2}{n}} = \sqrt{\frac{1}{n}\sum_{i=1}^{n} x_i^2}

2.2 특징 및 예시

진폭(Amplitude)이나 파형 신호를 다룰 때, 예를 들면 전기 공학에서 교류 전압/전류의 대표값을 구하거나, 신호처리에서 노이즈 크기를 평가할 때 자주 사용합니다.

값의 부호가 상쇄되지 않습니다. 산술평균과 달리 음수/양수 값이 섞여 있어도, 제곱 후 평균을 내므로 큰 값(절댓값이 큰 값)이 평균에 더 크게 기여합니다.

Arithmetic mean 이상: 제곱 -> 평균 -> 제곱근 순으로 계산하기 때문에, 모든 값이 동일할 때는 산술평균과 같지만, 값이 서로 다를수록 제곱평균이 산술평균보다 커집니다. (일반적으로 이라는 유명한 부등식이 존재합니다.) Quadratic Mean≥Arithmetic Mean≥Geometric Mean≥Harmonic Mean\text{Quadratic Mean} \ge \text{Arithmetic Mean} \ge \text{Geometric Mean} \ge \text{Harmonic Mean}

예시 2

어떤 기기의 측정값이 3, 4, 5 (예: 전류 세기 등)라고 할 때,

산술평균: 3+4+53=4.\frac{3+4+5}{3} = 4.

제곱평균(RMS): 32+42+523=9+16+253=503=16.66…≈4.08.\sqrt{\frac{3^2 + 4^2 + 5^2}{3}} = \sqrt{\frac{9 + 16 + 25}{3}} = \sqrt{\frac{50}{3}} = \sqrt{16.66\ldots} \approx 4.08.

기하평균(참고): 3×4×53=603≈3.91.\sqrt[3]{3 \times 4 \times 5} = \sqrt[3]{60} \approx 3.91. 이 경우, 제곱평균(약 4.08)은 산술평균(4)보다 크고, 기하평균(약 3.91)보다는 더 크다는 것을 확인할 수 있습니다.

3. 요약 및 활용

기하평균(Geometric Mean)

데이터가 모두 양수이며, 곱셈적 관계나 비율이 중요한 상황에서 사용.

로그 변환 시 산술평균으로 계산 가능.

예: 재무(복리 수익률), 생물학적 성장률, 농도 변화율 등.

제곱평균(RMS, Quadratic Mean)

각 값을 제곱해 평균 낸 뒤 루트를 취한 것.

신호나 물리량의 크기(진폭)를 대변하는 대표값으로 자주 쓰임.

음수/양수를 포함해도 되며, 큰 진폭을 가진 값이 평균에 더 크게 기여. 두 평균 모두 특정 상황에서 산술평균보다 더 적절한 대표값을 제시합니다.

기하평균은 곱셈적 증가(복리, 비율)에 관심이 있을 때,

제곱평균은 값의 크기에 특히 민감하고, 음수를 포함하더라도 제곱(제곱평균)은 부호 영향을 없애는 등, 진폭이나 절댓값의 크기를 다룰 때 주로 사용됩니다. 따라서, 목적에 맞게 적절한 평균값(산술평균, 기하평균, 제곱평균, 조화평균 등)을 선택하는 것은 데이터 분석과 신뢰도 높은 해석에 있어 매우 중요합니다.

4.3 중앙값(median)

*중앙값(Median)**은 주어진 데이터(또는 관측값)들을 크기 순서대로 나열했을 때 가장 중앙에 위치하는 값을 말합니다. 이는 극단값(Outlier)에 영향을 덜 받아, 데이터의 분포가 한쪽으로 크게 치우친(왜도가 큰) 경우에도 데이터의 전반적인 중심 위치를 비교적 안정적으로 나타냅니다.

1. 중앙값의 정의

데이터 개수가 홀수(n이 홀수)

데이터를 크기 순으로 나열한 뒤,

n+12\frac{n+1}{2}번째에 위치하는 값이 중앙값이 됩니다. 예)

데이터 가 있다고 할 때, {3,8,12,5,10}\{3, 8, 12, 5, 10\}

크기순으로 정렬하면 . {3,5,8,10,12}\{3, 5, 8, 10, 12\}

n=5(홀수)이므로 번째 값 → 8이 중앙값. 5+12=3\frac{5+1}{2} = 3

데이터 개수가 짝수(n이 짝수)

크기 순으로 나열한 뒤,

중앙에 위치한 두 값의 평균을 중앙값으로 정의합니다. 예)

데이터 가 있을 때, {4,6,9,2}\{4, 6, 9, 2\}

크기순으로 정렬하면 . {2,4,6,9}\{2, 4, 6, 9\}

중앙에 위치하는 2개의 값은 4와 6이며, 두 값의 평균은 . (4+6)/2=5(4 + 6)/2 = 5

따라서 중앙값은 5입니다.

2. 특징과 활용

극단값(outlier)에 대한 견고성(Robustness)

산술평균은 한두 개의 극단값에 의해 크게 변화하지만, 중앙값은 데이터의 순서만 보고 결정되므로 상대적으로 영향을 덜 받습니다.

왜도(Skewness)가 큰 분포

분포가 한쪽으로 치우쳐 있거나, 한쪽 꼬리가 긴(오른꼬리/왼꼬리) 경우 산술평균보다 중앙값이 전반적인 위치를 더 잘 대표할 수 있습니다.

서열 척도(Ordinal scale)

명확한 간격(Interval)이 없는 순위 데이터(예: 만족도 조사 결과: 1=매우 불만족, 2=불만족, 3=보통, 4=만족, 5=매우 만족)에도 중앙값을 구해 가장 중앙에 있는 범주를 파악할 수 있습니다(단, 단순 계산에 주의가 필요).

통계적 추정

통계학에서 샘플의 중앙값은 모집단 중앙값에 대한 추정치로 사용되며, 모집단 분포가 정규분포가 아닐 때도 유용합니다.

3. 예시

연봉 데이터: 회사의 모든 직원 연봉을 한꺼번에 봤을 때, 몇몇 고액 연봉자의 존재로 인해 평균이 크게 왜곡될 수 있습니다. 이때, ‘모든 직원의 전반적인 연봉 수준’을 파악하고자 할 때에는 중앙값이 평균보다 실질적인 분포를 더 잘 보여줄 수 있습니다.

집값: 특정 지역 주택 매매가를 살펴볼 때, 고가 주택 몇 채로 인해 평균 매매가가 지나치게 높아진다면, 지역의 전반적 주택 가격 수준을 파악하기가 어렵습니다. 이런 경우에는 중앙값을 주택 가격의 대표값으로 사용하는 편이 더 적절합니다.

4. 중앙값과 다른 통계량 비교

평균(Mean): 모든 데이터 값을 더한 뒤 개수로 나눈 값. 데이터 전반을 반영하지만, 극단값에 민감.

최빈값(Mode): 가장 자주 등장하는 값. 범주형 데이터에서 자주 활용.

중앙값(Median): 중앙 위치에 있는 값으로, 극단값에 둔감하고 왜도 분포에도 안정적. 상황과 데이터의 특성을 고려하여, 평균과 중앙값(또는 다른 통계량들)을 함께 비교하면 자료가 어떤 식으로 퍼져 있는지, 또 극단값이 얼마나 영향을 주는지를 더 잘 파악할 수 있습니다.

한눈 요약

정의: 나열된 데이터의 한가운데 값(짝수 개일 경우는 중앙 두 값의 평균).

장점: 극단값의 영향을 비교적 적게 받음. 왜도 높은 분포에서 중심 경향을 나타내기 좋음.

활용 분야: 연봉, 주택 가격, 순위/서열 데이터 등. 결론적으로, 중앙값은 데이터의 전반적인 위치를 나타내는 지표로, 극단값이 포함된 분포에서 유용하게 쓰입니다.

4.5 최빈값(mode)

*최빈값(Mode, Modal value)**은 어떤 자료나 표본에서 가장 자주 등장하는 값을 의미합니다. 이는 범주형 데이터나 정수형 데이터에서 특히 유용하게 쓰이는 대표값입니다. 예를 들어, 설문 조사에서 ‘가장 많이 응답된 항목’이나, 어떤 변수값이 몇 번 나타났는지를 셀 때, 가장 빈도가 높은 값(범주)이 최빈값이 됩니다.

1. 정의

최빈값(Mode): 자료에서 빈도수가 가장 높은(가장 많이 반복되는) 값 혹은 범주(category).

범주형 자료에서는 특정 범주가 다른 범주보다 많이 관찰되면 그 범주가 최빈값이 됨.

수치형 자료에서도 어떤 구간 또는 특정 숫자가 다른 값보다 많이 나타나면 그 값이 최빈값.

여러 최빈값이 존재할 수 있음

단봉분포(unimodal): 최빈값이 하나인 경우.

이봉분포(bimodal): 최빈값이 두 개인 경우. 예를 들어, 시험 점수가 70점, 90점에 모두 빈도가 최대치로 나타났다면 최빈값이 70과 90 두 개 존재.

다봉분포(multimodal): 세 개 이상 최빈값이 있을 수도 있음.

2. 예시

범주형 데이터(설문 응답)

예) “가장 선호하는 과일이 무엇인가?”라는 질문에서, 응답 중 사과(Apple)가 30회, 바나나(Banana)가 25회, 딸기(Strawberry)가 30회, 오렌지(Orange)가 10회 나왔다고 하자. 이 경우 사과와 딸기가 동일하게 30회로 최빈값이 되고, 이 자료는 이봉분포(bimodal)가 됨.

수치형 데이터(시험 점수)

예) 학생 10명의 점수가 라면, {60,70,70,80,85,85,85,90,90,95}\{60, 70, 70, 80, 85, 85, 85, 90, 90, 95\}

70점이 2회, 85점이 3회, 90점이 2회 등장한다.

빈도수가 가장 높은 점수는 85점(3회) → 최빈값은 85.

3. 평균(Mean), 중앙값(Median)과의 비교

평균(Mean): 모든 자료의 합을 데이터 개수로 나눈 값. 극단값(outlier)에 민감.

중앙값(Median): 데이터를 크기순으로 나열했을 때 중앙에 위치하는 값. 극단값에 비교적 둔감.

최빈값(Mode): 가장 많이 나타난 값. 범주형 자료나 특정 값의 빈도 파악에 유용. 세 가지 대표값 중, 최빈값은 **“자료에서 가장 많이 관측되는 값”**이라는 측면에서 의미가 있지만, 극단값에 직접적 영향을 받지 않을 뿐더러, 분포 전체의 퍼짐(산포)을 알기에는 한계가 있습니다. 또한 수치형 자료가 연속적(discrete가 아닌 continuous)인 경우, 정확한 최빈값을 찾기 위해 히스토그램 구간 설정 등 추가 작업이 필요할 수 있습니다.

4. 활용

범주형 데이터(질적 자료)

설문조사 응답 등에서 어떤 항목이 가장 많이 선택되었는지 파악할 때 최빈값이 가장 직관적 지표가 됨.

제품 색상 선호도, 사이즈 선호도

어떤 색상(또는 사이즈)이 가장 많이 판매되었는지, 고객 선호가 어디에 집중되는지 알아볼 때.

의류·신발 사이즈 예측

재고를 어느 사이즈에 집중해야 할지 결정하려면, 가장 많이 팔리는 사이즈(최빈값)를 확인.

소비자 행동 분석

쇼핑몰 구매 데이터에서 특정 가격대 혹은 특정 제품 종류가 가장 많이 판매되는지 볼 때 최빈값을 고려할 수 있음.

5. 결론

정의: 데이터 중 가장 높은 빈도를 가진 값이 최빈값(Mode).

장점: 범주형 데이터 분석 시 매우 직관적인 지표. 극단값의 영향을 크게 받지 않음.

단점: 분포 전반의 수준이나 퍼짐을 알기는 어려우며, 최빈값이 여러 개인 경우도 있어 해석에 유의해야 함.

활용: 설문 응답, 구매 패턴, 생산 공정에서의 가장 흔한 결함 유형 식별 등. 최빈값은 종종 평균·중앙값과 함께 제시되어, 분포의 형태(단봉, 이봉, 다봉 등)를 파악하거나, 범주형/이산형 자료에서 대표값으로 사용됩니다.

4.4 Mean and median in comparison 아래에서는 **평균(Mean)**과 **중앙값(Median)**을 비교하여 정리합니다. 두 대표값은 각각 다른 특성과 강점을 가지므로, 데이터의 특징(분포, 극단값 존재 여부 등)에 따라 적절한 지표를 선택해야 합니다.

1. 정의 요약

평균(Mean)

주어진 데이터 값들을 모두 합한 뒤, 데이터 개수로 나눈 값.

$\overline{x} = \frac{x_1 + x_2 + \cdots + x_n}{n}$

모든 데이터 값을 고루 반영한다는 장점이 있지만, 극단값(Outlier)에 매우 민감함.

중앙값(Median)

데이터를 크기순으로 나열했을 때 가장 중앙에 위치하는 값(짝수 개일 때는 중앙 두 값의 평균).

극단값에 덜 민감하며, 왜도가 큰 분포에서도 중심 경향을 보다 안정적으로 나타냄.

2. 주요 차이점

구분 평균(Mean) 중앙값(Median)
정의 모든 데이터의 합 / 데이터 개수 정렬된 데이터에서 가운데 위치(짝수인 경우는 중앙 두 값의 평균)
극단값에 대한 민감도 매우 민감 비교적 둔감
분포 형태 분포가 대체로 대칭적일 때 적합 (정규 분포 등) 분포가 한쪽으로 치우쳤을 때(왜도) 더 안정적
데이터 유형 연속형, 간격이 명확한 데이터에서 주로 사용 서열 데이터(순위)에도 적용 가능
(명목형X, 순위 혹은 연속형O)
해석 모든 값을 골고루 반영한 대표 수치 분포상의 가운데 지점을 나타내는 대표 수치

3. 예시로 보는 활용

연봉/소득 데이터

대기업 CEO나 소수의 고소득자가 있으면 평균이 크게 치우쳐질 수 있음.

중앙값을 보면 전체 구성원의 전반적인 소득 수준을 더욱 현실적으로 파악 가능.

주택 가격

특정 지역의 초고가 주택이 평균 집값을 왜곡할 수 있음.

중앙값을 사용하면 일반적인 주택 가격 분포를 좀 더 잘 보여줌.

시험 점수

시험 점수가 대체로 정규 분포(대칭) 형태라면 평균이 대표값으로 적절.

만약 일부 학생의 점수가 매우 낮거나 매우 높은 경우, 그 영향이 커지므로 중앙값도 함께 살펴보면 좋음.

4. 선택 가이드

분포가 대칭적이고 극단값이 적을 때:

*평균(Mean)**이 전반적인 데이터를 잘 대변.

예) 정규 분포에 가까운 실험 데이터, 제조 공정 품질 관리 등.

분포가 한쪽으로 치우치거나, 극단값이 많을 때:

*중앙값(Median)**이 더 신뢰도 높은 ‘중심’을 제공.

예) 가구 소득, 집값, 의료비 지출 등.

가능하다면 둘 다 제시:

평균과 중앙값을 모두 보고, 분포가 얼마나 치우쳐 있는지(왜도 확인) 추가적으로 판단할 수 있음.

5. 결론

평균은 모든 데이터 값을 균등하게 반영하지만, 극단값에 취약합니다.

중앙값은 극단값의 영향이 적어, 데이터가 치우쳐 있거나 잡음이 클 때도 비교적 안정적으로 분포의 ‘중심’을 보여줍니다.

데이터 분석에서는 단순히 평균 하나만 보는 것이 아니라, 중앙값과 함께 확인하거나, 나아가 최빈값(Mode), 분산(Variance), 사분위수(Quantile) 등을 종합적으로 살펴보는 것이 중요합니다. 둘 중 하나를 고를 때는, 데이터가 가지는 분포적 특성과 분석 목적을 명확히 고려해야 합니다.

4.6 Advantage and disadvantage of the Mean, Median and Mode 데이터 분포의 특성(대칭성, 이상값 여부, 자료 유형 등)에 따라 세 지표 중 어떤 것을 사용하는지가 달라질 수 있습니다.

1. 평균(Mean)

1.1 장점

모든 데이터 포인트를 활용: 값들을 전부 더한 후 개수로 나누기 때문에, 자료 전체의 정보를 한꺼번에 반영합니다.

수학적 접근 용이: 분산(Variance), 표준편차(Standard Deviation) 등 다양한 통계 분석(회귀, ANOVA 등)에서 평균이 핵심적인 역할을 합니다.

분포가 대체로 대칭적일 때 적합: 정규 분포 등에 가까운 경우, 평균이 분포의 중심을 잘 나타냅니다.

1.2 단점

이상값(Outlier)에 민감: 극단적으로 큰 값이나 작은 값이 있으면 평균이 크게 왜곡될 수 있습니다.

왜도가 큰 분포에 취약: 한쪽으로 치우친 분포에서는 평균이 전형적인 값이라 보기 어려워질 수 있습니다.

순서형(Ordinal)·범주형 자료에는 부적합: 평균은 연속형(Interval/Ratio Scale) 자료에서만 의미가 명확합니다.

2. 중앙값(Median)

2.1 장점

이상값에 둔감: 중앙값은 순서상 중간 위치에 해당하는 값이므로, 몇몇 극단값이 있어도 크게 영향을 받지 않습니다.

왜도(Skew)가 큰 분포에서 유리: 소득, 주택가격처럼 한쪽으로 많이 치우친 자료를 대표하는 데 적합합니다.

순서형 자료에도 적용 가능: 예를 들어, 리커트 척도(1~5점)처럼 ‘서열’만 의미 있는 경우에도 중앙값은 유용합니다.

2.2 단점

자료 세부 정보 활용 부족: 정렬된 순서만 중요하므로, 각각의 실제 값(크기 차이 등)을 적극적으로 활용하지 못합니다.

수학적 계산(추론) 측면에서 덜 편리: 많은 통계 기법(예: ANOVA, 회귀)은 평균 기반으로 설계되어 있습니다.

표본 크기가 작고 중복값이 많으면 해석 어려움: 데이터가 적거나 같은 값이 중간에 여러 개 있으면 중앙값 결정이 애매해질 수 있습니다.

3. 최빈값(Mode)

3.1 장점

범주형 자료(명목척도)에 직관적: 가장 많이 출현하는 범주가 무엇인지 즉시 확인 가능.

이상값의 영향 없음: 최빈값은 빈도만 기준으로 결정되므로, 극단적으로 큰 값이나 작은 값이 있어도 영향을 주지 않습니다.

분포의 봉우리(peak) 파악에 용이: 이봉분포(bimodal), 다봉분포(multimodal)처럼 여러 개의 ‘최빈값’이 있으면, 데이터가 어떤 지점들에서 집중되는지 알려줍니다.

3.2 단점

자료 크기(값의 크기)에 대한 정보 부족: 빈도 이외에 값들의 구체적인 크기나 분포는 충분히 반영되지 않습니다.

복수 개의 최빈값 가능: 데이터 분포에 따라 최빈값이 둘 이상 존재(이봉·다봉)할 수 있어서 해석이 복잡해집니다.

연속형 자료에 적용하기 까다로움: 값이 계속 달라지는 연속형 변수에서는 대부분의 값이 한 번씩만 나올 수 있어, 최빈값 개념이 의미가 약해질 수 있습니다(구간화가 필요).

4. 어떤 상황에 어느 지표를 쓸까?

평균:

분포가 대칭적이고, 극단값이 적은 경우.

주로 정규 분포와 같은 조건에서, 많은 통계 분석(회귀, ANOVA 등)에 사용.

중앙값:

분포가 치우쳐 있거나(왜도), 극단값이 많을 때.

소득, 주택가격 등 한쪽 꼬리가 긴 분포.

순서형 자료(예: 만족도 조사, 서열 척도).

최빈값:

범주형(명목형) 자료에서 가장 빈도가 높은 범주를 알 때.

어떤 값이 가장 많이 나오는지 확인하고 싶을 때(쇼핑 품목, 만족도 항목 등).

분포가 이봉·다봉인지 확인할 때.

5. 결론

평균(Mean): 자료 전체를 고루 반영하나 이상값에 취약하며, 주로 연속형·대칭적 분포에 적합.

중앙값(Median): 이상값에 덜 민감하고, 왜도 있는 분포에서 실질적 ‘중심’을 보여주나, 세부 값을 충분히 반영하지 못함.

최빈값(Mode): 범주형 자료에 가장 직관적이며 이상값 영향을 받지 않으나, 분포 자체의 폭이나 크기 정보는 알려주지 못함. 분석 대상 데이터가 가진 분포 특성, 측정 척도, 최종 분석 목적 등을 종합적으로 고려해, 평균·중앙값·최빈값 중 적절한(또는 복수) 지표를 선택하는 것이 중요합니다.

4.6 평균, 중앙값, 최빈값의 장단점 분포가 대칭적일 경우, 평균과 중앙값은 동일하며, 분포가 대칭적이고 단봉분포(단일 최빈값을 가진 분포)일 경우에는 세 측정값이 모두 동일합니다. 하지만 일반적으로 이 세 측정값은 서로 다른 값을 가집니다. 여기서 당연히 어떤 중심 경향 측도를 사용해야 하는지에 대한 의문이 생깁니다. 안타깝게도 이에 대한 명확한 규칙은 없으며, 단지 몇 가지 의사결정 지침만이 존재합니다. 평균: 평균값은 가장 널리 사용되는 측도입니다. 평균의 단점은 이상치(극단값)에 민감하다는 점, 실제 데이터에 해당 값이 존재하지 않을 수 있다는 점, 그리고 해석이 의미있으려면 데이터가 등간척도 이상의 수준이어야 한다는 점입니다. 중앙값: 중앙값의 큰 장점은 이상치에 대해 매우 견고(로버스트)하다는 점과 데이터가 서열척도 수준이기만 하면 된다는 점입니다. 최빈값: 최빈값은 가장 자주 발생하는 값이므로, 실제로 존재하는 값이라는 장점이 있습니다. 또한 순서를 매길 수 없는, 즉 명목척도 수준의 데이터에 대해서도 계산할 수 있습니다. 단점은 최빈값이 다른 존재하는 데이터들을 고려하지 않는다는 점입니다.

구분	평균(Mean)	중앙값(Median)
정의	모든 데이터의 합 / 데이터 개수	정렬된 데이터에서 가운데 위치(짝수인 경우는 중앙 두 값의 평균)
극단값에 대한 민감도	매우 민감	비교적 둔감
분포 형태	분포가 대체로 대칭적일 때 적합 (정규 분포 등)	분포가 한쪽으로 치우쳤을 때(왜도) 더 안정적
데이터 유형	연속형, 간격이 명확한 데이터에서 주로 사용	서열 데이터(순위)에도 적용 가능
(명목형X, 순위 혹은 연속형O)
해석	모든 값을 골고루 반영한 대표 수치	분포상의 가운데 지점을 나타내는 대표 수치

1부: 기초 통계학

2. 데이터 수집과 정리

2.1 표본 추출 방법 (확률표본, 비확률표본)

통계 분석에서 데이터 수집 과정은 연구 결과의 신뢰도를 결정짓는 중요한 단계이다. 데이터를 수집할 때는 전체 모집단(population)에서 일부를 선택하여 표본(sample)으로 활용하게 된다. 이때 표본을 어떻게 추출하느냐에 따라 분석의 정확성과 일반화 가능성이 달라진다.

2.1.1 확률표본 (Probability Sampling)

확률표본(probability sampling) 방법에서는 모집단의 모든 구성원이 동일한 확률로 표본에 포함될 기회를 갖는다. 이는 연구 결과가 모집단을 대표할 가능성을 높여준다. 주요 확률표본 추출 방법은 다음과 같다.

단순 무작위 표본 추출 (Simple Random Sampling)

모집단의 모든 개체가 동일한 확률로 선택될 수 있도록 무작위(random) 방식으로 표본을 추출하는 방법이다.
예제: 한 대학의 학생 1,000명 중 100명을 무작위로 선정하여 설문조사를 수행한다.

층화 표본 추출 (Stratified Sampling)

모집단을 특정 기준(예: 연령, 성별, 지역 등)에 따라 서로 겹치지 않는 그룹(층, stratum)으로 나누고, 각 층에서 무작위로 표본을 추출하는 방법이다.
예제: 한 회사에서 직원들을 부서별(영업, 마케팅, 연구개발)로 나누고, 각 부서에서 일정 비율만큼 무작위로 표본을 선정한다.

군집 표본 추출 (Cluster Sampling)

모집단을 몇 개의 군집(cluster)으로 나눈 후, 일부 군집을 무작위로 선택하여 그 안의 모든 개체를 표본으로 포함하는 방법이다.
예제: 한 도시에서 100개의 초등학교 중 10개 학교를 무작위로 선정한 뒤, 해당 학교의 모든 학생을 조사한다.

계통 표본 추출 (Systematic Sampling)

모집단의 전체 목록에서 일정한 간격을 두고 표본을 선택하는 방법이다.
예제: 고객 만족도 조사에서 회원 번호를 기준으로 5번째마다 한 명씩 표본을 선정한다.

2.1.2 비확률표본 (Non-Probability Sampling)

비확률표본(non-probability sampling) 방법에서는 표본이 무작위로 선정되지 않으며, 연구자의 주관이 개입될 가능성이 있다. 따라서 모집단을 대표하는 결과를 도출하는 데 한계가 있다.

편의 표본 추출 (Convenience Sampling)

연구자가 접근하기 쉬운 대상을 표본으로 선정하는 방법이다.
예제: 길거리에서 가까운 사람들에게 설문지를 배포하는 방식.

할당 표본 추출 (Quota Sampling)

모집단의 특정 특성(예: 성별, 연령 등)에 맞춰 할당량을 설정한 후, 연구자가 원하는 방식으로 표본을 선택하는 방법이다.
예제: 20대 50명, 30대 50명, 40대 50명을 조사 대상으로 하되, 모집은 연구자가 직접 수행한다.

눈덩이 표본 추출 (Snowball Sampling)

초기 표본이 추가 표본을 추천하는 방식으로 진행되는 표본 추출 방법이다.
예제: 마약 중독자 연구에서 연구자가 첫 번째 대상자를 찾은 후, 대상자가 다른 중독자를 소개하는 방식.

2.2 데이터 시각화 (도수분포표, 히스토그램, 상자그림 등)

데이터 분석에서는 수집된 데이터를 효과적으로 정리하고 시각화하는 것이 중요하다. 이를 통해 데이터의 패턴과 특성을 쉽게 파악할 수 있다.

2.2.1 도수분포표 (Frequency Table)

도수분포표는 데이터를 일정한 구간으로 나누고, 각 구간에 속하는 값들의 개수를 정리한 표이다.

점수 구간	도수 (명)
50-59	5
60-69	10
70-79	15
80-89	20
90-100	10

2.2.2 히스토그램 (Histogram)

히스토그램은 연속형 데이터의 분포를 나타내는 그래프이다. 도수분포표를 바탕으로 막대그래프 형태로 나타내며, 각 막대의 높이는 해당 구간의 도수를 나타낸다.

실전 예제:

2.2.3 상자그림 (Box Plot)

상자그림(Box Plot)은 **데이터의 분포와 이상치(outlier)**를 확인하는 데 유용한 도구이다. 최소값, 1사분위수(Q1), 중앙값(Q2), 3사분위수(Q3), 최대값을 나타낸다.

실전 예제:

2.3 중심경향과 산포도 (평균, 중앙값, 표준편차, 사분위수 등)

2.3.1 중심경향 측도 (Measures of Central Tendency)

중심경향 측도는 데이터의 중심을 나타내는 값으로, 대표적으로 **평균(mean), 중앙값(median), 최빈값(mode)**이 있다.

평균 (Mean): 모든 값을 더한 후 개수로 나눈 값

예제: 시험 점수가 {50, 60, 70, 80, 90}일 때, 평균 = (50+60+70+80+90) ÷ 5 = 70

중앙값 (Median): 데이터를 크기순으로 정렬했을 때 중앙에 위치하는 값

예제: {50, 60, 70, 80, 90}의 중앙값은 70
장점: 극단값(이상치)의 영향을 받지 않는다.

최빈값 (Mode): 가장 자주 나타나는 값

예제: {1, 2, 2, 3, 3, 3, 4}의 최빈값은 3

2.3.2 산포도 측도 (Measures of Dispersion)

*산포도(Variability)**는 데이터 값들이 평균을 중심으로 얼마나 흩어져 있는지를 나타낸다.

표준편차 (Standard Deviation)

평균과의 차이를 제곱하여 평균낸 후 제곱근을 씌운 값
표준편차가 클수록 데이터가 널리 퍼져 있음

사분위수 (Quartiles)

데이터를 4등분한 값: Q1(25%), Q2(50%, 중앙값), Q3(75%)

범위 (Range)

최대값 - 최소값

사분위범위 (Interquartile Range, IQR)

IQR = Q3 - Q1 (이상치 감지에 유용)

이처럼 데이터 수집 및 정리 과정은 통계 분석의 기초가 되며, 올바른 표본 추출과 시각화를 통해 데이터의 특성을 정확히 파악하는 것이 중요하다.

Introduction

1. Descriptive statistics and inferential statistics … 18 1.1 Subareas of statistics … 18 1.2 Descriptive statistics … 19 1.3 Inferential Statistics … 23

Level of measurment … 27 2.1 Nominal variables … 27 2.2 Ordinal variables… 28 2.3 Categorical variables … 29 2.4 Metric variables … 29 2.5 Ratio scale and interval scale … 30

Sampling … 31 3.1 Full or total survey vs. random sample … 31 3.2 Population and sample … 32 3.3 Types of sampling? … 32 3.4 Probability selection … 3.5 Deliberate selection … 33 3.6 Arbitrary selection … 34 3.7 Sample selection in online surveys… 34 3.8 Sample description in bachelor or master thesis … 34

💡 **Location parameter **

Location parameter는 확률분포나 데이터 집합에서 “중심” 혹은 “대표적인 위치”를 나타내는 값입니다.

영어권에서는 흔히 ‘location parameter’ 혹은 ‘central tendency parameter’라고 부르기도 합니다.

4.1 평균(mean) Mean value(평균값)이란? “Mean value(평균값)”는 주어진 데이터 집합에서 각 관측값을 모두 더한 뒤, 관측값의 개수로 나눈 값을 의미합니다. 보통 산술평균(arithmetic mean)이라고도 부릅니다. 데이터의 중심 경향(central tendency)을 나타내는 가장 기본적인 통계량 중 하나입니다. 예시로, 어떤 측정값들이 $x_1, x_2, \ldots, x_n$ 이라고 할 때, 평균값 $\overline{x}$ 는 아래와 같이 정의됩니다:

$\overline{x} = \frac{x_1 + x_2 + \cdots + x_n}{n}$

$x_1, x_2, \ldots, x_n$ : 측정값(또는 데이터 포인트)

$n$ : 전체 관측값의 개수 특징

데이터의 전반적인 수준(중심)을 대표합니다.

극단값(Outlier)에 민감하여, 값이 매우 크거나 작은 자료가 포함될 경우 평균값이 크게 변할 수 있습니다.

Bland-Altman 플롯에서는 보통 두 측정 기법에서 얻은 측정값의 평균(Mean)을 x축에 두고, 두 값의 차이(Difference)를 y축에 둠으로써 두 기법 간의 일치도를 시각화합니다.

4.2 기하평균(Geometric mean) and 제곱평균(quadratic mean) 아래에서는 기하평균(Geometric Mean)과 제곱평균(Quadratic Mean, 또는 Root Mean Square, RMS)에 대해 설명합니다. 각 평균의 정의와 계산식, 그리고 어떤 상황에서 유용한지 간략히 알아봅니다.

1. 기하평균 (Geometric Mean)

1.1 정의

*기하평균(Geometric Mean)**은 주어진 자료들의 곱을 자료의 개수만큼 분할해서 뿌리한(루트를 취한) 값으로, 주로 비율이나 곱셈적 관계가 중요한 상황에서 사용됩니다. 기하평균은 특히 로그 스케일로 해석할 때 의미가 분명해집니다.

예: nn개의 양의 수 x1,x2,…,xnx_1, x_2, \ldots, x_n이 있을 때, 기하평균 GG는 다음과 같이 정의됩니다. G=(∏i=1nxi)1n=(x1×x2×⋯×xn)1/nG = \left(\prod_{i=1}^{n} x_i\right)^{\frac{1}{n}} = (x_1 \times x_2 \times \cdots \times x_n)^{1/n} 모든 xix_i가 0보다 커야(양수여야) 합니다. (0 이하인 경우 기하평균을 정의하거나 해석하기가 곤란함)

1.2 특징 및 예시

비율/성장률 측정 시 유용: 예를 들어, 어느 회사의 연간 성장률이 해마다 10%, 20%, 30%였다고 할 때, 단순 산술평균( 10+20+303=20%\frac{10+20+30}{3} = 20% )으로 성장률을 보는 것보다, 실제 자본의 변화를 반영하려면 기하평균을 사용해야 적절합니다.

로그 변환: 데이터를 로그 스케일로 변환(logarithm)하면 산술평균(arithmetic mean) 형태로 계산할 수도 있습니다. 즉, ln⁡(G)=1n∑i=1nln⁡(xi).\ln(G) = \frac{1}{n}\sum_{i=1}^n \ln(x_i).

극단값(outlier)이나 0이하 값 취급 주의: 0 이하 값에 대해서는 기하평균을 정의하기 어렵고, 극단적으로 작은 값이 포함되어 있으면 기하평균이 매우 작아집니다.

예시 1

어떤 투자 상품의 수익률이 연 10%, 20%, 30%로 3년간 변동했다고 하자(각 연도별로, 원금 대비 1.10배, 1.20배, 1.30배가 됨).

3년 뒤 최종 배수는 (약 1.716배). 1.10×1.20×1.30=1.7161.10 \times 1.20 \times 1.30 = 1.716

이 기간의 기하평균 성장률은

즉, 약 18.87%입니다. (1.716)1/3−1≈0.1887,(1.716)^{1/3} - 1 \approx 0.1887, 이를 산술평균인 20%와 비교해 보면, 실제 복리 효과를 고려했을 때는 18.87%가 더 정확한 연평균 수익률이라고 볼 수 있습니다.

2. 제곱평균 (Quadratic Mean, Root Mean Square)

2.1 정의

제곱평균(Quadratic Mean, QM) 또는 **Root Mean Square (RMS)**는 각 관측값을 제곱하여 평균을 낸 뒤, 다시 제곱근을 취한 값입니다. 분산(Variance)과 표준편차(Standard Deviation) 같은 개념과 관련이 깊어, **값들의 크기(Amplitude)**를 다룰 때 자주 쓰입니다.

nn개의 수 x1,x2,…,xnx_1, x_2, \ldots, x_n에 대해, 제곱평균 QQ (RMS)는 다음과 같이 정의됩니다: Q=x12+x22+⋯+xn2n=1n∑i=1nxi2Q = \sqrt{\frac{x_1^2 + x_2^2 + \cdots + x_n^2}{n}} = \sqrt{\frac{1}{n}\sum_{i=1}^{n} x_i^2}

2.2 특징 및 예시

진폭(Amplitude)이나 파형 신호를 다룰 때, 예를 들면 전기 공학에서 교류 전압/전류의 대표값을 구하거나, 신호처리에서 노이즈 크기를 평가할 때 자주 사용합니다.

값의 부호가 상쇄되지 않습니다. 산술평균과 달리 음수/양수 값이 섞여 있어도, 제곱 후 평균을 내므로 큰 값(절댓값이 큰 값)이 평균에 더 크게 기여합니다.

Arithmetic mean 이상: 제곱 -> 평균 -> 제곱근 순으로 계산하기 때문에, 모든 값이 동일할 때는 산술평균과 같지만, 값이 서로 다를수록 제곱평균이 산술평균보다 커집니다. (일반적으로 이라는 유명한 부등식이 존재합니다.) Quadratic Mean≥Arithmetic Mean≥Geometric Mean≥Harmonic Mean\text{Quadratic Mean} \ge \text{Arithmetic Mean} \ge \text{Geometric Mean} \ge \text{Harmonic Mean}

예시 2

어떤 기기의 측정값이 3, 4, 5 (예: 전류 세기 등)라고 할 때,

산술평균: 3+4+53=4.\frac{3+4+5}{3} = 4.

제곱평균(RMS): 32+42+523=9+16+253=503=16.66…≈4.08.\sqrt{\frac{3^2 + 4^2 + 5^2}{3}} = \sqrt{\frac{9 + 16 + 25}{3}} = \sqrt{\frac{50}{3}} = \sqrt{16.66\ldots} \approx 4.08.

기하평균(참고): 3×4×53=603≈3.91.\sqrt[3]{3 \times 4 \times 5} = \sqrt[3]{60} \approx 3.91. 이 경우, 제곱평균(약 4.08)은 산술평균(4)보다 크고, 기하평균(약 3.91)보다는 더 크다는 것을 확인할 수 있습니다.

3. 요약 및 활용

기하평균(Geometric Mean)

데이터가 모두 양수이며, 곱셈적 관계나 비율이 중요한 상황에서 사용.

로그 변환 시 산술평균으로 계산 가능.

예: 재무(복리 수익률), 생물학적 성장률, 농도 변화율 등.

제곱평균(RMS, Quadratic Mean)

각 값을 제곱해 평균 낸 뒤 루트를 취한 것.

신호나 물리량의 크기(진폭)를 대변하는 대표값으로 자주 쓰임.

음수/양수를 포함해도 되며, 큰 진폭을 가진 값이 평균에 더 크게 기여. 두 평균 모두 특정 상황에서 산술평균보다 더 적절한 대표값을 제시합니다.

기하평균은 곱셈적 증가(복리, 비율)에 관심이 있을 때,

제곱평균은 값의 크기에 특히 민감하고, 음수를 포함하더라도 제곱(제곱평균)은 부호 영향을 없애는 등, 진폭이나 절댓값의 크기를 다룰 때 주로 사용됩니다. 따라서, 목적에 맞게 적절한 평균값(산술평균, 기하평균, 제곱평균, 조화평균 등)을 선택하는 것은 데이터 분석과 신뢰도 높은 해석에 있어 매우 중요합니다.

4.3 중앙값(median)

*중앙값(Median)**은 주어진 데이터(또는 관측값)들을 크기 순서대로 나열했을 때 가장 중앙에 위치하는 값을 말합니다. 이는 극단값(Outlier)에 영향을 덜 받아, 데이터의 분포가 한쪽으로 크게 치우친(왜도가 큰) 경우에도 데이터의 전반적인 중심 위치를 비교적 안정적으로 나타냅니다.

1. 중앙값의 정의

데이터 개수가 홀수(n이 홀수)

데이터를 크기 순으로 나열한 뒤,

n+12\frac{n+1}{2}번째에 위치하는 값이 중앙값이 됩니다. 예)

데이터 가 있다고 할 때, {3,8,12,5,10}\{3, 8, 12, 5, 10\}

크기순으로 정렬하면 . {3,5,8,10,12}\{3, 5, 8, 10, 12\}

n=5(홀수)이므로 번째 값 → 8이 중앙값. 5+12=3\frac{5+1}{2} = 3

데이터 개수가 짝수(n이 짝수)

크기 순으로 나열한 뒤,

중앙에 위치한 두 값의 평균을 중앙값으로 정의합니다. 예)

데이터 가 있을 때, {4,6,9,2}\{4, 6, 9, 2\}

크기순으로 정렬하면 . {2,4,6,9}\{2, 4, 6, 9\}

중앙에 위치하는 2개의 값은 4와 6이며, 두 값의 평균은 . (4+6)/2=5(4 + 6)/2 = 5

따라서 중앙값은 5입니다.

2. 특징과 활용

극단값(outlier)에 대한 견고성(Robustness)

산술평균은 한두 개의 극단값에 의해 크게 변화하지만, 중앙값은 데이터의 순서만 보고 결정되므로 상대적으로 영향을 덜 받습니다.

왜도(Skewness)가 큰 분포

분포가 한쪽으로 치우쳐 있거나, 한쪽 꼬리가 긴(오른꼬리/왼꼬리) 경우 산술평균보다 중앙값이 전반적인 위치를 더 잘 대표할 수 있습니다.

서열 척도(Ordinal scale)

명확한 간격(Interval)이 없는 순위 데이터(예: 만족도 조사 결과: 1=매우 불만족, 2=불만족, 3=보통, 4=만족, 5=매우 만족)에도 중앙값을 구해 가장 중앙에 있는 범주를 파악할 수 있습니다(단, 단순 계산에 주의가 필요).

통계적 추정

통계학에서 샘플의 중앙값은 모집단 중앙값에 대한 추정치로 사용되며, 모집단 분포가 정규분포가 아닐 때도 유용합니다.

3. 예시

연봉 데이터: 회사의 모든 직원 연봉을 한꺼번에 봤을 때, 몇몇 고액 연봉자의 존재로 인해 평균이 크게 왜곡될 수 있습니다. 이때, ‘모든 직원의 전반적인 연봉 수준’을 파악하고자 할 때에는 중앙값이 평균보다 실질적인 분포를 더 잘 보여줄 수 있습니다.

집값: 특정 지역 주택 매매가를 살펴볼 때, 고가 주택 몇 채로 인해 평균 매매가가 지나치게 높아진다면, 지역의 전반적 주택 가격 수준을 파악하기가 어렵습니다. 이런 경우에는 중앙값을 주택 가격의 대표값으로 사용하는 편이 더 적절합니다.

4. 중앙값과 다른 통계량 비교

평균(Mean): 모든 데이터 값을 더한 뒤 개수로 나눈 값. 데이터 전반을 반영하지만, 극단값에 민감.

최빈값(Mode): 가장 자주 등장하는 값. 범주형 데이터에서 자주 활용.

중앙값(Median): 중앙 위치에 있는 값으로, 극단값에 둔감하고 왜도 분포에도 안정적. 상황과 데이터의 특성을 고려하여, 평균과 중앙값(또는 다른 통계량들)을 함께 비교하면 자료가 어떤 식으로 퍼져 있는지, 또 극단값이 얼마나 영향을 주는지를 더 잘 파악할 수 있습니다.

한눈 요약

정의: 나열된 데이터의 한가운데 값(짝수 개일 경우는 중앙 두 값의 평균).

장점: 극단값의 영향을 비교적 적게 받음. 왜도 높은 분포에서 중심 경향을 나타내기 좋음.

활용 분야: 연봉, 주택 가격, 순위/서열 데이터 등. 결론적으로, 중앙값은 데이터의 전반적인 위치를 나타내는 지표로, 극단값이 포함된 분포에서 유용하게 쓰입니다.

4.5 최빈값(mode)

*최빈값(Mode, Modal value)**은 어떤 자료나 표본에서 가장 자주 등장하는 값을 의미합니다. 이는 범주형 데이터나 정수형 데이터에서 특히 유용하게 쓰이는 대표값입니다. 예를 들어, 설문 조사에서 ‘가장 많이 응답된 항목’이나, 어떤 변수값이 몇 번 나타났는지를 셀 때, 가장 빈도가 높은 값(범주)이 최빈값이 됩니다.

1. 정의

최빈값(Mode): 자료에서 빈도수가 가장 높은(가장 많이 반복되는) 값 혹은 범주(category).

범주형 자료에서는 특정 범주가 다른 범주보다 많이 관찰되면 그 범주가 최빈값이 됨.

수치형 자료에서도 어떤 구간 또는 특정 숫자가 다른 값보다 많이 나타나면 그 값이 최빈값.

여러 최빈값이 존재할 수 있음

단봉분포(unimodal): 최빈값이 하나인 경우.

이봉분포(bimodal): 최빈값이 두 개인 경우. 예를 들어, 시험 점수가 70점, 90점에 모두 빈도가 최대치로 나타났다면 최빈값이 70과 90 두 개 존재.

다봉분포(multimodal): 세 개 이상 최빈값이 있을 수도 있음.

2. 예시

범주형 데이터(설문 응답)

예) “가장 선호하는 과일이 무엇인가?”라는 질문에서, 응답 중 사과(Apple)가 30회, 바나나(Banana)가 25회, 딸기(Strawberry)가 30회, 오렌지(Orange)가 10회 나왔다고 하자. 이 경우 사과와 딸기가 동일하게 30회로 최빈값이 되고, 이 자료는 이봉분포(bimodal)가 됨.

수치형 데이터(시험 점수)

예) 학생 10명의 점수가 라면, {60,70,70,80,85,85,85,90,90,95}\{60, 70, 70, 80, 85, 85, 85, 90, 90, 95\}

70점이 2회, 85점이 3회, 90점이 2회 등장한다.

빈도수가 가장 높은 점수는 85점(3회) → 최빈값은 85.

3. 평균(Mean), 중앙값(Median)과의 비교

평균(Mean): 모든 자료의 합을 데이터 개수로 나눈 값. 극단값(outlier)에 민감.

중앙값(Median): 데이터를 크기순으로 나열했을 때 중앙에 위치하는 값. 극단값에 비교적 둔감.

최빈값(Mode): 가장 많이 나타난 값. 범주형 자료나 특정 값의 빈도 파악에 유용. 세 가지 대표값 중, 최빈값은 **“자료에서 가장 많이 관측되는 값”**이라는 측면에서 의미가 있지만, 극단값에 직접적 영향을 받지 않을 뿐더러, 분포 전체의 퍼짐(산포)을 알기에는 한계가 있습니다. 또한 수치형 자료가 연속적(discrete가 아닌 continuous)인 경우, 정확한 최빈값을 찾기 위해 히스토그램 구간 설정 등 추가 작업이 필요할 수 있습니다.

4. 활용

범주형 데이터(질적 자료)

설문조사 응답 등에서 어떤 항목이 가장 많이 선택되었는지 파악할 때 최빈값이 가장 직관적 지표가 됨.

제품 색상 선호도, 사이즈 선호도

어떤 색상(또는 사이즈)이 가장 많이 판매되었는지, 고객 선호가 어디에 집중되는지 알아볼 때.

의류·신발 사이즈 예측

재고를 어느 사이즈에 집중해야 할지 결정하려면, 가장 많이 팔리는 사이즈(최빈값)를 확인.

소비자 행동 분석

쇼핑몰 구매 데이터에서 특정 가격대 혹은 특정 제품 종류가 가장 많이 판매되는지 볼 때 최빈값을 고려할 수 있음.

5. 결론

정의: 데이터 중 가장 높은 빈도를 가진 값이 최빈값(Mode).

장점: 범주형 데이터 분석 시 매우 직관적인 지표. 극단값의 영향을 크게 받지 않음.

단점: 분포 전반의 수준이나 퍼짐을 알기는 어려우며, 최빈값이 여러 개인 경우도 있어 해석에 유의해야 함.

활용: 설문 응답, 구매 패턴, 생산 공정에서의 가장 흔한 결함 유형 식별 등. 최빈값은 종종 평균·중앙값과 함께 제시되어, 분포의 형태(단봉, 이봉, 다봉 등)를 파악하거나, 범주형/이산형 자료에서 대표값으로 사용됩니다.

4.4 Mean and median in comparison 아래에서는 **평균(Mean)**과 **중앙값(Median)**을 비교하여 정리합니다. 두 대표값은 각각 다른 특성과 강점을 가지므로, 데이터의 특징(분포, 극단값 존재 여부 등)에 따라 적절한 지표를 선택해야 합니다.

1. 정의 요약

평균(Mean)

주어진 데이터 값들을 모두 합한 뒤, 데이터 개수로 나눈 값.

$\overline{x} = \frac{x_1 + x_2 + \cdots + x_n}{n}$

모든 데이터 값을 고루 반영한다는 장점이 있지만, 극단값(Outlier)에 매우 민감함.

중앙값(Median)

데이터를 크기순으로 나열했을 때 가장 중앙에 위치하는 값(짝수 개일 때는 중앙 두 값의 평균).

극단값에 덜 민감하며, 왜도가 큰 분포에서도 중심 경향을 보다 안정적으로 나타냄.

2. 주요 차이점

구분 평균(Mean) 중앙값(Median)
정의 모든 데이터의 합 / 데이터 개수 정렬된 데이터에서 가운데 위치(짝수인 경우는 중앙 두 값의 평균)
극단값에 대한 민감도 매우 민감 비교적 둔감
분포 형태 분포가 대체로 대칭적일 때 적합 (정규 분포 등) 분포가 한쪽으로 치우쳤을 때(왜도) 더 안정적
데이터 유형 연속형, 간격이 명확한 데이터에서 주로 사용 서열 데이터(순위)에도 적용 가능
(명목형X, 순위 혹은 연속형O)
해석 모든 값을 골고루 반영한 대표 수치 분포상의 가운데 지점을 나타내는 대표 수치

3. 예시로 보는 활용

연봉/소득 데이터

대기업 CEO나 소수의 고소득자가 있으면 평균이 크게 치우쳐질 수 있음.

중앙값을 보면 전체 구성원의 전반적인 소득 수준을 더욱 현실적으로 파악 가능.

주택 가격

특정 지역의 초고가 주택이 평균 집값을 왜곡할 수 있음.

중앙값을 사용하면 일반적인 주택 가격 분포를 좀 더 잘 보여줌.

시험 점수

시험 점수가 대체로 정규 분포(대칭) 형태라면 평균이 대표값으로 적절.

만약 일부 학생의 점수가 매우 낮거나 매우 높은 경우, 그 영향이 커지므로 중앙값도 함께 살펴보면 좋음.

4. 선택 가이드

분포가 대칭적이고 극단값이 적을 때:

*평균(Mean)**이 전반적인 데이터를 잘 대변.

예) 정규 분포에 가까운 실험 데이터, 제조 공정 품질 관리 등.

분포가 한쪽으로 치우치거나, 극단값이 많을 때:

*중앙값(Median)**이 더 신뢰도 높은 ‘중심’을 제공.

예) 가구 소득, 집값, 의료비 지출 등.

가능하다면 둘 다 제시:

평균과 중앙값을 모두 보고, 분포가 얼마나 치우쳐 있는지(왜도 확인) 추가적으로 판단할 수 있음.

5. 결론

평균은 모든 데이터 값을 균등하게 반영하지만, 극단값에 취약합니다.

중앙값은 극단값의 영향이 적어, 데이터가 치우쳐 있거나 잡음이 클 때도 비교적 안정적으로 분포의 ‘중심’을 보여줍니다.

데이터 분석에서는 단순히 평균 하나만 보는 것이 아니라, 중앙값과 함께 확인하거나, 나아가 최빈값(Mode), 분산(Variance), 사분위수(Quantile) 등을 종합적으로 살펴보는 것이 중요합니다. 둘 중 하나를 고를 때는, 데이터가 가지는 분포적 특성과 분석 목적을 명확히 고려해야 합니다.

4.6 Advantage and disadvantage of the Mean, Median and Mode 데이터 분포의 특성(대칭성, 이상값 여부, 자료 유형 등)에 따라 세 지표 중 어떤 것을 사용하는지가 달라질 수 있습니다.

1. 평균(Mean)

1.1 장점

모든 데이터 포인트를 활용: 값들을 전부 더한 후 개수로 나누기 때문에, 자료 전체의 정보를 한꺼번에 반영합니다.

수학적 접근 용이: 분산(Variance), 표준편차(Standard Deviation) 등 다양한 통계 분석(회귀, ANOVA 등)에서 평균이 핵심적인 역할을 합니다.

분포가 대체로 대칭적일 때 적합: 정규 분포 등에 가까운 경우, 평균이 분포의 중심을 잘 나타냅니다.

1.2 단점

이상값(Outlier)에 민감: 극단적으로 큰 값이나 작은 값이 있으면 평균이 크게 왜곡될 수 있습니다.

왜도가 큰 분포에 취약: 한쪽으로 치우친 분포에서는 평균이 전형적인 값이라 보기 어려워질 수 있습니다.

순서형(Ordinal)·범주형 자료에는 부적합: 평균은 연속형(Interval/Ratio Scale) 자료에서만 의미가 명확합니다.

2. 중앙값(Median)

2.1 장점

이상값에 둔감: 중앙값은 순서상 중간 위치에 해당하는 값이므로, 몇몇 극단값이 있어도 크게 영향을 받지 않습니다.

왜도(Skew)가 큰 분포에서 유리: 소득, 주택가격처럼 한쪽으로 많이 치우친 자료를 대표하는 데 적합합니다.

순서형 자료에도 적용 가능: 예를 들어, 리커트 척도(1~5점)처럼 ‘서열’만 의미 있는 경우에도 중앙값은 유용합니다.

2.2 단점

자료 세부 정보 활용 부족: 정렬된 순서만 중요하므로, 각각의 실제 값(크기 차이 등)을 적극적으로 활용하지 못합니다.

수학적 계산(추론) 측면에서 덜 편리: 많은 통계 기법(예: ANOVA, 회귀)은 평균 기반으로 설계되어 있습니다.

표본 크기가 작고 중복값이 많으면 해석 어려움: 데이터가 적거나 같은 값이 중간에 여러 개 있으면 중앙값 결정이 애매해질 수 있습니다.

3. 최빈값(Mode)

3.1 장점

범주형 자료(명목척도)에 직관적: 가장 많이 출현하는 범주가 무엇인지 즉시 확인 가능.

이상값의 영향 없음: 최빈값은 빈도만 기준으로 결정되므로, 극단적으로 큰 값이나 작은 값이 있어도 영향을 주지 않습니다.

분포의 봉우리(peak) 파악에 용이: 이봉분포(bimodal), 다봉분포(multimodal)처럼 여러 개의 ‘최빈값’이 있으면, 데이터가 어떤 지점들에서 집중되는지 알려줍니다.

3.2 단점

자료 크기(값의 크기)에 대한 정보 부족: 빈도 이외에 값들의 구체적인 크기나 분포는 충분히 반영되지 않습니다.

복수 개의 최빈값 가능: 데이터 분포에 따라 최빈값이 둘 이상 존재(이봉·다봉)할 수 있어서 해석이 복잡해집니다.

연속형 자료에 적용하기 까다로움: 값이 계속 달라지는 연속형 변수에서는 대부분의 값이 한 번씩만 나올 수 있어, 최빈값 개념이 의미가 약해질 수 있습니다(구간화가 필요).

4. 어떤 상황에 어느 지표를 쓸까?

평균:

분포가 대칭적이고, 극단값이 적은 경우.

주로 정규 분포와 같은 조건에서, 많은 통계 분석(회귀, ANOVA 등)에 사용.

중앙값:

분포가 치우쳐 있거나(왜도), 극단값이 많을 때.

소득, 주택가격 등 한쪽 꼬리가 긴 분포.

순서형 자료(예: 만족도 조사, 서열 척도).

최빈값:

범주형(명목형) 자료에서 가장 빈도가 높은 범주를 알 때.

어떤 값이 가장 많이 나오는지 확인하고 싶을 때(쇼핑 품목, 만족도 항목 등).

분포가 이봉·다봉인지 확인할 때.

5. 결론

평균(Mean): 자료 전체를 고루 반영하나 이상값에 취약하며, 주로 연속형·대칭적 분포에 적합.

중앙값(Median): 이상값에 덜 민감하고, 왜도 있는 분포에서 실질적 ‘중심’을 보여주나, 세부 값을 충분히 반영하지 못함.

최빈값(Mode): 범주형 자료에 가장 직관적이며 이상값 영향을 받지 않으나, 분포 자체의 폭이나 크기 정보는 알려주지 못함. 분석 대상 데이터가 가진 분포 특성, 측정 척도, 최종 분석 목적 등을 종합적으로 고려해, 평균·중앙값·최빈값 중 적절한(또는 복수) 지표를 선택하는 것이 중요합니다.

4.6 평균, 중앙값, 최빈값의 장단점 분포가 대칭적일 경우, 평균과 중앙값은 동일하며, 분포가 대칭적이고 단봉분포(단일 최빈값을 가진 분포)일 경우에는 세 측정값이 모두 동일합니다. 하지만 일반적으로 이 세 측정값은 서로 다른 값을 가집니다. 여기서 당연히 어떤 중심 경향 측도를 사용해야 하는지에 대한 의문이 생깁니다. 안타깝게도 이에 대한 명확한 규칙은 없으며, 단지 몇 가지 의사결정 지침만이 존재합니다. 평균: 평균값은 가장 널리 사용되는 측도입니다. 평균의 단점은 이상치(극단값)에 민감하다는 점, 실제 데이터에 해당 값이 존재하지 않을 수 있다는 점, 그리고 해석이 의미있으려면 데이터가 등간척도 이상의 수준이어야 한다는 점입니다. 중앙값: 중앙값의 큰 장점은 이상치에 대해 매우 견고(로버스트)하다는 점과 데이터가 서열척도 수준이기만 하면 된다는 점입니다. 최빈값: 최빈값은 가장 자주 발생하는 값이므로, 실제로 존재하는 값이라는 장점이 있습니다. 또한 순서를 매길 수 없는, 즉 명목척도 수준의 데이터에 대해서도 계산할 수 있습니다. 단점은 최빈값이 다른 존재하는 데이터들을 고려하지 않는다는 점입니다.

구분	평균(Mean)	중앙값(Median)
정의	모든 데이터의 합 / 데이터 개수	정렬된 데이터에서 가운데 위치(짝수인 경우는 중앙 두 값의 평균)
극단값에 대한 민감도	매우 민감	비교적 둔감
분포 형태	분포가 대체로 대칭적일 때 적합 (정규 분포 등)	분포가 한쪽으로 치우쳤을 때(왜도) 더 안정적
데이터 유형	연속형, 간격이 명확한 데이터에서 주로 사용	서열 데이터(순위)에도 적용 가능
(명목형X, 순위 혹은 연속형O)
해석	모든 값을 골고루 반영한 대표 수치	분포상의 가운데 지점을 나타내는 대표 수치

Dispersion parameter … 45

1. 분산 모수(Dispersion Parameter)란?

*분산 모수(Dispersion Parameter)**는 **데이터나 확률 분포가 얼마나 퍼져 있는지(산포 정도)**를 나타내는 지표입니다.
예) 특정 집단의 키 분포가 160~~180cm 사이에 고르게 분포되어 있는지, 아니면 150~~200cm 사이로 넓게 퍼져 있는지를 정량적으로 표현할 때 사용. 산포 정도가 클수록, 즉 분산(variance)이나 표준편차(standard deviation)가 클수록 데이터 값들이 평균값 주변이 아니라 훨씬 넓은 범위에 걸쳐 분포한다고 해석할 수 있습니다. 반대로 산포가 작으면, 대부분의 값이 어느 한 중심 근처에 모여 있다고 볼 수 있습니다.

2. 대표적인 분산(산포) 지표

범위(Range)

데이터의 최댓값과 최솟값의 차이. 가장 간단한 산포 지표이지만, 이상값(Outlier)에 민감함.

분산(Variance) & 표준편차(Standard Deviation)

분산=1n∑i=1n(xi−xˉ)2\text{분산} = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 (표본분산에서는 로 나눔) n−1n-1
표준편차는 분산의 제곱근(). 실제 단위(예: cm, kg 등)와 동일하므로 해석이 더 직관적. 분산\sqrt{\text{분산}}
통계·확률 이론에서 가장 널리 쓰이는 주요 분산 모수.

사분위수 범위(IQR, Interquartile Range)

데이터의 1사분위수(Q1)와 3사분위수(Q3) 차이(). Q3−Q1Q3 - Q1
중앙값 주변의 50% 데이터가 퍼져 있는 범위를 나타내어, 이상값 영향을 비교적 덜 받음.

변동계수(Coefficient of Variation, CV)

CV=표준편차평균\text{CV} = \frac{\text{표준편차}}{\text{평균}}
자료 단위에 관계없이, 상대적 변동 정도를 비교할 때 사용. 예: 서로 다른 단위를 가진 변수 간 산포 비교.

3. 확률 분포에서의 Dispersion Parameter

확률 분포 자체를 정의할 때도, 분산 모수를 중요한 파라미터로 다루는 경우가 많습니다.

예) 정규분포 에서 가 분산(Dispersion Parameter). 가 클수록 곡선이 완만해지고, 값이 넓게 퍼집니다. N(μ,σ2)N(\mu, \sigma^2) σ2\sigma^2 σ\sigma
예) 이항분포(Binomial Distribution) 의 분산은 . B(n,p)B(n, p) np(1−p)n p (1-p)
예) 포아송분포(Poisson Distribution) 의 분산은 . Poi(λ)\text{Poi}(\lambda) λ\lambda
예) 음이항분포(Negative Binomial Distribution) 등에서의 나 등도 분산을 결정하는 주요 파라미터로 볼 수 있습니다. θ\theta r,pr, p 특히 과산포(Overdispersion) 개념도 주목할 만합니다. 이는 어떤 이론적 분포(예: 포아송분포)의 분산보다 실제 데이터의 분산이 더 큰 상황을 말하며, 이 경우 데이터를 더 잘 설명하는 대안적 확률 모형(음이항분포 등)을 고려하게 됩니다.

4. 활용 예시

품질관리(Quality Control)

제품 생산 공정에서, 특정 치수(길이, 무게 등)의 분산/표준편차를 관리 지표로 삼아 공정 안정도를 평가.

금융·투자에서의 리스크 측정

주식 수익률의 표준편차가 클수록, 해당 종목의 변동성이 크다고 해석.

생체 신호 분석

심박수, 호흡수 등 일정 기간 자료에 대한 분산/표준편차로 건강 상태 혹은 스트레스 지표를 가늠.

사회과학 연구

설문조사 결과 분포(만족도, 태도 등)의 IQR, 표준편차 등을 통해 응답 다양성을 판단.

5. 정리

*분산 모수(Dispersion Parameter)**는 데이터나 확률 분포가 퍼져 있는 정도를 수치화하는 지표.
대표적으로 범위, 분산/표준편차, 사분위수 범위(IQR), 변동계수(CV) 등이 있다.
확률 분포에서도 분산(또는 관련 파라미터)은 필수적인 특성값으로, 분포의 “폭”이나 불확실성을 나타냄.
데이터 분석 시, **중심경향(평균·중앙값 등)**만 보는 것에서 나아가 산포까지 확인해야 실제 분포의 형태와 변동성을 제대로 파악할 수 있음. 결국, **분산 모수(Dispersion Parameter)**는 데이터나 분포가 얼마나 “흩어져 있는가?”를 정량적으로 알려주는 핵심 통계량이며, 실무·연구 전반에서 폭넓게 적용됩니다.
5.1 Standard deviation … 46
- *표준편차(Standard Deviation)**는 데이터가 평균(또는 기대값)으로부터 얼마나 떨어져(흩어져) 있는지를 측정하는 가장 널리 쓰이는 통계적 지표 중 하나입니다. 분산(Variance)의 제곱근으로 정의되며, 분산은 각 데이터 값이 평균과 얼마나 떨어져 있는지를 제곱으로 측정한 뒤 평균 내어 구한 값입니다. 표준편차를 구하면 분산을 제곱근 형태로 변환하기 때문에, 원래의 데이터 단위와 동일해 해석이 더 직관적입니다.

1. 공식과 계산

표본 표준편차 (이하, 표본분산 및 표본평균 사용): s=1n−1∑i=1n(xi−xˉ)2s = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2}

xix_i: 개별 데이터 값
xˉ\bar{x}: 표본평균
nn: 표본 개수
s2s^2는 표본분산, 는 표본 표준편차 ss

모집단 표준편차 (이론적/전체 모집단 가정): σ=1N∑i=1N(xi−μ)2\sigma = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^2}

μ\mu: 모집단 평균
NN: 전체 모집단 크기 실무에서는 보통 모집단 전부를 관측하기보다 표본을 통해 추정하므로, ‘n−1n-1’을 사용한 표본 표준편차를 자주 사용합니다.

2. 의미와 해석

값의 퍼짐(산포) 표준편차가 크면, 평균으로부터 데이터들이 멀리 흩어져 있음을 의미합니다. 예를 들어 사람 키 데이터의 표준편차가 15cm라면, 많은 사람들이 평균 키보다 ±15cm 범위 안에 분포할 가능성이 큽니다. 표준편차가 작으면, 대부분의 데이터가 평균 부근에 밀집되어 있음을 나타냅니다.
평균 ± 표준편차 많은 분포(특히 정규분포)에서, 평균 ± 1표준편차 범위 내에 데이터의 상당 부분(약 68%)이 포함됩니다.
- 정규분포 기준:
  - 평균 ± 1표준편차: 약 68%
  - 평균 ± 2표준편차: 약 95%
  - 평균 ± 3표준편차: 약 99.7%
같은 단위로 측정 표준편차는 분산의 제곱근이므로, 원래 데이터의 단위(예: kg, cm 등)와 동일한 스케일을 가집니다. 그 덕분에 직관적으로 해석할 수 있습니다.

3. 활용 예시

품질 관리(Quality Control)

제조 공정에서 생산되는 부품의 길이·무게 등이 평균 ± 몇 표준편차 범위에 들어오는지 모니터링.
표준편차가 클 경우, 공정 변동이 커서 불량 가능성이 높아집니다.

금융·투자

주식 수익률의 표준편차를 ‘변동성(Volatility)’이라 부르며, 리스크(위험도) 지표로 사용합니다.
표준편차가 높을수록 가격이 크게 움직일 가능성이 큰 자산임을 의미합니다.

사회과학·설문조사

만족도, 태도 조사 등에서 표준편차가 작으면 응답이 유사하게 몰렸음을, 표준편차가 크면 의견이 다양하게 분산되어 있음을 시사합니다.

이상값(Outlier) 탐지

한 관측값이 평균에서 여러 표준편차만큼 떨어져 있다면, 해당 값이 이상치일 가능성을 판단할 수 있습니다.

4. 주의할 점

정규성 가정

많은 경우, 정규분포에 가까운 분포에서는 표준편차가 해석하기 쉽습니다. 그러나 분포가 크게 왜곡되었거나(왜도가 큰 경우), 극단값(outlier)이 많은 상황에서는 표준편차만으론 충분치 않을 수 있습니다.

단순 평균 중심

표준편차는 평균을 기준으로 계산되므로, 일부 분석 상황(예: 평균이 적절하지 않은 분포)에서는 중앙값과의 편차를 고려하거나 사분위수 범위(IQR) 등을 추가적으로 보는 것이 좋습니다.

음수 값 불가능

제곱을 거쳐 제곱근으로 계산하므로, 표준편차 자체는 항상 0 또는 양의 값입니다. (모든 데이터가 동일하면 표준편차는 0)

5. 정리

표준편차는 데이터(혹은 분포)가 평균으로부터 얼마나 퍼져 있는지 나타내는 핵심 지표.
분산의 제곱근이므로, 원 데이터와 같은 단위로 표현되어 직관적 해석이 가능함.
정규분포 등에서 범위를 파악할 때 자주 사용(평균 ± 1·2·3표준편차).
분석 시, 중심경향(평균, 중앙값)과 함께 산포를 알려주는 표준편차나 IQR 등 지표를 종합적으로 살펴보면 데이터 특징을 더 균형 있게 이해할 수 있음. 결국, 표준편차는 거의 모든 통계·분석 분야에서 사용되는 기본적인 “변동성(variability)” 측정 수단으로, 데이터 이해와 품질 관리, 리스크 평가 등에 필수적인 역할을 합니다.
5.2 Variance …
- *분산(Variance)**은 데이터나 확률 분포가 평균에서 얼마나 퍼져(산포) 있는가를 나타내는 대표적인 통계량 중 하나입니다. 각 관측값이 평균값과 어느 정도 차이가 나는지를 제곱해 평균 낸 값으로 정의됩니다. 분산은 표준편차(Standard Deviation)의 제곱 형태이기도 합니다.

1. 정의와 공식

모집단 분산 σ2\sigma^2 σ2=1N∑i=1N(xi−μ)2\sigma^2 = \frac{1}{N}\sum_{i=1}^{N} (x_i - \mu)^2

xix_i: 모집단의 각 관측값
μ\mu: 모집단 평균
NN: 모집단 전체 크기

표본 분산 s2s^2 s2=1n−1∑i=1n(xi−xˉ)2s^2 = \frac{1}{n - 1}\sum_{i=1}^{n} (x_i - \bar{x})^2

xix_i: 표본의 각 관측값
xˉ\bar{x}: 표본 평균
nn: 표본 크기
n−1n-1을 분모로 사용하는 것은 모집단 분산을 편향 없이 추정하기 위한 불편추정량(unbiased estimator)을 얻기 위함입니다. 표준편차는 이 분산의 제곱근을 취한 값이므로, 실제 데이터 단위와 동일해 해석이 직관적입니다(분산 자체는 데이터 단위의 제곱 형태).

2. 의미와 해석

분산 값이 크다: 평균으로부터 각 데이터가 멀리 떨어져 있음 → 데이터가 넓게 퍼져 있음(산포가 큼).
분산 값이 작다: 대부분의 값이 평균 주변에 몰려 있음 → 데이터가 비교적 좁게 모여 있음(산포가 작음).
0인 경우: 모든 데이터가 같은 값을 가질 때(즉, 변동이 전혀 없음). 분산 자체는 원 단위가 ‘제곱’인 형태이므로, 데이터를 직접 해석하거나 비교할 때는 **표준편차(분산\sqrt{\text{분산}})**를 함께 확인하는 경우가 많습니다.

3. 예시

제품 생산 공정: 부품 길이를 측정했을 때, 분산이 작으면(=표준편차 작음) 공정 변동이 작아 균일한 제품이 생산됨을 의미.
투자 수익률: 수익률의 분산(또는 표준편차)이 크면 수익률이 크게 변동할 수 있다는 뜻 → 투자 위험도가 높을 수 있음.
시험 점수: 학생들 점수의 분산이 크면, 어떤 학생은 매우 높고 어떤 학생은 매우 낮은 점수를 받아 편차가 심함을 의미.

4. 주의사항

이상값(Outlier) 영향

분산은 형태로 계산하므로, 극단적으로 큰 값이 있으면 그 영향이 제곱으로 반영되어 분산이 급격히 커질 수 있습니다. (xi−xˉ)2(x_i - \bar{x})^2

분포 유형

정규분포 등 대칭적 분포에서는 분산(또는 표준편차)이 분포 형태를 잘 대변하지만, 왜도가 큰 분포나 여러 봉우리를 가진 분포에서는 분산 하나만으로는 특징을 온전히 파악하기 어렵습니다.

단위 해석

분산은 데이터 단위를 제곱한 형태이므로, 직관적 해석을 위해 주로 표준편차 값을 병기하거나, 사분위수 범위(IQR) 등 다른 산포 지표를 함께 살피기도 합니다.

5. 결론

*분산(Variance)**은 데이터 집합의 산포 정도를 수치화한 지표로, 통계학에서 매우 중요한 역할을 합니다.
표본 분산은 모분산을 추정하는 데 사용하며, 로 나누어 불편추정량을 구합니다. n−1n-1
데이터의 전반적인 ‘흩어진 정도’를 설명하지만, 실제로는 표준편차를 함께 보는 경우가 많고, 분포가 비대칭적일 때는 다른 지표도 추가적으로 확인해야 합니다. 결국, 분산은 산포도를 양적으로 표현하는 기본 척도이며, **평균(Mean)**과 함께 데이터 분포의 ‘중심’과 ‘흩어짐’을 종합적으로 이해하는 핵심 개념입니다.
5.3 Difference between variance and standard deviation … 48 분산(Variance)과 표준편차(Standard Deviation)는 모두 데이터가 평균(또는 기대값)으로부터 얼마나 퍼져 있는지를 나타내는 척도입니다. 하지만 두 개념은 계산 방법과 해석 측면에서 차이가 있습니다.

1. 분산 (Variance)

정의: 분산은 각 데이터 값이 평균으로부터 떨어진 정도(편차)를 제곱한 후, 이 제곱 값들의 평균을 구한 값입니다.
- 모집단 분산: 여기서 은 전체 데이터 수, 는 모집단의 평균입니다. σ2=1N∑i=1N(xi−μ)2\sigma^2 = \frac{1}{N}\sum_{i=1}^{N}(x_i - \mu)^2 NN μ\mu
- 표본 분산: 여기서 은 표본의 크기, 는 표본 평균입니다. citeturn0search1 s2=1n−1∑i=1n(xi−xˉ)2s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2 nn xˉ\bar{x}
단위: 분산은 편차를 제곱한 후 평균을 내므로, 데이터의 단위가 제곱된 형태(예: 미터²)로 표현됩니다. citeturn0search9
수학적 활용: 분산은 여러 수학적 성질(예: 독립 확률 변수의 분산은 각 변수의 분산의 합과 같음) 때문에 이론적 통계나 수학적 유도에 매우 유용합니다.

2. 표준편차 (Standard Deviation)

정의: 표준편차는 분산의 제곱근으로 계산됩니다.
- 모집단 표준편차: σ=σ2=1N∑i=1N(xi−μ)2\sigma = \sqrt{\sigma^2} = \sqrt{\frac{1}{N}\sum_{i=1}^{N}(x_i - \mu)^2}
- 표본 표준편차: s=s2=1n−1∑i=1n(xi−xˉ)2s = \sqrt{s^2} = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2} citeturn0search2
단위: 표준편차는 제곱근을 취하기 때문에 원래 데이터와 동일한 단위(예: 미터)로 표현되어 해석하기 쉽습니다. citeturn0search3
해석: 표준편차는 데이터가 평균값 주위에 어느 정도 모여 있는지를 직관적으로 보여줍니다. 예를 들어, 평균이 170cm이고 표준편차가 5cm인 경우, 대부분의 데이터는 170cm에서 ±5cm 범위 내에 분포한다는 것을 의미합니다.

3. 요약 및 차이점

계산 방법:
- 분산: 각 데이터와 평균의 차이를 제곱한 후 평균을 구함
- 표준편차: 분산의 제곱근을 취함
단위:
- 분산: 원 데이터 단위의 제곱 (예: 미터²)
- 표준편차: 원 데이터와 동일한 단위 (예: 미터)
용도:
- 분산: 수학적 조작 및 이론 전개에 유리
- 표준편차: 데이터의 분포를 직관적으로 해석하고 보고할 때 유리 citeturn0search5

결론: 분산과 표준편차는 모두 데이터의 산포도를 측정하지만, 표준편차는 원래 단위로 표현되므로 실무 및 해석 측면에서 더 직관적입니다. 반면, 분산은 제곱된 값을 사용하기 때문에 수학적으로 다루기 용이하여 이론적 분석에 자주 활용됩니다.

5.4 Range … 49 다음은 범위(Range) 에 대한 한글 설명입니다. 수식은 수학적 기호로 그대로 표현하였습니다.

정의 및 계산

정의: 범위는 데이터 집합 내에서 가장 큰 값과 가장 작은 값의 차이를 의미합니다. 수학적으로, 데이터 집합 {x1,x2,…,xn}\{x_1, x_2, \dots, x_n\}가 있을 때 범위 RR는 다음과 같이 정의됩니다. R=max⁡(x1,x2,…,xn)−min⁡(x1,x2,…,xn)R = \max(x_1, x_2, \dots, x_n) - \min(x_1, x_2, \dots, x_n)
계산 방법:
1. 데이터 집합에서 최대값을 찾습니다.
2. 데이터 집합에서 최소값을 찾습니다.
3. 최대값에서 최소값을 빼면 범위가 계산됩니다.

예제

데이터 집합이 다음과 같다고 가정해 보겠습니다. {3,7,8,2,5,10,6}\{3, 7, 8, 2, 5, 10, 6\}

최대값: 1010
최소값: 22
범위: R=10−2=8R = 10 - 2 = 8

장점

계산의 간단함: 범위는 계산하기 매우 쉬우며, 직관적으로 데이터의 분포 폭을 파악할 수 있습니다.
데이터 분포의 빠른 파악: 전체 데이터 집합에서 극단값만을 이용하여 데이터가 얼마나 퍼져 있는지를 빠르게 확인할 수 있습니다.

한계

극단값(Outliers)에 민감함: 범위는 최대값과 최소값만을 고려하므로, 극단값에 의해 실제 데이터 분포의 특성이 왜곡될 수 있습니다.
세부 정보 부족: 데이터 집합 내 다른 값들의 분포나 중앙 집중 경향을 나타내지 못합니다. 따라서, 두 데이터 집합의 범위가 같더라도 내부 분포가 다를 수 있습니다.

사용 시기

초기 데이터 분석: 데이터의 분포와 변동성을 빠르게 확인할 때 유용합니다.
다른 데이터 집합 간 비교: 여러 데이터 집합의 전체적인 분산 정도를 비교하는 데 도움을 줄 수 있으나, 보다 세밀한 분석을 위해서는 분산, 표준편차, 사분위 범위(IQR) 등의 추가적인 지표가 필요합니다.

다른 분산 측정 지표와의 관계

분산과 표준편차: 이 두 지표는 데이터의 모든 값을 고려하여 분포의 폭을 보다 정밀하게 측정합니다.
사분위 범위(IQR): IQR은 중앙 50% 데이터의 범위를 측정하여 극단값의 영향을 줄이고 데이터의 중앙 집중 경향을 파악하는 데 유용합니다.

이와 같이 범위는 간단하지만 데이터 분포를 전반적으로 이해하는 데 기본적인 정보를 제공하는 중요한 통계적 지표입니다. 보다 정밀한 분석을 위해서는 범위 외에도 여러 통계 지표들을 함께 고려하는 것이 좋습니다.

5.5 Quartile … 50
- *사분위수(Quartiles)**는 정렬된 데이터(작은 값부터 큰 값 순서로 나열)에 대해, 데이터를 네 구간으로 나누는 지표입니다. 사분위수는 데이터를 25%, 50%, 75% 지점에서 끊는 값을 의미하며, 이 세 지점을 이용해 데이터가 어떻게 퍼져 있는지 간단히 파악할 수 있습니다.

사분위수의 정의

제1사분위수(Q1): 데이터를 하위 25% 지점에서 끊는 값
제2사분위수(Q2): 데이터의 중간값(중앙값) 또는 하위 50% 지점에서 끊는 값
제3사분위수(Q3): 데이터를 하위 75% 지점에서 끊는 값 결과적으로 Q1, Q2, Q3 세 점에 의해 데이터가 네 구간(사등분)으로 나누어집니다. 각 구간에는 전체 데이터의 대략 25%씩이 들어가게 됩니다.

사분위수 계산 방법 (개념적 접근)

데이터 정렬

데이터를 오름차순(작은 값부터 큰 값 순)으로 나열합니다.

제2사분위수(Q2) (중앙값) 찾기

데이터 개수를 이라 할 때, nn
- nn이 홀수이면 번째 값이 중앙값이 됩니다. n+12\frac{n+1}{2}
- nn이 짝수이면 번째 값과 번째 값의 평균이 중앙값이 됩니다. n2\frac{n}{2} (n2+1)\left(\frac{n}{2} + 1\right)

제1사분위수(Q1) 찾기

중앙값보다 작은 절반(하위 절반)의 데이터를 따로 뽑아, 그 부분집합의 “중앙값”을 구합니다.

제3사분위수(Q3) 찾기

중앙값보다 큰 절반(상위 절반)의 데이터를 따로 뽑아, 그 부분집합의 “중앙값”을 구합니다.

참고: 실제 통계 소프트웨어나 교재마다 사분위수 계산에 대한 “방식(방법)”이 조금씩 다를 수 있습니다. 짝수 개수의 데이터를 어떻게 처리하고, 중앙값이 포함될지 말지 등에서 차이가 납니다. 그러나 기본 개념은 같습니다.

예시

정렬된 9개의 데이터를 가정해 봅시다: 2, 3, 5, 6, 8, 9, 10, 13, 152, ; 3, ; 5, ; 6, ; 8, ; 9, ; 10, ; 13, ; 15

제2사분위수(Q2) (중앙값)

n=9n = 9 (홀수)
중앙값은 번째 값이므로, 5번째 값인 8이 중앙값(Q2)입니다. 9+12=5\frac{9+1}{2} = 5

제1사분위수(Q1)

하위 절반: 2, 3, 5, 6 (4개 값)
4개이므로 가운데 두 값(2번째와 3번째: 3과 5)의 평균이 Q1입니다.
3+52=4\frac{3 + 5}{2} = 4
따라서, Q1=4Q1 = 4

제3사분위수(Q3)

상위 절반: 9, 10, 13, 15 (4개 값)
4개이므로 가운데 두 값(2번째와 3번째: 10과 13)의 평균이 Q3입니다.
10+132=11.5\frac{10 + 13}{2} = 11.5
따라서, Q3=11.5Q3 = 11.5 즉, 사분위수는 Q1=4,Q2=8,Q3=11.5Q1 = 4, \quad Q2 = 8, \quad Q3 = 11.5 가 됩니다.

추가 지표: 사분위 범위 (IQR, Interquartile Range)

*사분위 범위(IQR)**는 로 정의합니다. Q3−Q1Q3 - Q1
이는 데이터의 중간 50% 구간의 폭을 나타내므로, 중간값 주변 데이터가 얼마나 퍼져 있는지를 잘 보여주며, 이상값(Outlier)의 영향이 적습니다.

핵심 정리

사분위수는 정렬된 데이터를 4등분하는 세 지표(Q1, Q2, Q3)입니다.
Q2(제2사분위수)는 중앙값과 동일합니다.
Q1, Q3는 각각 하위 절반, 상위 절반의 중앙값 역할을 합니다.
IQR(사분위 범위)은 로 중간 50%의 범위를 나타냅니다. Q3−Q1Q3 - Q1
사분위수는 상자그림(Box Plot), 이상값 탐지, 분포 이해 등 기초 탐색적 데이터 분석에서 자주 사용됩니다.

5.6 Interquartile range … 51
- *사분위 범위(Interquartile Range, IQR)**는 데이터의 **제1사분위수(Q1)**와 **제3사분위수(Q3)**의 차이로 정의합니다.

\text{IQR} = Q3 - Q1

Q1(제1사분위수): 하위 25% 지점의 값
Q3(제3사분위수): 하위 75% 지점의 값

IQR의 의미

중간 50% 범위

IQR은 데이터의 “가운데 50%”가 얼마나 넓게 퍼져 있는지를 나타냅니다.
분포에서 극단값(이상값, outlier)의 영향이 적습니다.

이상값(Outlier) 탐지

통상적으로, “사분위 범위 * 1.5”를 초과하는 정도로 떨어져 있는 값을 이상값으로 간주할 수 있습니다.
예: 하계 한계(LC)=Q1−1.5×IQR,상계 한계(UC)=Q3+1.5×IQR\text{하계 한계(LC)} = Q1 - 1.5 \times \text{IQR}, \quad \text{상계 한계(UC)} = Q3 + 1.5 \times \text{IQR}
이 범위 바깥에 있는 데이터를 이상값으로 판단합니다.

상자그림(Box Plot)

IQR은 상자그림(또는 박스플롯)에서 박스 구간의 길이를 결정합니다.
박스의 아래 경계선이 Q1, 위 경계선이 Q3이므로, 그 길이는 IQR과 같습니다.

예시

예를 들어, 다음과 같은 9개의 데이터가 있다고 해 봅시다(이미 정렬된 상태): 2, 3, 5, 6, 8, 9, 10, 13, 152, ; 3, ; 5, ; 6, ; 8, ; 9, ; 10, ; 13, ; 15

Q1=4Q1 = 4
Q2(중앙값)=8Q2(\text{중앙값}) = 8
Q3=11.5Q3 = 11.5 이를 바탕으로 사분위 범위를 구해보면, IQR=Q3−Q1=11.5−4=7.5\text{IQR} = Q3 - Q1 = 11.5 - 4 = 7.5

요약

사분위 범위(IQR): Q3−Q1Q3 - Q1
*중간 50%**가 어느 정도 폭을 가지는지 파악할 수 있음
이상값 탐지 및 데이터의 집중도를 살펴보는 데 유용
상자그림에서 박스 크기를 결정하는 중요한 지표

5.7 Example dispersion parameter … 51

Frequency table … 3 6.1 Absolute and relative frequencies … 54 6.2 Valid percent … 55 6.3 Frequency table in statistics … 56 6.4 Example frequency table … 57 6.5 Frequency table in APA style … 59

**Contingency table (Crosstab) ** 통계에서의 교차표(Contingency table/Crosstab)에 대해 체계적으로 설명해드리겠습니다. 7.1 교차표(Crosstabs)의 개념
- 교차표는 두 개 이상의 범주형 변수 간의 관계를 분석하기 위해 사용되는 통계적 도구입니다
- 행과 열로 구성된 표 형태로, 각 셀에는 해당 범주의 조합에 대한 빈도(frequency)가 표시됩니다
- 주로 질적 데이터(범주형 데이터) 분석에 사용됩니다 7.2 교차표의 해석
1. 행/열 백분율 (Row/Column Percentages)
- 행 백분율: 각 행의 합이 100%가 되도록 계산
- 열 백분율: 각 열의 합이 100%가 되도록 계산
- 전체 백분율: 전체 표본 중 각 셀이 차지하는 비율
1. 기대빈도 (Expected Frequencies)
- 두 변수가 독립일 때 기대되는 이론적 빈도
- 기대빈도 = (행의 합 × 열의 합) / 전체 표본 수 7.3 교차표 예시


성별과 흡연 여부의 관계

           흡연함    흡연안함    합계
남성        30        20        50
여성        10        40        50
합계        40        60       100

이 교차표의 해석:

전체 100명 중 남성 흡연자는 30명(30%)
남성 중 흡연자 비율: 30/50 = 60%
흡연자 중 남성 비율: 30/40 = 75% 7.4 교차표의 유의성 검정

카이제곱 검정(Chi-square test)

귀무가설: 두 변수는 서로 독립이다
검정통계량: χ² = Σ((관측빈도 - 기대빈도)²/기대빈도)
p-value < 유의수준(보통 0.05)이면 귀무가설 기각

Fisher의 정확검정(Fisher’s Exact Test)

표본 크기가 작을 때(일반적으로 5 미만의 기대빈도가 있는 경우) 사용
정확한 확률값을 계산 예시 해석:


카이제곱 검정 결과:
χ² = 15.625
p-value = 0.0001 < 0.05
→ 성별과 흡연 여부는 유의한 관계가 있다

위와 같이 교차표는 범주형 변수 간의 관계를 분석하는 데 매우 유용한 통계적 도구입니다. 특히 사회과학, 의학 연구 등에서 자주 활용되며, 적절한 통계적 검정을 통해 변수 간 관계의 유의성을 평가할 수 있습니다. 이러한 분석을 실제로 수행하기 위해서는 R, SPSS, Python 등의 통계 소프트웨어를 활용할 수 있습니다. 예를 들어, Python을 사용한 교차표 분석 예시를 보여드리겠습니다:


import pandas as pd
from scipy.stats import chi2_contingency
 
# 데이터 생성
data = {
    '성별': ['남성']*50 + ['여성']*50,
    '흡연': ['흡연']*30 + ['비흡연']*20 + ['흡연']*10 + ['비흡연']*40
}
df = pd.DataFrame(data)
 
# 교차표 생성
crosstab = pd.crosstab(df['성별'], df['흡연'])
 
# 카이제곱 검정 수행
chi2, p_value, dof, expected = chi2_contingency(crosstab)

가안 아래 내용은 통계학 교재에서 자주 다루는 **분할표(Contingency Table) 또는 교차표(Crosstab)**에 관한 설명입니다. 각 절(7.1~7.4)은 교과서식으로 구성을 시도했습니다.

7. 분할표(Contingency Table, Crosstab)

7.1 통계학에서의 분할표(Crosstab)의 개념

*분할표(교차표)**는 두 개 이상의 범주형 변수가 있을 때, 각 범주(집단) 조합에 따른 빈도수를 표 형태로 나타낸 것입니다.
예: “성별(남/여)”과 “선호 제품(A/B/C)”이 범주형 변수라면, 각 성별 × 각 제품 선호도에 해당하는 교차 빈도수를 표로 요약할 수 있습니다.
자료를 이차원 표(또는 그 이상의 다차원 표)로 정리함으로써, 범주형 변수들 간의 관계를 빠르게 파악할 수 있습니다.

주요 용도

7.2 분할표 해석(Interpretation of Crosstabs)

분할표를 해석할 때는 다음과 같은 점을 주의 깊게 봅니다.

절대 빈도(Frequency)와 상대 빈도(Proportion)의 비교

단순히 표에 제시된 빈도 수(예: 남성 중 A제품 선호자 30명)를 확인하는 것 외에, 표 내 항목들의 **전체 대비 비율(%)**을 함께 살펴야 보다 정확한 비교가 가능합니다.
예를 들어, 남성 중 A제품 선호자 30명이 많아 보여도, 남성 전체가 300명이라면 10%가 되며, 여성 전체가 100명인데 A제품 선호자가 20명이라면 20%가 됩니다. 이처럼 비율을 비교함으로써 실제로 어느 그룹에서 더 높은 ‘선호율(비율)’을 보이는지 판단할 수 있습니다.

행(가로 방향)과 열(세로 방향) 요약

분할표의 각 행의 합(row total)과 열의 합(column total)을 확인해보면, 특정 범주의 전체 규모가 얼마나 되는지 파악할 수 있습니다.
이를 통해 “어느 그룹이 가장 큰 규모를 차지하는지”, “어느 제품이 전체적으로 가장 선호도가 높은지” 등을 한눈에 알 수 있습니다.

범주 간 관계의 직관적 파악

분할표만 보더라도, 특정 집단과 특정 범주 간에 눈에 띄는 비율 차이가 있다면, 두 변수 간에 유의미한 관계가 있을 것으로 추정할 수 있습니다.
그러나 실제로 통계적으로 유의한 차이인지는 별도의 검정(예: 카이제곱 검정)을 통해 확인해야 합니다.

7.3 분할표 예시(Example Crosstab)

다음 예시는 “성별(남, 여)”과 “커피 브랜드 선호도(Brand A, Brand B, Brand C)” 두 변수를 가지고 만든 2×3 분할표입니다. (예시 수치는 가상의 데이터)

	Brand A	Brand B	Brand C	합계
남성	40	70	30	140
여성	60	40	60	160
합계	100	110	90	300

(1) 빈도 비교

남성/여성 전체 인원: 남성 140명, 여성 160명 (합계 300명)
브랜드별 선호도: A = 100, B = 110, C = 90

(2) 비율 비교

분할표를 비율(%) 형태로 변환하면, 상대 비교가 더 용이합니다.

	Brand A(%)	Brand B(%)	Brand C(%)	합계(명)
남성	(40/140)×100=28.6%	(70/140)×100=50.0%	(30/140)×100=21.4%	140
여성	(60/160)×100=37.5%	(40/160)×100=25.0%	(60/160)×100=37.5%	160
합계	100/300=33.3%	110/300=36.7%	90/300=30.0%	300

이 표를 보면,

남성은 Brand B 선호율(50.0%)이 가장 높음
여성은 Brand A와 Brand C 선호율이 각각 37.5%로 같고, Brand B 선호율(25.0%)은 상대적으로 낮음
전체적으로 Brand B가 36.7%로 가장 많이 선택됨

해석: 남성은 B를 선호하는 경향이, 여성은 A와 C를 선호하는 경향이 두드러져 보입니다.

7.4 분할표 유의성 검정(Testing a Crosstab for Significance)

분할표에 나타난 빈도나 비율 차이가 우연인지, 아니면 통계적으로 유의미한 관련성(association) 또는 독립성의 결여를 보이는 것인지를 확인하기 위해 다음과 같은 검정을 실시합니다.

카이제곱 검정(Chi-square test)

범주형 변수 두 개가 있을 때, 이 둘이 서로 **독립(무관)**인지 또는 관련이 있는지를 검정하는 대표적인 방법입니다.
귀무가설(): “두 변수는 독립이다.” (즉, 연관성이 없다) H0H_0
대립가설(): “두 변수는 독립이 아니다.” (즉, 연관성이 있다) H1H_1
실제 데이터(관측 빈도, Observed Frequency)를 통해 얻은 분할표와, “독립”을 가정했을 때의 기대 빈도(Expected Frequency) 간의 차이가 통계적으로 유의한지를 계산합니다.

유의 수준(α\alpha)과 p-값

보통 유의 수준을 0.05(5%)로 설정합니다.
검정 결과에서 p-값이 0.05 미만이면, 귀무가설을 기각하고 “두 변수 간에는 유의미한 상관이 있다”고 결론 내립니다.
p-값이 0.05 이상이면, “자료 상에서는 두 변수 간의 관계를 발견하지 못했다”고 해석합니다(귀무가설 채택).

주의사항

카이제곱 검정은 기대 빈도(각 칸)의 값이 지나치게 작은 경우(예: 5 미만) 결과 해석에 주의가 필요합니다.
셀의 빈도수가 매우 작을 경우(특히 1 이하), Fisher의 정확 검정(Fisher’s exact test) 등 다른 방법을 고려하기도 합니다.

요약

*분할표(교차표)**는 범주형 변수들 간의 관계를 확인하기 위한 핵심 도구입니다.
표에 나타난 빈도와 비율을 함께 살펴봄으로써 집단 간 차이를 더 명확히 이해할 수 있습니다.
표에서 보이는 차이가 우연인지, 실제로 통계적으로 유의미한 차이인지는 카이제곱 검정 등의 독립성 검정을 통해 확인합니다.
분할표 해석 시 자료 규모, 셀 빈도, 표본 추출 방식 등에 주의하며, 적합한 통계 검정을 수행해야 합니다.

교차표는 결과를 시각적으로 파악하기 쉽고, 통계적 가설 검정을 수행할 때도 매우 유용합니다. 따라서 범주형 자료 분석에서 빠질 수 없는 기본적인 분석 기법입니다.

7.1 Crosstabs in statistics … 60

Charts… 64

8.1 Bar chart … 65 8.2 Bar chart for frequencies… 66

8.3 Grouped bar charts … 67 8.4 Bar chart for mean values … 68 8.5 Error bar … 68 8.6 Example bar chart… 69 8.7 Histogram … 71 8.8 Histogram example … 72 8.9 Bar chart vs. Histogram … 73 8.10 Scatter plot … 74 8.11 Line charts … 75 8.12 Boxplot … 76 8.13 Bland-Altman plot … 81 8.14 Create charts online with DATAtab … 85

Inferential Statistics … 87

9.1 Hypotheses … 87 아래 내용은 통계학 또는 연구방법론 교재에서 흔히 다루는 가설(Hypotheses) 관련 개념을 다룬 장(9장)입니다. 각 절(9.2~9.5)은 책 구성에 맞추어 서술하였습니다.

9. 가설(Hypotheses)

가설은 연구자가 어떤 현상을 설명하거나 예측하기 위해 설정하는 검증 가능한 잠정적 주장입니다.

예: “공부시간이 늘어날수록 시험 성적이 올라갈 것이다.”
연구 문제를 보다 구체적으로 수치화하거나, 실험 및 관찰을 통해 검증할 수 있도록 만드는 것이 가설 설정의 핵심입니다.

9.2 영가설(Null Hypothesis)과 대립가설(Alternative Hypothesis)

9.2.1 영가설(Null Hypothesis, H0H_0)

정의: “연구자가 제시하는 효과나 차이가 없다” 혹은 “두 변수 간에 관련성이 없다” 등과 같이, 연구자가 찾고자 하는 현상이 존재하지 않는다고 가정하는 가설
예:
- “공부시간과 시험 성적 사이에는 아무런 상관관계가 없다.”
- “집단 A와 집단 B 간 평균 차이는 없다.” 영가설은 통계적 가설검정에서 기각 대상이 되며, 통계분석을 통해 귀무가설이 옳지 않다는(‘현상이 존재한다’) 증거가 충분할 경우 영가설이 기각되고, 대립가설이 채택되는 식의 과정이 일반적입니다.

9.2.2 대립가설(Alternative Hypothesis, H1H_1 또는 HaH_a)

정의: 영가설의 반대 주장을 담고 있으며, 연구자가 검증하고자 하는 효과나 차이 혹은 관련성이 있다고 주장하는 가설
예:
- “공부시간이 늘어날수록 시험 성적이 유의미하게 올라간다.”
- “집단 A와 집단 B 간 평균이 서로 다르다.” 대립가설은 연구자가 입증하려는 진술을 담고 있으며, 통계검정에서 영가설을 기각할 수 있는 증거가 충분하면 대립가설이 채택됩니다. 실제 연구에서는 보통 대립가설이 연구 가설(Research Hypothesis)과 동일한 경우가 많습니다.

9.3 차이 가설(Difference Hypothesis)과 상관 가설(Correlation Hypothesis)

연구 문제에 따라 가설은 크게 “차이” 또는 “연관성” 중심으로 분류할 수 있습니다.

9.3.1 차이 가설(Difference Hypothesis)

정의: 두 집단(또는 그 이상) 간 **어떤 측정값(예: 평균, 비율)**이 서로 다르다고 주장하는 가설
예: “새로운 교수법을 적용한 집단과 기존 교수법을 적용한 집단 사이에 시험 성적의 평균 차이가 있을 것이다.”
통계분석: t-검정, ANOVA(분산분석) 등을 활용해 집단 간 평균 차이의 유의성을 살핍니다.

9.3.2 상관 가설(Correlation Hypothesis)

정의: 두 변수 간에 **연관성(상관관계)**이 존재한다고 주장하는 가설
예: “광고비 지출이 늘어날수록 제품 판매량도 증가할 것이다.”
통계분석: 상관분석, 회귀분석 등을 통해 두 변수 간 관계의 강도와 방향(양의 상관, 음의 상관)을 검증합니다.

주의: 상관이 있다고 해서 **인과관계(원인-결과)**가 곧장 증명되는 것은 아닙니다. 상관은 단순히 두 변수의 움직임이 함께 변한다는 정도의 정보만 제공합니다.

9.4 단측 가설(Directional Hypothesis)과 양측 가설(Nondirectional, Two-tailed Hypothesis)

가설은 제시된 차이나 관계가 어느 방향으로 나타나는지에 따라 아래와 같이 구분됩니다.

9.4.1 단측 가설(Directional or One-tailed Hypothesis)

정의: 특정 방향성을 명확히 제시하는 가설 (예: ‘더 크다’, ‘더 작다’, ‘양의 상관’ 등)
예:
- “집단 A의 평균 점수가 집단 B의 평균 점수보다 높을 것이다.”
- “나이가 많을수록 운동 참여 빈도가 낮아진다.” (음의 방향성 제시)
특징:
- 통계검정 시 **단측 검정(One-tailed Test)**을 적용
- 방향이 명확하므로 데이터가 가설에서 제시한 방향과 반대 방향으로 나오면 쉽게 기각

9.4.2 양측 가설(Nondirectional or Two-tailed Hypothesis)

정의: 두 집단 간 차이가 존재하기만 하면 된다는 식으로, 구체적인 방향성(누가 더 큰지, 더 작은지 등)은 제시하지 않는 가설
예:
- “집단 A와 집단 B의 평균 점수는 차이가 있을 것이다(크다/작다 특정 X).”
- “두 변수 간에는 유의미한 상관관계가 존재한다(양 or 음 상관 불특정).”
특징:
- 통계검정 시 **양측 검정(Two-tailed Test)**을 적용
- 방향성이 없으므로, 관측값이 기준보다 크게 벗어나든 작게 벗어나든 양쪽 끝단 모두에서 귀무가설 기각 여부를 판단

연구 목적이 “특정 방향으로의 효과”를 확인하고 싶다면 단측 가설을, “단지 차이가 있는지 없는지 자체”를 보고 싶다면 양측 가설을 설정합니다.

9.5 가설검정(Hypothesis Testing)

가설검정은 “표본에서 얻은 자료를 통해, 설정한 가설(영가설)을 기각하거나 기각하지 못하는 의사결정을 내리는 과정”입니다.

9.5.1 통계적 가설검정의 기본 절차

가설 설정:

영가설()과 대립가설() 수립 H0H_0 H1H_1
예: : “두 집단 평균 차이가 없다.” / : “두 집단 평균 차이가 있다.” H0H_0 H1H_1

유의수준(α\alpha) 결정:

연구자가 허용할 수 있는 오류 확률(Type I error, )을 설정 (일반적으로 0.05) α\alpha
α\alpha가 0.05라는 것은, 100번 실험 시 대략 5번 정도는 ‘실제로는 효과가 없는데(영가설 참), 우연히 효과가 있는 것처럼 보이는 결과(영가설을 잘못 기각하는)’를 허용한다는 의미

검정 통계량 계산:

t-검정, F-검정(분산분석), 카이제곱검정 등 상황에 맞는 검정 방법을 선택하고, 표본 데이터로부터 검정 통계량(Test Statistic)을 산출

p-값 결정:

검정 통계량을 바탕으로 p-값을 구함 (확률적 기준)
p-값: “영가설이 참일 때, 현재 관측한 데이터(또는 더 극단적인 값)가 나올 확률”

결론 도출:

p-값 ≤ 이면: 영가설 기각 → “대립가설이 채택될 정도로 충분한 증거가 있다.” α\alpha
p-값 > 이면: 영가설 기각 불가 → “자료만으로 영가설을 기각할 증거가 충분하지 않다.” (영가설 유지) α\alpha

9.5.2 오차 유형(Type I & Type II Error)

유형 I 오류(Type I Error, α\alpha): 실제로 효과가 없는데(영가설이 참인데)도, 우연 등으로 인해 효과가 있다고 잘못 결론(영가설을 기각) 내리는 오류
유형 II 오류(Type II Error, β\beta): 실제로 효과가 있는데(영가설이 거짓인데), 데이터를 통해 그 효과를 발견하지 못하고 영가설을 기각하지 않는 오류 연구자는 보통 “유형 I 오류”의 위험(즉, α\alpha값)을 미리 설정해두고 이를 기준으로 가설검정을 수행합니다.

요약

영가설과 대립가설:

영가설은 ‘효과(차이, 관계)가 없다’는 주장, 대립가설은 ‘효과가 있다’는 주장.

차이 가설 vs. 상관 가설:

차이 가설: 집단 간 평균 차이 검증 / 상관 가설: 두 변수 간의 관련성 검증

단측 vs. 양측 가설:

단측은 특정 방향(크다, 작다 등)을 명시 / 양측은 단순히 다르다는 사실만 주장

가설검정:

표본으로부터 검정 통계량 산출 → p-값 계산 → 유의수준 와 비교 → 영가설 기각 여부 결정 α\alpha

오류 유형:

Type I(): 실제로 효과가 없는데 효과가 있다고 잘못 판단 α\alpha
Type II(): 실제로 효과가 있는데 없다고 잘못 판단 β\beta

가설 설정과 가설검정은 모든 통계 분석과 연구 설계의 출발점입니다. 연구 질문에 맞는 가설을 세우고, 적절한 검정 방법을 택하여, 통계적으로 의미 있는 결론을 도출해내는 것이 핵심입니다.

9.2 Null and alternative hypothesis… 90

Hypothesis

9.5.1 Hypothesis testing and the null hypothesis … 97

9.6 The p-value … 106

9.6 p-값(The p-value)

*p-값(p-value)**은 통계적 가설검정에서 가장 널리 사용되는 지표 중 하나로, “영가설(Null Hypothesis)이 참일 때, 현재 관측된 데이터(또는 이보다 더 극단적인 결과)가 나올 확률”을 의미합니다. 연구자는 p-값을 보고 영가설을 기각할지, 기각하지 않을지를 결정하게 됩니다.

9.6.1 p-값의 정의 (Defining the p-value)

p-값을 이해하는 핵심 포인트는 아래와 같습니다.

영가설(Null Hypothesis)의 전제

p-값은 “영가설이 참이라고 가정”하고 계산됩니다.
예: “새로운 치료법과 기존 치료법 간 효과 차이가 없다,” “두 변수는 서로 관련이 없다” 등.

관측값(또는 극단값) 출현 확률

p-값은 관측된 통계량(예: t 통계량, F 통계량)이 얼마나 극단적인지를 나타내는 지표입니다.
만약 p-값이 매우 작다면, 관측된 결과가 영가설 하에서는 “희박한” 일임을 의미합니다.

결정 기준

통계적으로 “p-값 ≤ 유의수준()”이면, “이처럼 극단적인 결과가 우연히 일어날 가능성이 낮다”고 보아 영가설을 기각합니다. α\alpha

9.6.2 p-값의 활용(Using the p-value)

p-값을 실제 연구나 실험에서 활용하는 방식은 다음과 같습니다.

유의수준(α\alpha) 설정

일반적으로 0.05(5%) 또는 0.01(1%) 등으로 결정.

통계분석 수행

t-검정, 분산분석(ANOVA), 카이제곱 검정(χ²), 회귀분석 등 적절한 검정을 통해 p-값 계산.

p-값과 α\alpha 비교

p-값 ≤ α\alpha: 영가설 기각 → “연구자가 주장하는 효과(또는 차이, 상관)가 있을 가능성이 높다.”
p-값 > α\alpha: 영가설 기각 불가 → “자료만으로는 효과가 있다고 단정 지을 만한 충분한 근거가 없다.”

결과 보고

연구 보고서나 논문에서는 흔히 “” 형태로 표기하며, 별표(*, **, ***) 등을 사용해 유의 수준을 나타내기도 함. p<.05p < .05

9.6.3 유의수준(Significance Level)

*유의수준()**은 “영가설이 참일 때, 우연에 의해 그 영가설을 잘못 기각하게 될 확률의 최대 허용치”를 뜻합니다. α\alpha

표준값: (5%), (1%) 등이 자주 사용됩니다. α=0.05\alpha = 0.05 α=0.01\alpha = 0.01
의사결정 기준: p-값이 이하로 낮으면, “우연으로 보기 힘들다”고 판단하고 영가설을 기각. α\alpha
연구자 판단: 맥락에 따라 값을 조정할 수 있습니다(예: 매우 중요한 의사결정에서는 를 0.01 또는 더 낮게 설정). α\alpha α\alpha

주의: α\alpha 값이 너무 작으면(예: 0.0001) 귀무가설 기각이 매우 어려워질 수 있고, 너무 크면(예: 0.10) 잘못된 기각(Type I 오류)이 잦아질 수 있습니다.

9.6.4 단측 p-값(One-tailed p-values)

가설이 특정 방향(크다, 작다, 양의 상관, 음의 상관 등)을 명시할 경우, **단측 검정(One-tailed Test)**을 사용하고 그 결과로 단측 p-값을 산출합니다.

예시

“새로운 약물이 기존 약물보다 효과가 크다”라는 단측 가설을 세운다면, 검정 시 통계적으로 “새 약물이 더 좋다”는 방향으로만 극단값을 계산합니다.

장단점

장점: 방향을 알고 있는 경우, 검정력(파워)이 조금 더 높아집니다(= 효과를 더 쉽게 발견 가능).
단점: 관측 결과가 반대 방향(약물이 오히려 나쁘게 나온 경우)으로 나오면, 기각이 훨씬 더 어려워집니다.

연구 목적

실제 연구에서는 양측 검정이 기본적이며, 단측 검정은 연구자가 확신하는 명확한 방향성이 있을 때 제한적으로 사용됩니다.

9.6.5 p-값 계산하기(Calculate p-value)

p-값은 주로 통계 소프트웨어(예: R, SPSS, Python Statsmodels, SAS, Minitab 등)를 통해 자동으로 산출됩니다. 그러나 개념적으로는 다음 과정을 거칩니다.

검정 통계량(Test Statistic) 계산

예: t-검정에서 t 통계량, F-검정에서 F 통계량, 카이제곱 검정에서 χ² 통계량 등을 표본 데이터로부터 구함.

이론분포(Distribution) 활용

해당 검정이 가정하는 확률분포(예: t-분포, F-분포, χ²-분포)를 이용하여, 관측된 검정 통계량 이상(또는 이하)의 극단값이 나타날 확률을 적분(또는 누적) 계산.

최종 p-값 산출

통계량이 얼마나 희귀한 값인지에 따라 p-값이 결정됨.
보통 소프트웨어가 해 주는 p-값을 직접 계산할 일은 드뭅니다. 하지만 개념상은 분포상의 적분 면적을 구하는 과정입니다.

9.6.6 통계적 검정과 p-값(Statistical tests and the p-value)

p-값은 다양한 통계 검정 방법에서 산출되는 공통 지표입니다.

t-검정(t-test)

집단 간 평균 차이 검정.
t 통계량 → t-분포 → p-값.

분산분석(ANOVA)

세 집단 이상 평균 비교.
F 통계량 → F-분포 → p-값.

카이제곱 검정(χ² test)

범주형 자료(교차표)에서 독립성 검정.
χ² 통계량 → 카이제곱 분포 → p-값.

회귀분석(Regression Analysis)

독립변수와 종속변수 간 선형관계 검정.
t-값(F-값) → p-값으로 각 회귀계수의 유의성 판단.

주의: p-값은 검정 종류에 따라 의미가 다소 다를 수 있으나, 기본 논리는 “영가설이 참일 때, 이런 결과가 나타날 우연 확률”이라는 점에서 동일합니다.

9.6.7 p-값 보고 방식(Specify the p-value)

결과 보고 시, p-값을 어떻게 제시할지 결정해야 합니다.

일반적 관행

“”, “”, “” 등으로 표기. p<.05p < .05 p<.01p < .01 p=.034p = .034
0.000보다 더 작은 값이라 해도 “”로 간단히 적는 경우 많음. p<.001p < .001

정밀 표기

때로는 정확한 p-값(예: )을 제시하기도 합니다. p=0.0027p = 0.0027
메타분석 등에서 미세 차이가 중요할 경우 정밀한 값 제시가 선호됨.

별표 표시(asterisks)

예:
- “*” for p<.05p < .05
- “**” for p<.01p < .01
- “***” for p<.001p < .001
그래프나 표에서 빠르게 유의차이를 표현할 때 유용.

연구 분야나 저널 가이드라인에 따라 p-값 보고 형식이 다를 수 있습니다. 요점은 읽는 사람이 통계적 유의성과 해석을 명확히 알 수 있도록 표시하는 것입니다.

요약

p-값의 의미: 영가설이 참일 때, 관측된(또는 더 극단적인) 통계량이 나올 확률
p-값 사용 절차:

(1) 유의수준() 설정 α\alpha
(2) 적절한 통계검정 시행
(3) p-값 도출 및 와 비교 → 영가설 기각 여부 결정 α\alpha

유의수준(9.6.3)과 단측/양측 검정(9.6.4):

α\alpha = 0.05가 일반적
연구 목적에 따라 단측 or 양측 p-값 사용

p-값 계산(9.6.5):

검정 통계량을 해당 분포에 대입 → 극단값이 나타날 확률 적분

검정 종류(9.6.6):

t-검정, ANOVA, χ² 검정, 회귀분석 등 거의 모든 통계적 가설검정에서 p-값 활용

보고 방식(9.6.7):

“”, “”, “*” 등 다양한 표기 p<.05p < .05 p=.003p = .003
논문의 형식, 학문 분야별 관행에 맞게 보고

결론: p-값은 통계적 유의성을 평가하는 핵심 지표이지만, 결과 해석 시 효과크기(Effect Size), 표본크기, 연구 맥락 등을 함께 고려해야 합니다. p-값만으로 연구 결과의 중요성을 섣불리 단정 짓지 않도록 유의해야 합니다.

9.6.1 Defining the p-value …

Checking assumptions of statistical tests … 114

10.1 Levene test of variance homogeneity Levene의 등분산성 검정(Levene’s Test for Homogeneity of Variance)
1. 개념
- 두 개 이상의 집단에서 분산이 동일한지를 검정하는 통계적 방법입니다
- ANOVA나 t-test의 기본 가정인 등분산성을 확인하는데 사용됩니다
- 이분산성에 대해 강건한(robust) 특성을 가지고 있어 널리 사용됩니다
1. 가설
- 귀무가설(H₀): 모든 집단의 분산이 동일하다 (σ₁² = σ₂² = … = σₖ²)
- 대립가설(H₁): 적어도 한 집단의 분산이 다르다
1. 검정 통계량


W = (N-k)Σᵢ(nᵢ(Z̄ᵢ.-Z̄..)²) / (k-1)Σᵢ Σⱼ(Zᵢⱼ-Z̄ᵢ.)²

여기서:
N = 전체 표본 크기
k = 집단의 수
nᵢ = i번째 집단의 표본 크기
Zᵢⱼ = |Yᵢⱼ - Ỹᵢ|  (Ỹᵢ는 i번째 집단의 중앙값)

의사결정

p-value < α (보통 0.05)이면 귀무가설을 기각
귀무가설이 기각되면 등분산성 가정이 위배됨을 의미

Python 코드 예시


from scipy import stats
import numpy as np
 
# 예시 데이터
group1 = [2.1, 2.3, 2.2, 2.4, 2.1]
group2 = [2.5, 2.3, 2.7, 2.6, 2.4]
group3 = [2.2, 2.4, 2.3, 2.1, 2.5]
 
# Levene 검정 수행
stat, p_value = stats.levene(group1, group2, group3)
 
print(f'Levene statistic: {stat:.4f}')
print(f'p-value: {p_value:.4f}')

결과 해석

p-value > 0.05: 등분산성 가정을 만족 (집단 간 분산이 동일하다고 볼 수 있음)
p-value ≤ 0.05: 등분산성 가정을 위배 (집단 간 분산이 다르다고 볼 수 있음)

등분산성 가정이 위배될 경우의 대처방법

Welch’s ANOVA 사용
데이터 변환 (로그변환, 제곱근변환 등)
비모수적 방법 고려 (Kruskal-Wallis 검정 등)

주의사항

표본 크기가 작을 경우 검정력이 낮을 수 있음
정규성 가정에서 벗어난 경우에도 비교적 안정적
Brown-Forsythe 검정은 Levene 검정의 변형으로, 중앙값 대신 평균을 사용
10.2 Levene test example… 116

Levene 검정(Levene Test) : 분산의 등분성 검정

통계 분석(ANOVA, t-검정, 회귀분석 등)에서 자주 사용하는 전제조건 중 하나는, 비교하는 집단(그룹)들의 분산이 서로 동일하다는 가정(분산 동질성, Homoscedasticity)입니다. 분산이 서로 다를 경우, 전통적인 가정 하에 사용하는 검정들이 왜곡된 결과를 낼 수 있습니다. Levene 검정은 여러 개의 집단이 있을 때, 그 집단들 간 분산이 같은지(등분산성)를 확인하는 데 사용되는 대표적인 기법입니다. 만약 Levene 검정 결과, 각 집단의 분산이 같지 않다고 나오면, 다른 분석 기법(예: Welch ANOVA) 또는 등분산 가정을 하지 않는 검정을 고려해야 합니다.

1. Levene 검정의 목적

영가설(H0H_0): 모든 집단의 분산이 동일하다.
대립가설(HaH_a): 적어도 한 집단의 분산이 나머지 집단과 다르다. Levene 검정에서 p-값이 유의 수준( $\alpha$ , 예: 0.05)보다 작으면, 집단 간 분산이 동일하다는 가설(영가설)을 기각하고, 등분산 가정이 깨졌다고 해석합니다.

2. Levene 검정을 사용하는 시점

ANOVA를 실시하기 전에

ANOVA(분산분석)는 집단 간 분산이 동일하다는 전제를 깔고 있으므로, 실제 분석 전 Levene 검정을 실시해 이 가정이 타당한지 확인합니다.

t-검정(2집단 비교) 시

집단이 2개인 경우, 전통적으로는 F-검정을 사용해 등분산성을 보거나, 소프트웨어가 자동으로 “이분산 t-검정(Welch t-검정)”을 제시하기도 합니다.
그러나 Levene 검정이 정규성에서 벗어난 상황에서도 좀 더 견고(robust)하다고 알려져 자주 사용됩니다.

데이터 분포가 정규성에서 벗어날 때

정규 분포 가정에 민감한 Bartlett 검정과 달리, Levene 검정은 비정규 분포에도 비교적 강인하게 작동합니다.

3. Levene 검정의 작동 방식

3.1 검정 통계량(Test Statistic) 산출

가령 $k$ 개의 집단이 있고, 각 집단의 크기가 $n_i$ 라 하며, 전체 표본 크기는 $N = \sum_{i=1}^{k} $$n_i$ 라고 합시다. Levene 검정은 다음 아이디어로 이루어집니다.

각 집단의 중심값(평균 또는 중앙값) 계산

전통적인 Levene는 평균을 사용합니다.
Brown–Forsythe 검정은 중앙값(median)을 이용해 이상값이나 치우침에 더 강인하도록 고안되었습니다.

절댓값 편차 계산

각 집단 에서 관측값 이 있을 때, 집단의 평균() 혹은 중앙값과의 절댓값 편차를 구합니다.

z_{ij} = |x_{ij} - \bar{x}_i|.

이 $z_{ij}$ 값으로 ANOVA 실시

이렇게 구한 절댓값 편차들에 대하여, “집단 간 평균(또는 중앙값) 차이”가 유의한지를 판단하는 식으로 진행합니다.
실질적으로는 이 편차값들을 대상으로 집단 간 변동 / 집단 내 변동 비율(유사한 F-통계)을 계산하여, 분산이 동일한지를 보는 방식입니다.

3.2 검정 통계량의 분포

영가설 하에서, Levene 통계량 $W$ 는 근사적으로 F-분포((k-1)와 (N-k) 자유도) 를 따릅니다.
계산 결과 얻어진 p-값이 유의 수준( $\alpha$ )보다 작으면, 집단 간 분산이 다르다고 결론짓습니다.

4. 결과 해석

**p-값 ≥ $\alpha$ **(예: 0.05 이상)

영가설 기각 불가
집단 간 분산이 다르다고 보기에 충분한 증거가 없음 → 등분산 가정을 유지해도 괜찮음.

**p-값 < $\alpha$ **(예: 0.05 미만)

영가설 기각
적어도 하나의 집단이 다른 집단들과 다른 분산을 가짐 → 등분산 가정이 깨짐.
여러 집단 비교 시 Welch ANOVA, 두 집단 비교 시 Welch t-검정 등 등분산을 가정하지 않는 방법 사용을 고려해야 함.

5. 실무적 고려사항

중심값 선택(평균 vs. 중앙값)

이상값(Outlier)이나 비정규 분포 영향이 큰 데이터라면, 중앙값을 사용하는 Brown-Forsythe 검정이 더 강인합니다.
전통적인 Levene는 평균을 사용.

표본 크기와 균형

표본 크기가 극단적으로 작거나 편중(unbalanced)되어 있으면, 검정의 힘(Power)이 떨어질 수 있습니다.

데이터 분포

Levene 검정은 Bartlett 검정보다 비정규 분포에 더 견고하지만, 극단적으로 왜곡된 분포에서는 결과 해석에 주의가 필요합니다.

여러 번의 Levene 검정

여러 집단 세트를 반복해서 Levene 검정을 수행하면, 유의수준 조정(다중 검정 보정) 등을 고려해야 합니다.

6. 예시(예시 상황)

예를 들어 세 개의 교육 방법(집단 A, B, C)에 대한 학업 성취도(점수) 분산이 같은지 미리 확인하고 싶다고 합시다.

데이터 수집:

A: 10명, B: 12명, C: 11명. 각 집단별 평균은 70(A), 72(B), 75(C).

Levene 검정 수행:

각 학생의 점수가 자기 집단 평균으로부터 얼마나 떨어져 있는지 절댓값 편차 산출.
검정 통계량 및 p-값을 도출.

해석:

p-값이 0.05 이상이면 분산 차이가 유의하지 않으므로, ANOVA(등분산 가정)를 진행.
p-값이 0.05 미만이면 등분산 가정이 깨졌으므로 Welch ANOVA 등 대안을 고려.

7. 핵심 요약

목적: 여러 집단 간 분산 동질성(등분산) 가정을 확인.
영가설: 모든 집단의 분산이 동일함.
강인성: Bartlett 검정보다 정규성 가정에서 비교적 자유로움.
해석: 유의수준 이하의 p-값이면 등분산 가정 기각 → 분산이 다른 집단 존재.
변형: Brown-Forsythe 검정(중앙값 사용)으로 이상값 영향 최소화 가능.

결론

Levene 검정은 집단 간 분산이 동일한지 여부를 파악해, 이후 적용할 통계 기법이 등분산 가정(예: 일반 ANOVA)을 안전하게 사용할 수 있는지 알려주는 중요한 단계입니다. 만약 Levene 검정 결과 p-값이 유의수준보다 작아 등분산이 깨졌다는 결론이 나오면, 대안적 방식(Welch ANOVA, Welch t-검정, 비모수 검정 등)으로 분석해야 왜곡 없이 정확한 결과를 얻을 수 있습니다.

Tip: 가설검정 결과뿐만 아니라, 실제 그룹별 분산 혹은 표준편차를 살펴보는 것도 현실적인 해석에 유익합니다.

10.3 Interpreting the Levene Test … 118

10.4 Normality test… 119

정규성 검정(Normality Test)

통계적 가설검정이나 회귀분석, 분산분석(ANOVA) 등에서 자주 전제되는 중요한 가정 중 하나는 자료(오차 항)의 분포가 정규분포를 따른다는 것입니다. 이 가정이 만족되지 않으면, 해당 분석 방법이 부정확하거나 왜곡된 결과를 낼 수 있습니다. 따라서 정규성 검정을 통해 데이터가 어느 정도 정규분포에 부합하는지 확인하는 과정이 필요합니다.

1. 정규성 검정의 목적

가정 점검

t-검정, ANOVA, 회귀분석 등에서 오류항이 정규분포를 이룬다고 가정할 때, 이 가정이 타당한지 검사.

분석 기법 선택

정규성 가정이 크게 어긋나면 비모수적(non-parametric) 방법, 혹은 자료 변환(로그 변환 등) 등을 고려해야 함.

2. 대표적인 정규성 검정 기법

2.1 Kolmogorov-Smirnov (K-S) 검정

원리: 표본 누적분포함수(CDF)와 정규분포의 이론적 누적분포를 비교하여, 두 분포 간 최대 차이를 측정
장점: 일반적인 분포 적합도 검정으로도 활용 가능
단점: 샘플 크기가 작을 경우 검정력이 낮고, 대규모 표본에서는 사소한 차이도 유의하게 잡아낼 수 있어 실제 “데이터가 크게 비정규적이지 않음”에도 기각될 수 있음.

2.2 Shapiro-Wilk 검정

원리: 표본 분산과 순위(또는 기대값)를 이용해 정규분포와의 유사도를 산출
장점: 소표본(예: n < 50)에서도 상당히 강력하며, 중소규모 표본에 흔히 사용
단점: 매우 큰 표본에서 역시 지나치게 민감하게 반응할 수 있음

2.3 Anderson-Darling 검정

원리: 정규분포 누적분포함수와 실제 데이터의 누적분포 간 차이를 측정하되, 분포의 꼬리(tails)에 더 가중치를 둬 비정규성(특히 꼬리 부근 왜곡)을 감지
장점: 꼬리 부분의 분포 차이를 민감하게 탐지
단점: K-S 검정보다 계산이 조금 복잡

2.4 Q-Q Plot(Quantile-Quantile Plot) 시각적 확인

정규성 검정을 보조하는 비공식적 방법.
이론적 정규분포의 분위수(quantile)와 실제 데이터의 분위수를 비교하는 그래프를 그려, 점들이 대각선 근방에 고르게 분포하면 정규분포라고 볼 수 있음.
검정 통계량(p-값)은 제시하지 않지만, 왜도(Skewness)나 꼬리(Tail) 이상 여부 등을 직관적으로 파악 가능.

3. 검정 결과 해석

영가설(H0H_0): “데이터(오류항)는 정규분포를 따른다.”
p-값 ≥ 유의수준(예: 0.05) → 영가설 기각 불가

“정규분포에서 크게 벗어난다고 보기 어렵다.”
분석 시 정규성 가정을 사용해도 무방할 가능성이 높음.

p-값 < 유의수준 → 영가설 기각

“데이터가 정규분포를 따른다고 보기 힘들다.”
정규성 가정이 깨졌으므로, 대안적 방법(자료 변환, 비모수 검정, 부트스트랩 등)을 고려.

4. 주의사항 및 실무 팁

표본 크기에 대한 민감도

작은 표본: 검정력이 낮아, 실제로 정규성에서 많이 벗어나도 검정에서 포착 못할 수 있음.
큰 표본: 정규성에서 약간만 벗어나도 쉽게 기각될 수 있으나, 실제 분석에 큰 영향이 없을 수도 있음(큰 표본에서는 중심극한정리에 의해 근사적으로 정규성 가정이 잘 맞아 떨어지는 경우도 많음).

시각적 확인

히스토그램, Q-Q Plot, Boxplot 등을 통해 왜도(skewness), **첨도(kurtosis)**를 함께 확인하는 것이 좋음.

정규성 가정 위배 시 대처

비모수 검정(Mann-Whitney U, Wilcoxon signed-rank, Kruskal-Wallis 등)
로그 변환(log transform), 제곱근 변환 등 자료 변환
부트스트랩(bootstrap) 방법으로 분포 가정에 덜 의존

5. 간단 예시

상황: 어떤 치료 전후 혈압 변화를 측정했는데, 표본 크기는 25명이고, 데이터가 정규분포를 따른다고 가정하고 t-검정을 진행하려고 함.
정규성 검정: Shapiro-Wilk 검정을 실행 → p-값 = 0.22(> 0.05)
해석: 영가설(정규분포 가정) 기각 불가 → “데이터가 정규분포에서 크게 벗어나지 않는다”고 판단하여 t-검정을 그대로 진행.

요약

정규성 검정은 통계적 분석에서 자주 필요한 “데이터 분포가 정규분포인지 여부”를 판단하는 절차.
주요 방법: Kolmogorov-Smirnov, Shapiro-Wilk, Anderson-Darling 등.
시각적 기법: Q-Q Plot, 히스토그램 등을 통해 왜곡, 꼬리부분 이상 등을 파악.
p-값 해석: 유의수준 이상이면 “정규분포라고 가정해도 문제 없음”으로 해석; 미만이면 “정규성 위배”로 간주.
대안: 정규성 위배 시 비모수 검정, 데이터 변환, 부트스트랩 등을 활용.

핵심 메시지: 단순히 정규성 검정의 p-값만 보는 것보다는, 표본 크기, Q-Q Plot 등 시각화, 실제 분석 상황을 종합적으로 고려해 결론을 내리는 것이 바람직합니다.

10.4.1 Statistical test for normal distribution … 119 아래 내용은 데이터(표본)가 정규분포(Normal Distribution) 를 따르는지 판단하기 위해 사용할 수 있는 통계적 검정 기법에 대한 소개입니다. 연구나 실무에서 정규성 가정이 중요한 분석(예: t-검정, ANOVA, 회귀 등)을 수행하기 전에 자주 적용됩니다.

1. 왜 정규성 검정이 필요한가?

통계적 가정 충족

t-검정, ANOVA(분산분석), 선형회귀 등 대부분의 전통적 통계 방법은 데이터(또는 오차항)가 정규분포를 이룬다는 전제에 기반합니다.
정규성 가정이 크게 어긋나면, 결과(추정치, p-값 등)가 왜곡될 수 있습니다.

대안 선택

만약 정규성이 만족되지 않는다면, 비모수(non-parametric) 검정(Mann-Whitney, Kruskal-Wallis, Wilcoxon 등)이나 자료 변환(로그 변환 등), 부트스트랩 방법 등을 고려할 수 있습니다.

2. 대표적인 정규성 검정 방법

2.1 Shapiro-Wilk 검정

개요:
- 가장 널리 알려진 정규성 검정 중 하나로, 표본의 순위와 표본분산을 이용해 정규분포와 얼마나 유사한지 평가합니다.
장점:
- 소표본(n < 50) 에서도 비교적 강력한 것으로 알려져 있습니다.
- 샘플 크기가 비교적 작은 경우에는 Shapiro-Wilk가 우선적으로 추천됩니다.
단점:
- 표본 크기가 지나치게 클 경우(수백, 수천) 아주 미세한 비정규성에도 민감하게 반응할 수 있습니다(즉, p-값이 매우 작게 나올 가능성).

2.2 Kolmogorov-Smirnov (K-S) 검정

개요:
- 표본의 누적분포함수(CDF)와 기준이 되는 정규분포의 이론적 CDF를 비교하여, 두 분포의 최대 차이(“D-statistic”)를 측정합니다.
장점:
- 정규성뿐만 아니라, 임의의 분포와 표본 간 적합도 검정으로도 활용 가능.
단점:
- 매우 큰 표본일 경우, 사소한 차이도 유의하게 판정될 수 있습니다.
- 표본 크기가 작으면 검정력(power)이 낮아(“Type II 오류” 우려), 비정규성을 잘 발견하지 못할 수 있습니다.

2.3 Anderson-Darling 검정

개요:
- K-S 검정과 유사하지만, 분포의 꼬리(tail) 부분을 특히 강조하여, 꼬리 영역에서의 차이를 더 민감하게 감지합니다.
장점:
- 꼬리 부분(극단값)에 민감해, 왜도(Skewness)나 꼬리 두터움(Kurtosis) 문제를 잘 파악합니다.
단점:
- K-S에 비해 계산이 조금 복잡.
- 매우 큰 표본에서는 역시 K-S와 비슷하게 미세한 차이도 유의하게 판정될 수 있습니다.

2.4 Jarque-Bera 검정

개요:
- 표본의 왜도(Skewness) 와 첨도(Kurtosis) 를 이용해 정규분포에서 벗어나는 정도를 평가합니다.
- 정규분포라면 이론적으로 왜도 = 0, 첨도 = 3(정규분포 기준 “excess kurtosis=0”)가 되어야 합니다.
장점:
- 회귀분석 잔차(residual)에 대해서도 자주 사용.
단점:
- 표본 크기가 작을 때는 성능이 떨어질 수 있습니다.

3. 정규성 검정의 해석(공통적 원리)

정규성 검정의 대부분은 아래와 같은 형태로 가설을 세웁니다:

영가설 (H0H_0): “표본 데이터는 정규분포를 따른다.”
대립가설 (H1H_1): “정규분포가 아니다.” 검정 결과 p-값이 유의수준(α\alpha)보다 크면(예: 0.05 이상) 영가설을 기각하지 못하고, “정규성을 충분히 의심할 이유가 없다”고 판단합니다. 반면 p-값이 유의수준보다 작으면, “정규성 가정이 위배됐다”고 보고 대안적 분석 방법을 고려해야 합니다.

4. 시각적 방법: Q-Q Plot 등

숫자로만 나타나는 검정 통계량 외에도, 그래프를 통해 정규성 여부를 직관적으로 판단할 수 있습니다.

Q-Q Plot(Quantile-Quantile Plot)

이론적 정규분포의 분위수(quantile)와 실제 데이터의 분위수를 짝지어 도표화.
점들이 거의 직선에 가까우면 정규분포에 가까운 것으로 본다.

히스토그램과 커브 겹치기

히스토그램 위에 정규분포 곡선을 덧그려서 대략적 일치 정도를 확인.

Boxplot

왜도(skewness), 이상값(outlier) 등이 심각하다면, 정규분포 가정에서 벗어날 가능성이 큼.

시각적 방법은 비공식적(p-값 없음)이지만, 데이터가 크게 치우쳤는지(왜도), 극단값이 있는지 등을 파악하는 데 큰 도움을 줍니다.

5. 검정 결과와 대응 전략

정규성 가정이 유지되는 경우(p-값 > 0.05)

t-검정, ANOVA, 선형회귀 등 전통적인 모수적(parametric) 방법 적용 가능.

정규성 가정이 기각되는 경우(p-값 < 0.05)

비모수적 검정(Mann-Whitney U, Wilcoxon, Kruskal-Wallis 등).
데이터 변환(로그, 제곱근, Box-Cox 변환 등)으로 분포를 정규에 가깝게 조정.
*부트스트랩(bootstrap)**을 통해 분포 가정에 대한 의존도 줄이기.

6. 예시 시나리오

상황: 30명의 혈압 데이터를 수집 후, “평균 혈압이 특정 기준과 다른지”를 t-검정으로 확인하려고 함.
단계:
1. Shapiro-Wilk 검정 실시 → p-값 = 0.15 (> 0.05).
2. 정규성 가정 기각 불가 → “데이터가 크게 비정규적이지 않다”고 판단.
3. t-검정 실행 → p-값 계산, 해석.
결과: 정규성 가정을 만족하므로 t-검정 결과가 비교적 타당하다고 해석 가능.

7. 주의사항

표본 크기

소표본에서는 검정력이 낮아서 비정규성 놓칠 수 있음.
대표본에서는 사소한 비정규성도 과민하게 잡아낼 수 있음.

실질 영향

약간의 비정규성이라도, 표본 크기가 충분히 크면 중심극한정리에 의해 모수적 방법이 비교적 잘 작동하기도 함.

보조 분석

히스토그램, Q-Q Plot 등 시각적 검증 + 왜도/첨도 계산 등을 병행하면 좋음.

결론 요약

정규성 검정은 데이터가 정규분포를 따르는지를 통계적으로 확인하는 절차로,

대표적인 기법으로 Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling, Jarque-Bera 등이 있음.

검정 해석: p-값이 유의수준() 이상이면 “정규성 가정 위배 근거가 부족하다”고 판단, 미만이면 “비정규”로 간주. α\alpha
대처: 비정규성인 경우 비모수 검정, 데이터 변환, 부트스트랩 등 대안 활용 가능.
실무 팁: 표본 크기 및 시각적 확인(Q-Q Plot, 히스토그램 등)을 병행해 종합적으로 판단하는 것이 중요.

결론적으로, 단순히 p-값만 보는 것보다 데이터 특성(표본 크기, 이상값, 왜도 등)을 함께 고려하여 정규성 여부와 그 영향을 판단해야 가장 합리적인 분석 방법을 선택할 수 있습니다.

10.4.2 Disadvantage of analytical tests for normal distribution … 121 아래 내용은 정규성 검정(Analytical Test for Normal Distribution) 기법들이 일반적으로 갖는 단점들을 정리한 것입니다. Kolmogorov-Smirnov(K-S), Shapiro-Wilk, Anderson-Darling 등 대표적인 정규성 검정에 공통적으로 적용될 수 있는 유의점을 요약했습니다.

1. 표본 크기에 대한 민감도

대규모 표본에서의 과민성(Over-Sensitivity)

표본이 매우 큰 경우(수백~수천 명 이상), 사소한 비정규성도 통계적으로 유의하게 검출될 수 있습니다.
예: 실제로 데이터가 크게 치우치지 않았어도, p-값이 매우 작게 나와 ‘정규성 위배’로 판정될 수 있음.
이때는 “실제 분석에 큰 영향을 줄 정도인지”를 따져봐야 하며, Q-Q Plot 등 시각화 확인이 중요합니다.

소규모 표본에서의 검정력 부족(Under-Power)

표본 크기가 작으면, 데이터가 실제로 비정규적이어도 검정이 이를 잘 감지 못할 수 있습니다(2종 오류 위험).
따라서 소표본일수록 시각적 점검, 추가적인 왜도·첨도 분석 등을 병행하여 추가 근거를 확보하는 것이 좋습니다.

2. 단순한 ‘유의/비유의’ 판단(이분적 결과)

통계 검정은 일반적으로 p-값을 기준으로 영가설(“정규분포를 따른다”) 기각 여부를 결정합니다.
결과적으로 **“정규성 위배 vs. 정규성 유지”**라는 이분법적 결론만 제공해, 얼마나 많이/적게 벗어났는지에 대한 정도는 보여주지 않습니다.
- 예: p-값이 0.0001과 0.04 모두 “유의하게 비정규”로 결론나지만, 실제로는 전자가 더 큰 편차가 있을 수도 있음.
이에 대한 보완책으로는 왜도·첨도(Skewness/Kurtosis) 지표, Q-Q Plot 시각화 등을 함께 사용하는 것이 좋습니다.

3. 분포 형태에 따른 오차 가능성

꼬리(Tail) 강조 여부

Kolmogorov-Smirnov 검정은 전 구간에서의 차이를 고르게 본다면, Anderson-Darling 검정은 꼬리에 가중치를 더 두는 식으로 다릅니다.
어떤 검정을 쓰느냐에 따라 민감도가 달라, 서로 다른 결론이 나올 수도 있습니다.

이상값(Outlier) 영향

일부 검정(예: Shapiro-Wilk)은 이상값이 있으면 민감하게 반응할 수 있고, 반대로 어떤 검정은 감지력이 떨어질 수 있습니다.
특히 실제 데이터가 극단값이 좀 있는 쪽으로 편향되어 있을 때, 단순히 ‘정규성 위배’ 결론만 얻고 구체적인 편차 원인은 알 수 없습니다.

4. 실제 분석 영향과의 괴리

“통계적으로 정규성 위배”라 해도, 실제 **모수적 방법(예: t-검정, ANOVA)**을 적용했을 때 결과가 크게 변하지 않을 가능성이 있습니다.
- 예: 큰 표본일 경우 중심극한정리에 의해, 어느 정도 왜도가 있어도 평균값 추정이 크게 왜곡되지 않을 수도 있음.
즉, 정규성 검정이 ‘통계적 유의성’은 알려주지만, 연구 해석이나 실무적 의사결정에 미치는 영향의 크기는 직접 알려주지 않습니다.

5. 다변량(다차원) 데이터 적용의 한계

K-S, Shapiro-Wilk 등은 주로 일변량(단일 변수) 정규성 검정에 중점을 둡니다.
여러 변수가 동시에 정규성을 가져야 한다(예: 다변량 정규성)면, Mardia 검정 등 별도의 다변량 정규성 검정이 필요합니다.
2차원 이상 변수를 다룰 때 일변량 정규성만 확인하면 불충분할 수 있습니다.

6. 요약: 정규성 검정의 단점 및 보완책

단점	보완/대안
표본 크기에 대한 민감도 (과민/저민 반응)	- Q-Q Plot, 히스토그램 등 시각적 평가 병행 - 왜도·첨도 검토
이분적 결과 (정규vs.비정규)	- 실제 편차 정도(왜도, 첨도 지표) 함께 확인 - p-값 외 추가 통계량 활용
분포 형태·꼬리 민감도 차이	- 여러 검정(Shapiro-Wilk, A-D, K-S)을 비교 적용하거나, 꼬리 부분 시각적으로 점검
실제 분석 결과와의 괴리	- 정규성 기각 후에도 모수적 분석 시 결과가 크게 달라지지 않는지 확인 - 비모수 분석, 데이터 변환, 부트스트랩 등 고려
다차원 데이터에 대한 적용 한계	- 다변량 정규성 검정(Mardia, Henze-Zirkler 등) 사용 - 각 변수별·잔차별 분포만 확인해선 불충분할 수 있음

결론: 정규성 검정은 데이터가 “정규분포에서 벗어났는지”를 빠르게 확인하는 유용한 절차지만, 표본 크기, 분포 형태, 실제 분석 목적 등에 따라 과도한 기각 혹은 놓침이 발생할 수 있습니다. 따라서 시각적 확인, 왜도·첨도 지표, 실제 분석 결과 비교 등을 통해 종합적으로 판단하는 것이 필수적입니다.

10.4.3 Graphical test for normal distribution… 122 아래 내용은 정규분포(Normal Distribution) 가정을 시각적으로(그래프 활용) 확인할 때 사용하는 대표적인 방법들을 정리한 것입니다. 이러한 그래프 기법은 숫자 중심의 정규성 검정(K-S, Shapiro-Wilk 등)의 결과를 보완하고, 데이터가 어떤 부분에서 정규분포와 달라지는지 직관적으로 파악하게 해 줍니다.

정규성 시각화 기법 (Graphical Test for Normal Distribution)

1. Q-Q Plot (Quantile-Quantile Plot)

1.1 개념

Q-Q Plot은 이론적 분포(가령 정규분포)의 분위수(quantile)와, 표본 데이터의 실제 분위수를 짝지어 그래프로 나타낸 것입니다.
x축: 정규분포의 이론적 분위수
y축: 실제 데이터의 분위수

1.2 해석 방법

점들이 대각선(또는 45도선)에 가깝게 놓여 있으면, 데이터 분포가 정규분포와 유사하다고 해석합니다.
점들이 대각선을 벗어나 아래나 위로 크게 굽거나, 꼬리 부분에서 심하게 벌어지면, **비정규성(왜도, 첨도 등)**이 의심됩니다.
꼬리 부분(아주 작은 분위수·큰 분위수)에서 데이터들이 직선에서 크게 벗어나면 극단값(Outlier) 또는 꼬리가 두터운(tail-heavy) 분포임을 시사합니다.

1.3 장단점

장점:
- 정규성 위배 지점(가운데, 꼬리, 양쪽 모두 등)을 명확히 시각화.
- 구현이 간단하고, 데이터 분포를 한눈에 파악하기 용이.
단점:
- 데이터 개수가 많을 경우, 점들이 겹쳐 해석이 다소 복잡할 수 있음(점 투명도 조정 등 필요).
- 정규성 여부는 감으로 파악해야 하므로, 숙련된 해석이 필요함.

2. P-P Plot (Probability-Probability Plot)

2.1 개념

P-P Plot은 표본 데이터의 누적분포함수(CDF)와 정규분포의 이론적 누적분포함수를 서로 비교하는 그래프입니다.
- x축: 이론적 누적확률
- y축: 실제 데이터의 누적확률

2.2 해석 방법

두 확률이 일치한다면, 점들은 y=x 직선에 밀착됩니다.
직선에서 많이 벗어나면, 특정 구간(중앙, 꼬리 등)에서 분포가 다르다고 볼 수 있습니다.

2.3 Q-Q Plot과의 차이

Q-Q Plot은 분위수를 직접 비교, P-P Plot은 누적확률을 비교.
실무에서는 Q-Q Plot이 좀 더 널리 쓰이며, P-P Plot은 데이터 중앙부 해석은 민감하지만, 꼬리 영역 해석은 Q-Q Plot보다 덜 강조되는 편입니다.

3. 히스토그램(Histogram) + 정규곡선(Fitted Normal Curve)

3.1 개념

히스토그램: 데이터 분포의 형태, 봉우리(peak) 개수, 꼬리 길이, 이상값 등을 시각적으로 확인하기 쉬움.
정규곡선 겹치기: 해당 데이터의 평균, 표준편차를 바탕으로 그린 정규곡선(벨곡선)을 히스토그램 위에 오버레이.

3.2 해석 방법

히스토그램과 정규곡선이 잘 겹치면, 정규분포와 유사하다고 판단.
심한 왜도(오른쪽 꼬리 길다, 왼쪽 꼬리 길다)나 봉우리(peak)가 여러 개이면 정규성에서 벗어났을 가능성 큼.
이 방법은 정밀한 판단보다는 대략적인 시각적 확인에 강점.

3.3 장단점

장점:
- 누구나 쉽게 이해 가능.
- 데이터가 어디서 치우쳐져 있는지, 극단값이 많은지 등 직관적 파악.
단점:
- 구간(bin) 설정에 따라 시각적 모양이 달라질 수 있음.
- 수가 많은 데이터일 때는 전체적 형태만 보여주며, 정규분포와의 미세한 차이는 놓칠 수 있음.

4. 박스플롯(Box Plot)

4.1 개념

중앙값, 사분위 범위(IQR), 이상값(Outliers) 등을 한눈에 보여주는 그래프.
Box 중심이 좌·우로 크게 치우치거나, 윗수염과 아랫수염(whisker) 길이 차이가 크다면 왜도가 있을 수 있음.

4.2 해석 방법

정규분포라면 대체로 박스플롯이 좌우 대칭형태를 보이며, 이상값(outlier)이 많지 않음.
중위수와 상·하 사분위수가 심하게 비대칭이면 편향(Skew) 추정.
다만, 정확한 “정규성” 여부보다는 대략적 분포 모양, 이상값 여부를 점검하는 용도로 사용.

5. 어떻게 활용할까?

1차 확인: 히스토그램 + 정규곡선으로 대략적 형태 파악.
정밀 확인: Q-Q Plot을 통해 정규분포 라인에서 벗어나는 부분 찾기.
이상값 유무: Box Plot에서 Outlier 확인, 박스 대칭성 관찰.
종합 판단: 그래프에서 정규성 여부를 직관적으로 파악하고, 필요하다면 통계적 정규성 검정(Shapiro-Wilk 등) 병행.

6. 요약 및 장단점 비교

시각화 기법	주요 확인 포인트	장점	단점
Q-Q Plot	이론적 분위수 vs. 실제 분위수 비교	꼬리 포함 분포 왜곡을 직관적으로 파악 가능	점이 너무 많으면 해석이 복잡해질 수 있음
P-P Plot	이론적 CDF vs. 실제 CDF 비교	중간 구간(분포 중앙)을 비교적 민감하게 검토	꼬리 부분 해석은 Q-Q Plot에 비해 떨어짐
히스토그램	전체 분포 형태(왜도, 첨도), 봉우리 수	쉽게 이해 가능, 이상값 여부도 파악	구간(bin) 설정에 따라 모양 달라질 수 있음
Box Plot	중앙값, IQR, 이상값	빠르게 편향/이상값 등 파악 가능	정규성 자체를 정량 평가하기는 어려움

결론:

최종 정리

정규성 여부를 판단할 때, **단순히 통계 검정(p-값)**만 볼 것이 아니라, 시각적 방법을 통해 데이터가 어떤 식으로 정규분포와 다른지를 살펴봐야 합니다.
Q-Q Plot, 히스토그램, Box Plot 등 다양한 그래프 기법을 병행하면, 왜도나 극단값 등의 존재를 쉽게 파악할 수 있으며, 분석결과를 해석할 때에도 보다 심층적 이해가 가능합니다.
특히 표본 크기에 따라 통계 검정은 과도하게 기각 혹은 기각 실패를 초래할 수 있으므로, 그래프적 접근이 직관적이고 보완적인 역할을 해줍니다.
10.5 Multicollinearity test … 124 아래 내용은 **다중공선성(Multicollinearity)**을 진단(Test)하는 주요 방법들에 대한 교재 형식 설명입니다. 회귀분석(특히 다중회귀)에서 독립변수들 간의 상관이 높을 때 발생하는 문제를 어떻게 파악하고 진단하는지 살펴봅니다.

다중공선성(Multicollinearity) 진단

1. 다중공선성이란?

정의: 회귀분석에서, 독립변수들 간에 높은 상관관계가 존재하는 현상을 말합니다.
문제점:
1. 회귀계수(β계수) 추정치의 불안정성 → 표준 오차가 커져서 유의성이 낮아질 수 있음.
2. 모델 해석 곤란 → 특정 독립변수의 효과(기여도)를 명확히 구분하기 어려움.
3. 예측력 저하 → 새로운 데이터에 대한 예측력이 떨어질 수 있음. 예를 들어, “광고비와 판촉비”처럼 서로 높은 상관을 보이는 변수들을 동시에 모델에 투입하면, 다중공선성 문제가 발생할 가능성이 높습니다.

2. 다중공선성 진단 기법

2.1 상관행렬(Correlation Matrix)

개념:

독립변수들 간의 상관계수를 담은 행렬을 확인하는 방법.
일반적으로 이상인 변수가 있다면, 다중공선성을 의심할 수 있습니다. ∣r∣>0.7|r| > 0.7

장점:

계산이 매우 간단하고, 어떤 변수 쌍이 특히 강한 상관을 갖는지 바로 확인 가능.

단점:

단순 “쌍” 상관만 보는 것이므로, 세 변수 이상이 얽힌 복합적 공선성은 파악하기 어려움.
예: A-B, B-C의 상관은 높지 않지만, A-B-C가 함께 있을 때는 공선성이 유의미할 수 있음.

Tip: 상관행렬은 1차적 점검용으로는 유용하지만, VIF 같은 더 정교한 지표를 같이 보는 것이 좋습니다.

2.2 공차한계(Tolerance)와 분산팽창계수(VIF)

개념

공차한계(Tolerance)는 특정 변수 를 나머지 독립변수들로 회귀분석했을 때, 그 회귀모형의 결정계수()와 관련되어 정의됩니다.

여기서 $X_i$ 는 “ $R_i^2$ 를 다른 독립변수들로 예측했을 때”의 결정계수입니다.

\text{Tolerance}_i = 1 - R_i^2

분산팽창계수(VIF)는 Tolerance의 역수로 정의됩니다.

\text{VIF}_i = \frac{1}{\text{Tolerance}_i} = \frac{1}{1 - R_i^2}.

해석 기준

VIF 값이 5(또는 10) 이상이면, 일반적으로 다중공선성이 심각한 상태라고 판단함.
공차한계가 0.2 이하인 경우, 다중공선성 문제가 크다고 볼 수 있음(0.1 이하 기준을 쓰는 연구도 있음).

장점

단순 상관행렬보다는 복합적 공선성도 반영 (다른 모든 변수를 고려하여 한 변수가 어떻게 예측되는지 평가).
실제 회귀 모델에 반영되는 공선성을 직접적으로 측정하기 때문에, 가장 널리 사용되는 진단 지표 중 하나.

단점

VIF가 높다는 것을 알면 “문제”는 감지하지만, 구체적으로 어떤 변수 쌍(또는 셋 이상) 간 상관 때문에 문제가 생기는지 파악이 어려울 수 있음.
그래도 보통 높은 VIF를 보이는 변수를 제거하거나 변환(합치거나 축약)함으로써 문제를 해결하려 합니다.

2.3 고유값(Eigenvalue)과 조건수(Condition Index)

고유값(Eigenvalue)

독립변수들 간의 상관 행렬(또는 표준화된 설계행렬)에 대해 고유값 분해(Eigenvalue Decomposition)를 수행할 때, 상대적으로 작은 고유값이 존재하면 다중공선성을 의심할 수 있습니다.
극단적으로 0 또는 매우 작은 고유값 → 변수들이 선형적으로 종속(완전 공선성).

조건수(Condition Index, CI)

고유값 분해에서 뽑힌 가장 큰 고유값( $⁡\lambda_{\max}$ )과 가장 작은 고유값( $\lambda_{\min}$ ) 간의 비율의 제곱근에 근거해 정의
Condition Number(Condition Index)는 일반적으로 30을 초과하면 공선성 문제가 있다고 보고, 100을 넘으면 심각하다고 해석하는 경우도 있음

장단점

장점: 여러 변수들이 복합적으로 얽힌 다중공선성을 상대적으로 명확히 보여줌(쌍 상관만 보는 것이 아님)
단점: 계산이 VIF보다 조금 복잡하고, 해석에 대한 명확한 기준도 VIF만큼 널리 통일되어 있지 않음

2.4 기타 진단 방법

회귀계수(β계수) 변동성 관찰

변수 하나를 추가·제거하거나, 표본 일부만 사용했을 때 회귀계수가 큰 폭으로 변하면 공선성 의심.

주성분분석(PCA) 활용

독립변수 간 상관이 높다면, 차원 축소(예: 주성분분석)로 공선성 문제를 완화할 수 있음.
또는 요인분석을 통해, 상관이 높은 변수들을 하나의 요인(또는 지수)으로 묶는 방식도 고려할 수 있음.

3. 다중공선성 대처 방안

다중공선성이 심하다고 판단되면, 아래와 같은 조치를 취할 수 있습니다.

문제 변수를 제거

VIF가 특히 높게 나타나는 변수(또는 회귀계수 해석에 크게 중요치 않은 변수)를 모형에서 빼는 방법.

변수 통합 또는 축약

예: 상관이 높은 변수들을 요인분석이나 주성분분석으로 축소해 새로운 지표(합성 변수)를 만드는 방법.

표본 크기 확장

데이터 수집이 가능하다면, 표본을 늘려 통계적 안정성을 높이는 것도 한 방법.

규제(Regularization) 기법 사용

능형 회귀(Ridge Regression), 라소(Lasso) 같은 페널티 회귀로 공선성 문제를 완화할 수도 있음.

4. 요약

다중공선성은 회귀분석에서 독립변수들 간 상관관계가 높아 발생하는 문제로, 회귀계수의 추정이 불안정해지고 해석이 어려워짐.
진단 기법:

상관행렬: 1차 간단 확인
VIF(Tolerance): 가장 일반적이고 직관적인 지표 (VIF > 5(또는 10)이면 문제)
고유값/조건수: 여러 변수들의 복합적 상관을 반영

대처 방안:

문제 변수 제거, 변수 통합(PCA 등), 표본 크기 확대, 규제 회귀(Ridge, Lasso) 등 다양한 방법 존재

실무 팁:

보통 VIF를 먼저 확인 → 높으면 변수를 제거하거나, 데이터 변환, 혹은 차원 축소를 고려.
공선성 문제가 매우 심각할 경우, 모델 자체를 다르게 설계하거나 도메인 지식을 반영하여 변수 선택을 재고하는 것이 좋다.

결론: 다중공선성 검정은 “회귀모델이 얼마나 안정적으로 추정되는가”를 가늠하는 핵심 요소입니다. 단순히 높은 VIF 값만으로 변수 제거 결정을 내리기보다는, 연구 목적, 도메인 지식, 대안 분석 기법을 함께 고려해 적절히 조정하는 것이 중요합니다.

10.5.1 How to avoid multicollinearity? … 125 아래 내용은 다중공선성(Multicollinearity) 문제를 예방하거나 완화하기 위한 주요 전략과 방법을 정리한 것입니다. 회귀분석을 수행할 때 독립변수들 간 상관이 너무 높으면 계수 추정과 해석이 불안정해지므로, 이를 미리 피하거나 줄이는 것이 중요합니다.

1. 변수 선택(Variable Selection) 단계에서의 주의

도메인 지식 활용

분석 목적, 이론적 배경, 선행연구 등을 통해 핵심 변수가 무엇인지 먼저 선별합니다.
서로 매우 흡사한 개념을 측정하는 변수(예: “알코올 섭취량”과 “술 소비 빈도”)가 있다면 하나만 택하거나, 적절히 통합하는 방안을 고려할 수 있습니다.

사전 상관계수 확인

본격적인 회귀모델 구축 전, 상관행렬 등을 살펴 이 큰 변수 쌍이 있는지 파악합니다. ∣r∣|r|
∣r∣>0.7|r| > 0.7 또는 0.8 이상인 변수들은 공선성 위험이 크므로 사전에 제거하거나 병합을 검토합니다.

단계적 변수 투입(Stepwise) 시 신중

자동화된 단계적 변수 선택(Forward/Backward/Stepwise)은 다중공선성을 자동으로 해결해주지 않습니다.
임의로 유의성이 떨어진다고 제거된 변수가 사실은 중요한 역할을 할 수 있으므로, 최종 결정 전 VIF 검사나 전문가 판단이 필요합니다.

2. 변수 변환 및 통합

주성분분석(PCA) 또는 요인분석(Factor Analysis)

서로 상관이 높은 변수들을 한 축(주성분)으로 묶어 차원 축소하면, 공선성 문제를 상당 부분 완화할 수 있습니다.
예: “인구 밀도”, “상주 인구”, “유동 인구”처럼 상관이 높은 변수들을 하나의 지표로 통합.

변수 합성(가중평균, 지수화)

이론적으로 비슷한 개념이라면, 가중평균 또는 단순 합산 지표로 하나의 변수를 만들 수도 있습니다(“메타 변수” 생성).
예: “마케팅 지출 = 광고비 + 판촉비 + …” 등으로 합쳐 사용.

결측 데이터 보강

때로는 결측치가 많아 특정 변수들의 표본 범위가 제한되거나 왜곡되어 상관이 인위적으로 높아질 수도 있습니다.
이 경우 적절한 결측치 대체(imputation) 기법을 사용해 변수들의 실제 분포를 회복하면 공선성도 줄어들 수 있습니다.

3. 모델링 과정에서의 기법 활용

능형 회귀(Ridge Regression)

회귀계수에 L2 페널티를 부여하여 계수를 작게 만드는 방식.
공선성이 심한 변수들을 자동으로 조정해, 계수 추정 안정성을 높일 수 있습니다.

라소 회귀(Lasso)

L1 페널티로 일부 변수 계수를 0으로 만드는(선택) 효과가 있음 → 다중공선성 해소+변수 선택 기능.
공선성이 높은 변수들 중 중요도가 낮은 변수는 자연스럽게 제외될 가능성이 큼.

Elastic Net

Ridge와 Lasso 페널티를 결합한 형태로, 둘의 장점을 동시에 활용합니다.

규제(Regularization) 기법들은 대규모 변수를 다룰 때 유용하며, 다중공선성을 완화해 모델 해석과 예측 정확도를 개선합니다.

4. 데이터 수 확장(표본 크기 늘리기)

표본의 크기가 작을수록, 변수 간 상관으로 인한 오차가 크게 부각될 수 있습니다.
가능하다면 추가 데이터를 수집하여 모델에 투입함으로써, 회귀계수 추정의 표준오차를 낮추고 공선성 영향을 완화할 수 있습니다.

5. 사후 점검: VIF, 조건수 등 활용

VIF(Variance Inflation Factor)

모델 구성 후, 각 독립변수에 대한 VIF를 점검해 5~10 이상의 값이 나타나면 공선성을 의심합니다.
과도한 VIF 값을 보이는 변수를 제거하거나, 위에서 언급한 방식(통합·변환·규제)을 적용해 개선합니다.

조건수(Condition Number)

회귀행렬의 고유값(Eigenvalue)으로부터 구해 30~100을 넘으면 공선성이 크다고 판단.
특히 세 개 이상의 변수들이 복합적으로 얽혀 있을 때 유용합니다.

6. 종합 요약

분석 기획 단계

도메인 지식을 바탕으로 중복되는 개념의 변수를 사전에 제거하거나 통합
상관행렬 및 초기 탐색으로 위험 요인 파악

모델 구축 단계

공선성 지표(VIF, Tolerance, Condition Index) 모니터링
필요 시 PCA/요인분석으로 변수 축소, Ridge/Lasso 등 규제 회귀 사용

결과 해석 단계

여전히 공선성이 의심되면, 변수 중 일부를 제거하거나 새로운 변수를 생성
표본 확장 혹은 다른 연구 디자인(실험 설계, 단순회귀 등) 검토

핵심 메시지: 다중공선성을 “완전히 막는” 방법이란 존재하기 어렵고, 목적에 맞춰 변수 간 상관을 사전에 줄이고, 문제가 될 시 적절히 조정하는 과정이 필요합니다.

결론

다중공선성 회피의 핵심은 사전에 변수 간 중복 정보를 제거하고, 필요하다면 차원 축소 또는 규제 회귀를 통해 문제를 완화하는 것입니다.
회귀분석은 단순히 p-값만 보는 것이 아니라, 공선성 지표 및 계수 해석의 안정성을 면밀히 확인해야 올바른 결론과 예측을 얻을 수 있습니다.
10.5.2 Multicollinearity test … 126 아래 내용은 **다중공선성(Multicollinearity)**을 진단하기 위한 대표적인 검정(진단) 방법을 정리한 것입니다. 다중회귀분석에서 독립변수들 간 상관관계가 너무 높으면 회귀계수 추정과 해석이 불안정해지므로, 아래 지표들을 활용해 이를 점검할 수 있습니다.

1. 상관행렬(Correlation Matrix)

개념: 독립변수들끼리의 상관계수(예: Pearson 상관)를 행렬 형태로 살펴본다.
판단 기준: 일반적으로 (또는 0.8)를 넘으면 다중공선성이 의심된다. ∣r∣>0.7|r| > 0.7
장·단점:
- 장점: 어떤 변수 쌍이 특히 높게 상관되어 있는지 1차적으로 확인하기 쉬움.
- 단점: 변수 3개 이상이 얽힌 복합 공선성까지는 파악하기 어렵다.

2. 분산팽창계수(VIF)와 공차한계(Tolerance)

2.1 정의

공차한계(Tolerance): 1−Ri2(여기서 Ri2는 Xi를 나머지 변수들로 예측했을 때의 결정계수) 1 - R_i^2 \quad (\text{여기서 } R_i^2 \text{는 } X_i \text{를 나머지 변수들로 예측했을 때의 결정계수})
VIF(Variance Inflation Factor): 1Tolerance=11−Ri2 \frac{1}{\text{Tolerance}} = \frac{1}{1 - R_i^2}
특정 독립변수 가 다른 독립변수들로 얼마나 잘 예측되는지를 지표화. 값이 클수록 공선성이 심각함을 의미. XiX_i

2.2 판정 기준

VIF > 5 (또는 10): 다중공선성이 문제라고 볼 수 있음.
공차한계 < 0.2: 공선성이 크다고 판단(0.1 기준을 쓰는 연구도 있음).

2.3 특징

여러 변수가 복합적으로 얽힌 공선성을 반영해주므로, 단순 상관행렬보다 정교함.
VIF가 특히 높은 변수를 중심으로 제거나 변환을 고려할 수 있음.

3. 조건수(Condition Number)와 고유값(Eigenvalues)

고유값 분해를 통해, 독립변수들 간 상관행렬의 고유값이 매우 작거나 0에 가깝다면 변수가 선형 종속일 가능성이 높다.
조건수(Condition Index): 최대 고유값 / 최소 고유값의 제곱근.
- 30~100 이상이면 공선성 문제가 있다고 보고, 100 초과 시 매우 심각하다고 판단하기도 한다.
장점: 다수 변수 간 복합 상관을 직관적으로 확인 가능.
단점: 계산 및 해석이 VIF보다 다소 복잡하고, 연구자마다 구체적 임계치를 다르게 설정하기도 함.

4. 모델링 과정에서의 추가 점검

회귀계수(β)가 급변하는지 살피기

변수를 추가/제거하거나, 일부 표본만으로 분석했을 때 계수가 크게 변한다면 공선성 신호일 수 있음.

주성분분석(PCA) 등 차원 축소

상관이 높은 변수들을 요인/주성분으로 통합해 모델에 투입하면 공선성 완화 가능.

규제(Regularization) 회귀

Ridge, Lasso 등 페널티 기법을 이용해, 공선성을 자동으로 줄이는 효과를 얻을 수 있음.

5. 요약 및 활용

진단 지표:

먼저 VIF를 확인하는 것이 일반적이고, 이상 변수가 있으면 공선성 의심. VIF>5\text{VIF} > 5
상관행렬과 함께 조건수(Condition Index)로 다수 변수 간 복합 상관도 점검.

해결책:

공선성이 높은 변수를 제거·통합하거나, Ridge/Lasso 같은 규제 방법 사용.
모델 해석 관점에서, 매우 높은 공선성이 있으면 변수가 갖는 의미가 모호해질 수 있음(해석 어려움).

결론:

회귀분석 수행 시, 다중공선성 문제를 미리 점검하면 모델 추정이 안정되고 해석 정확도가 높아진다.

핵심 메시지: 다중공선성 검정은 회귀 모델에서 꼭 필요한 사전 절차로, VIF와 조건수가 가장 널리 활용됩니다. 공선성이 심각하다면 변수를 적절히 정리(제거·합침)하거나 규제 회귀 기법을 고려하여 문제를 해결할 수 있습니다.

10.5.3 Tolerance value … 126 아래 내용은 **공차한계(Tolerance value)**에 대한 설명입니다. 공차한계는 회귀분석에서 **다중공선성(Multicollinearity)**을 진단할 때 사용하는 대표적인 지표 중 하나로, 독립변수들이 서로 얼마나 상관되어 있는지를 간접적으로 나타냅니다.

1. 공차한계(Tolerance)의 정의

특정 독립변수 를 나머지 독립변수들로 회귀분석했을 때 산출되는 결정계수()를 이용해 정의합니다. XiX_i Ri2R_i^2 Tolerancei=1−Ri2 \text{Tolerance}_i = 1 - R_i^2
여기서 는 “”(즉, 를 제외한 다른 모든 독립변수들)로 를 예측한 회귀모형의 결정계수입니다. Ri2R_i^2 X−i\mathbf{X}_{-i} XiX_i XiX_i
- 만약 가 다른 독립변수들로부터 거의 완벽히 예측 가능하면, 가 1에 가까워지고, 따라서 공차한계()는 0에 가까워집니다. 즉, 다중공선성이 심하다는 신호입니다. XiX_i Ri2R_i^2 1−Ri21 - R_i^2

2. 공차한계와 VIF(Variance Inflation Factor)의 관계

*분산팽창계수(VIF)**는 공차한계의 역수로 정의됩니다. VIFi=1Tolerancei=11−Ri2. \text{VIF}_i = \frac{1}{\text{Tolerance}_i} = \frac{1}{1 - R_i^2}.
공차한계가 작으면(즉, 0에 가까우면), VIF가 크게 나타나 다중공선성이 심하다는 의미가 됩니다.

3. 해석 기준

통상적으로 **공차한계(Tolerance) *나 을 문제적 기준으로 삼는 경우가 많습니다. ≤0.2\le 0.2 ≤0.1\le 0.1
- 예:
  - 공차한계가 0.2 이하 → 독립변수들 간 강한 상관 → 다중공선성 문제 의심
  - 공차한계가 0.1 이하 → 다중공선성 문제가 심각하다고 평가하는 연구도 있음
실제로는 연구 분야와 분석 목적, 표본 크기 등에 따라 달라질 수 있으므로, VIF와 함께 종합적으로 판단합니다.

4. 공차한계가 낮을 때의 의미

독립변수 배제(제거) 고려

공차한계가 극단적으로 낮은 변수는 다른 변수들과의 상관이 너무 높아, 해당 변수를 모델에서 제외함으로써 회귀계수 추정의 안정성을 높일 수 있습니다.

변수 통합

이론적으로 유사한 개념을 측정하는 변수라면, 주성분분석(PCA), 요인분석 등을 통해 하나의 지표로 합치는 방안을 고려할 수 있습니다.

규제 회귀(Regularization) 활용

Ridge, Lasso 등 페널티 기법을 통해 다중공선성 완화.

5. 예시 상황

어떤 회귀분석에서 독립변수 의 공차한계가 각각 0.85, 0.18, 0.08이라면, X1,X2,X3X_1, X_2, X_3
- X1X_1은 공차한계가 0.85로 높아 다중공선성 우려가 거의 없음.
- X2X_2는 0.18 → 다중공선성 의심 (VIF ). ≈5.56\approx 5.56
- X3X_3는 0.08 → 다중공선성이 매우 심각 (VIF ), 변수 제거나 통합, 또는 다른 방법을 적극 고려해야 할 수 있음. ≈12.5\approx 12.5

6. 요약

공차한계(Tolerance): $1−R_{i}^{2}$ (“독립변수 Xi가 나머지 변수들로 얼마나 예측 가능한가”를 보여줌) $1 - R_i^2$ \quad (\text{“독립변수 } X_i \text{가 나머지 변수들로 얼마나 예측 가능한가”를 보여줌})
해석: 0에 가까울수록(즉, 공차한계가 작을수록) 해당 변수와 다른 변수들 간 강한 상관이 존재 → 다중공선성 문제
판정 기준:
- Tolerance < 0.2 → 공선성 의심
- Tolerance < 0.1 → 심각한 공선성
대책:
- 공차한계가 낮은 변수 제거, 변수 통합(주성분·요인분석), 규제 회귀(Ridge·Lasso) 등으로 문제를 해결

결론: 공차한계는 회귀분석에서 독립변수들의 상호 상관관계(공선성)을 간단히 살펴볼 수 있는 중요한 지표입니다. 이를 통해 모델의 안정성과 해석 가능성을 높이기 위한 전처리(변수 제거·통합 등)를 수행할 수 있습니다.

10.5.4 VIF Multicollinearity … 127 아래 내용은 **분산팽창계수(VIF: Variance Inflation Factor)**에 대한 설명입니다. VIF는 다중회귀분석에서 **다중공선성(Multicollinearity)**을 진단하는 대표적인 지표 중 하나로, 독립변수들이 서로 높은 상관관계를 보이는지 판단할 때 사용합니다.

VIF(Variance Inflation Factor)와 다중공선성

1. VIF의 기본 개념

정의

다중회귀분석에서 특정 독립변수 를 제외한 다른 모든 독립변수로 를 회귀분석했을 때 얻어진 **결정계수()**를 사용하여,

로 정의합니다. XiX_i XiX_i Ri2R_i^2 VIFi=11−Ri2 \text{VIF}_i = \frac{1}{1 - R_i^2}

Ri2R_i^2 값이 클수록(즉, 나머지 변수들이 를 잘 예측할수록) 다중공선성이 심각하다고 볼 수 있으며, 이때 VIF는 매우 큰 값이 됩니다. XiX_i

의미

VIF는 말 그대로 “분산(Variance)이 얼마나 팽창(Inflation)되었는지”를 나타내는 지표입니다.
독립변수들 간 상관이 높으면, 각 회귀계수의 추정치 분산이 커지므로(=계수 추정이 불안정) VIF도 커집니다.

2. 해석 기준

VIF ≤5\leq 5

다중공선성 문제가 크지 않다고 보는 경우가 많습니다.

VIF > 5

일반적으로 “다중공선성 문제가 있다”고 판단합니다.
어떤 교재나 소프트웨어에서는 10을 기준선으로 삼기도 합니다(즉, VIF > 10이면 심각).

너무 엄격하게 해석하지 말 것

연구 목적, 표본 크기, 변수 특성 등에 따라 기준이 달라질 수 있으므로, VIF가 5~10 사이면 “공선성이 있다” 정도로 인지하고 추가 조치를 고려합니다.

Note: VIF는 공차한계(Tolerance)의 역수로,

Tolerancei=1−Ri2,VIFi=1Tolerancei.\text{Tolerance}_i = 1 - R_i^2, \quad \text{VIF}_i = \frac{1}{\text{Tolerance}_i}.

3. VIF가 높을 때 나타나는 문제점

회귀계수(β)의 표준오차 증가
- 독립변수들이 서로 높게 상관되어 있으면, 어떤 변수가 실제로 중요한지, 얼마나 기여하는지 구분하기 어려워짐.
- 계수의 추정치가 크게 흔들려, p-값도 정확하지 않을 수 있음.
모델 해석 곤란
- 특정 독립변수가 통계적으로 유의하지 않게 나와도, 사실 다른 변수와의 중복 효과 때문일 가능성이 큼.
- 해석 시 혼동을 일으키므로, 연구 결론에 영향을 줄 수 있음.

4. VIF가 높을 때 대처 방안

변수 제거(제어)

VIF가 특히 높은 변수(또는 다수 변수가 서로 높은 상관을 보일 경우) 중에서 도메인 지식상 중요도가 낮은 변수를 제거해 공선성을 완화할 수 있음.
단, 변수 제거로 인해 중요한 정보가 사라지지 않도록 주의합니다.

변수 통합

동일하거나 유사한 개념을 측정하는 변수들은 주성분분석(PCA), 요인분석 등을 통해 합성 지표(Composite Indicator)로 묶을 수 있음.

규제 회귀(Regularization)

Ridge 회귀(L2 페널티)나 Lasso 회귀(L1 페널티)를 적용하면, 공선성이 심한 변수들의 계수를 일정 정도 작게 만들어 다중공선성 문제를 줄여 줍니다.

표본 크기 확장

데이터 수가 너무 적으면, 약간의 상관도 회귀계수 추정에 큰 불안정을 초래할 수 있습니다.
여건이 된다면 표본을 더 많이 확보해 문제를 완화할 수 있습니다.

5. 예시 시나리오

상황: 다중회귀에 독립변수 5개(X1,X2,X3,X4,X5X_1, X_2, X_3, X_4, X_5)를 투입했더니, 분석 후 VIF가 다음과 같이 나왔다고 가정합니다. | 변수 | VIF | |---|---| | X1X_1 | 3.2 | | X2X_2 | 2.8 | | X3X_3 | 5.1 | | X4X_4 | 1.9 | | X5X_5 | 10.3 |
- X5X_5의 VIF가 10.3으로 매우 높아, 다중공선성을 심각하게 의심.
- X3X_3도 5.1이므로 꽤 높은 편.
해석 & 조치
- 먼저 를 다른 변수들과 상관행렬로 확인해, 특정 변수 쌍에서 이 큰지 살핍니다. X5X_5 ∣r∣|r|
- X5X_5가 실제로 중요한 변수가 아니라면 제거를 고민하거나, 와의 복합 상관이 문제라면 두 변수를 PCA 등으로 통합. X3X_3
- 제거나 통합이 어려우면 Ridge 회귀 같은 규제 방식을 고려.

6. 요약

*VIF(분산팽창계수)**는 회귀분석에서 독립변수 간 상관이 높아진 정도를 수치화한 지표.
VIF > 5(혹은 10)을 기준으로 공선성이 의심 또는 심각하다고 본다.
VIF가 높으면 회귀계수 추정이 불안정하고 모델 해석에 어려움이 생김.
대안: 공선성 높은 변수 제거, 변수 통합(PCA), 규제 회귀(Ridge, Lasso), 표본 증대 등을 활용.

결론: VIF는 다중공선성을 빠르게 진단할 수 있는 필수 지표입니다. 분석 목적과 도메인 지식을 고려해, VIF가 과도하게 높은 변수가 있을 경우 적절한 처리(제거·통합·규제)를 통해 모델의 신뢰도와 해석력을 높이는 것이 중요합니다.

Statistical tests for differences … 128

**11.1 One sample t-test ** 아래 내용은 통계학에서 자주 사용하는 **일표본 t-검정(One Sample t-test)**에 관한 설명입니다. 일표본 t-검정은 모집단 평균이 특정 값(예: $\mu_0$ )과 다른지를 확인하기 위해 사용됩니다.

일표본 t-검정(One Sample t-test)

1. 개념 및 목적

정의

일표본 t-검정은 “단일 집단(표본)”이 가정 또는 기준으로 두는 어떤 ‘모집단 평균값’( $\mu_0$ )과 실제로 다른 평균을 갖는지 여부를 검정하는 통계 기법입니다.

가정

(1) 데이터는 정규분포를 따른다고 가정 (표본 크기가 충분히 크면 중심극한정리에 의해 정규성 가정이 대략 만족될 수 있음)
(2) 표본이 단일 집단에서 무작위로 추출되었다고 가정(독립성)

예시

제조 공정에서 생산된 제품의 평균 중량이 “기준치(예: 100g)”와 같은지 다른지 확인할 때.
교육 프로그램 후, 특정 시험 점수가 “국가 평균(예: 70점)”과 유의미하게 차이가 있는지 판단.

2. 가설 설정

일표본 t-검정의 전형적인 귀무가설(H0H_0)과 대립가설(H1H_1)은 다음과 같습니다.

양측 검정(Two-tailed)

$H_0: \mu = \mu_0$
$H_1: \mu \neq \mu_0$
기준 값 $\mu_0$ 과 모집단 평균이 단순히 “같은지 다른지” 확인하고 싶을 때

단측 검정(One-tailed)

$H_0: \mu \leq \mu_0$ vs $H_1: \mu > \mu_0$ 혹은
특정 방향(더 큰지, 더 작은지)을 명확히 알고 싶을 때 적용.

예시: “생산된 제품 중량이 100g보다 크다”고 주장하려면, 대립가설을 $\mu > 100$ 로 설정하고 단측 검정을 실시합니다.

3. 검정 통계량

표본 크기가 $n$ 이라 하고, 표본평균 $\bar{X}$ , 표본표준편차 $s$ 가 주어졌을 때, 일표본 t-검정의 통계량(t-statistic)은 다음과 같이 계산됩니다.

t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}

$\bar{X}$ : 표본평균
$\mu_0$ : 비교 대상(가정하는 모집단 평균)
$s$ : 표본표준편차(불편분산의 제곱근)
$n$ : 표본 크기 검정통계량 tt는 자유도( $df = n - 1$ )를 갖는 t-분포로 근사(또는 정확히)하여 p-값을 구합니다.

4. 검정 절차

가설 수립

예: , $H_0: \mu = 70$ $H_1: \mu \neq 70$

유의수준(α\alpha) 설정

일반적으로 사용(5% 유의수준). $\alpha = 0.05$

표본데이터 수집

표본크기 $n$ , 표본평균 $\bar{X}$ , 표본표준편차 $s$ 산출

검정통계량 t 계산

t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}

p-값 결정

t-분포의 자유도 $df = n-1$ 를 바탕으로, 계산된 값에 대한 p-값을 구함(양측 또는 단측 여부에 따라 계산 방식이 다름) $t$

결론 해석

p-값 ≤ 이면: 영가설( $\alpha$ ) 기각 → “기준 평균과 달라(또는 크거나 작아) 보인다.” $\mu = \mu_0$
p-값 > 이면: 영가설 기각 불가 → “통계적으로 기준과 다르다는 증거 부족.” $\alpha$

5. 예시 계산

가령,

표본크기 n=25n = 25
표본평균 Xˉ=72\bar{X} = 72
표본표준편차 s=10s = 10
유의수준 , 양측 검정 α=0.05\alpha = 0.05
비교 기준 μ0=70\mu_0 = 70

검정통계량 계산 t=72−7010/25=210/5=22=1.0 t = \frac{72 - 70}{10 / \sqrt{25}} = \frac{2}{10/5} = \frac{2}{2} = 1.0
p-값

자유도(df)=24인 t-분포에서 의 양측 p-값을 구함. t=1.0t=1.0
p-값은 대략 0.327(예시).

해석

p-값(0.327)은 0.05보다 큼 → 영가설 기각 불가 → “평균이 70과 다르다고 결론 내리기 어려움.”

6. 조건과 주의사항

정규성 가정

표본이 클수록(약 30 이상) 정규성 가정에 덜 민감하지만, 샘플이 매우 작다면 Shapiro-Wilk 등으로 확인하거나 비모수 검정(Signed-rank test 등)을 고려할 수도 있음.

단측 vs. 양측

연구자가 “특정 방향”의 가설( or )을 명확히 갖고 있으면 단측 검정, 단순히 “다른지”만 확인하려면 양측 검정. μ>μ0\mu > \mu_0 μ<μ0\mu < \mu_0

표본 대표성

표본이 모집단을 제대로 대표해야 결과 해석이 타당.

7. 비교: 일표본 z-검정

표본 크기가 매우 크거나(보통 n≥30~50 이상) 모집단 분산()을 이미 알고 있을 때는 z-검정을 사용하기도 합니다. σ2\sigma^2
실제로는 모집단 분산을 미리 아는 경우가 드물어, 보통은 t-검정을 사용합니다.

8. 결론 요약

일표본 t-검정은 단일 표본의 평균이 기준(이론적·역사적·규정된) 평균과 유의미하게 다른지 검증하는 통계 기법.
검정통계량: . t=Xˉ−μ0s/n\displaystyle t = \frac{\bar{X} - \mu_0}{s / \sqrt{n}}
해석: p-값 ≤ → “모집단 평균이 와 다르다(또는 크다/작다)” 결론. α\alpha μ0\mu_0
사용 시 정규성 가정, 단측/양측 설정, 샘플 대표성 등을 신중히 고려해야 합니다.

핵심 포인트: 일표본 t-검정은 “하나의 표본 평균이 특정 기준값과 유의하게 다른지”를 손쉽게 평가해주며, 이는 생산품 품질관리, 의료시험, 교육평가 등 다양한 분야에서 활용됩니다.

11.1.1 Basics of the one sample t-test … 128 11.1.2 Examples of a t-test for one sample… 129 11.1.3 Assumptions of the one-sample t-test … 130 11.1.4 Hypotheses for the one-sample t-test … 131 11.1.5 Calculation of the one-sample t-test … 132 11.1.6 One sample t-test with example … 134 11.1.7 APA format | One-sample t-test … 137 11.2 T-test for independent samples (unpaired t-test)… 138 11.2.1 Using an independent t-test … 138 11.2.2 Purpose of the independent/unpaired t-test… 139 5 11.2.3 Examples for the unpaired t-test… 140 11.2.4 Research question and hypotheses for the unpaired t-test … 140 11.2.5 Assumptions unpaired/independent t-test… 142 11.2.6 Calculate t-test for independent samples … 143 11.2.7 Confidence interval for the true mean difference … 145 11.2.8 One-sided and two-sided unpaired t-test … 146 11.2.9 Effectsize unpaied t-test … 146 11.2.10 Example t-test for independent samples … 147 11.2.11 Interpretation t-test for independent samples … 150 11.2.12 Report a t-test for independent samples … 151 11.3 Paired-samples t-test … 154 11.3.1 Why do you need the dependent t-test? … 154 11.3.2 What is the advantage of a dependent t-test over an independent t-test? … 156 11.3.3 Examples of the t-test for paired samples … 156 11.3.4 Research question and hypotheses of the paired t-test … 157 11.3.5 Assumptions paired t-test … 158 11.3.6 Calculating a paired t-test … 159 11.3.7 Example t-test for dependent samples with DATAtab … 160 11.3.8 Interpretation of a t-test for dependent samples … 163 11.3.9 Effect size dependent t-test … 163

11.4 Mann-Whitney U test Mann–Whitney U 검정(일명 Mann–Whitney–Wilcoxon 검정, Wilcoxon rank-sum 검정 또는 단순히 순위합 검정)은 두 개의 독립된 집단이 동일한 분포에서 추출되었는지 여부를 검정하는 비모수적 방법입니다. 이 검정은 주로 데이터가 정규분포를 따르지 않거나 측정척도가 순위(ordinal)인 경우에 사용되며, 두 집단 간 중앙값 차이 또는 전반적인 순위 차이를 평가하는 데 유용합니다.

1. 검정의 목적 및 해석

검정 목표: 두 집단에서 임의로 선택된 값 X와 Y에 대해, X가 Y보다 클 확률과 Y가 X보다 클 확률이 동일(즉, 0.5)하다는 영가설을 검정합니다. 만약 두 집단의 분포 모양이 동일하다면, 유의한 결과는 중앙값의 차이로 해석될 수 있습니다. 그러나 분포의 모양이나 산포가 다를 경우에는 단순히 한 집단이 다른 집단보다 큰 경향이 있음을 나타냅니다. citeturn0search9
사용 상황:
- 두 독립 집단의 데이터가 정규성을 띠지 않거나 순위척도 이상의 데이터일 때
- 두 집단의 전반적인 분포(또는 중앙 경향)에 차이가 있는지 평가하고자 할 때 citeturn0search1

2. 가정

Mann–Whitney U 검정을 올바르게 사용하기 위해서는 다음의 가정들이 충족되어야 합니다.

독립성: 각 집단의 관측치는 서로 독립적이어야 하며, 두 집단 간에도 독립적이어야 합니다.
측정 수준: 종속 변수는 적어도 순위(ordinal) 척도로 측정되어야 하며, 일반적으로 연속형 데이터에도 적용할 수 있습니다.
분포 모양: 만약 두 집단의 분포 모양과 산포가 동일하다면, 결과를 중앙값 차이로 해석할 수 있습니다. 분포 모양이 다를 경우에는 단순히 한 집단이 다른 집단보다 큰 값들을 갖는 경향이 있다고 해석해야 합니다. citeturn0search9

3. 검정 방법 및 계산 절차

순위 부여: 두 집단의 데이터를 하나의 집합으로 모아 작은 값부터 큰 값까지 순위를 부여합니다. 동일한 값(동점)이 있을 경우 평균 순위를 할당합니다.
U 통계량 계산: 예를 들어, 집단 1의 표본 크기가 n1n_1이고, 이 집단의 순위 합계가 R1R_1일 때 U 통계량은 다음과 같이 계산됩니다. U1=n1n2+n1(n1+1)2−R1U_1 = n_1n_2 + \frac{n_1(n_1+1)}{2} - R_1 집단 2에 대해서도 유사하게 계산할 수 있으며, 일반적으로 두 값 중 더 작은 값을 사용하여 유의성을 검정합니다. 동점이 있을 경우, 정규 근사를 사용할 때 표준편차에 대해 보정이 필요합니다. citeturn0search9
검정 방법:
- 작은 표본의 경우: 정확한 분포표나 알고리즘을 사용합니다.
- 표본 크기가 충분히 큰 경우 (일반적으로 각 집단의 크기가 20 이상): U 통계량은 정규분포에 근사시켜 z-통계량을 계산할 수 있습니다. citeturn0search9

4. 결과 보고 및 해석

검정 결과를 보고할 때는 다음 정보를 포함하는 것이 좋습니다.

U 통계량 값
각 집단의 표본 크기
유의수준(p-값)
한 집단이 다른 집단보다 값이 크다는 경향(예: 중앙값 또는 순위의 차이)에 대한 해석 예시 보고문: “집단 A와 집단 B의 중앙값은 각각 153ms와 247ms였으며, Mann–Whitney U 검정 결과 두 집단 간 차이가 유의하게 나타났다 (Mann–Whitney U = 10.5, n1=n2=8n_1 = n_2 = 8, p<0.05p < 0.05, 양측 검정).” citeturn0search9

5. 장점 및 한계

장점:
- 데이터가 정규분포를 따르지 않더라도 사용할 수 있습니다.
- 순위 기반 방법이므로 이상치(outlier)에 덜 민감합니다.
한계: citeturn0search9
- 두 집단의 분포 모양이나 산포가 다를 경우 중앙값 차이로 해석하기 어렵습니다.
- 분포 모양이 동일할 때만 중앙값 차이에 대한 해석이 타당합니다.

요약

Mann–Whitney U 검정은 데이터가 정규분포를 따르지 않거나 순위척도 이상의 데이터를 사용할 때, 두 독립 집단 간 전반적인 분포(또는 중앙 경향)에 차이가 있는지를 평가하기 위해 널리 사용되는 비모수적 검정 방법입니다. 순위 정보를 기반으로 하므로 이상치의 영향이 적으며, 정규성 가정이 충족되지 않는 경우에도 신뢰할 수 있는 결과를 제공합니다. 추가적인 계산 예제나 효과 크기(예: common language effect size, rank-biserial correlation) 등에 대한 자세한 내용은 관련 통계 자료와 교과서를 참고하시기 바랍니다. citeturn0search9 citeturn0search1

11.4.1 Assumptions Mann-Whitney U test Mann–Whitney U 검정을 적용하기 위해서는 다음과 같은 기본 가정들이 충족되어야 합니다:
1. 독립성 가정
- 두 집단의 관측치는 서로 독립적이어야 합니다.
- 즉, 한 집단 내의 데이터들 간 및 두 집단 간에 상호 의존성이 없어야 합니다.
1. 측정 척도 가정
- 종속 변수는 최소한 순서(ordinal) 척도로 측정되어야 합니다.
- 연속형 데이터에도 적용할 수 있지만, 순위 비교가 가능한 척도여야 합니다.
1. 분포 동일성(영가설) 가정
- 영가설(H₀) 하에서는 두 집단의 전체 분포가 동일하다고 가정합니다.
- 즉, 두 집단에서 임의로 선택된 관측치들이 서로 비교할 때, 한쪽이 더 클 확률과 반대쪽이 더 클 확률이 모두 0.5여야 합니다.
1. 대립 가설
- 대립가설(H₁)은 두 집단의 분포가 동일하지 않음을 의미합니다.
- 만약 두 집단의 분포 모양(산포, 꼬리 등)이 동일하다면, 유의한 결과는 주로 중앙값의 차이로 해석될 수 있습니다.
- 반면 분포 모양이 다를 경우에는 단순히 한 집단이 다른 집단보다 전반적으로 큰 값들을 보인다고 해석해야 합니다.
1. 타이(동점) 처리
- 데이터에 동점이 있을 경우, 동일한 값들에 대해 평균 순위를 할당하며, 이를 반영하여 통계량의 분산 보정(예: 정규 근사 사용 시)이 필요할 수 있습니다. 이러한 가정들이 충족될 때 Mann–Whitney U 검정은 두 독립 집단 간의 중앙 경향 또는 전반적인 분포 차이를 평가하는 데 신뢰할 수 있는 비모수적 방법으로 활용됩니다. citeturn0search9 citeturn0search1
**11.4.2 Hypotheses Mann-Whitney U test ** Mann–Whitney U 검정은 두 독립 집단의 관측치가 동일한 분포에서 추출되었는지, 또는 한 집단이 다른 집단보다 전반적으로 큰 값을 갖는 경향이 있는지를 평가하는 비모수적 방법입니다. 이 검정에서의 가설 설정은 다음과 같이 이루어집니다.

1. 영가설 (H₀)

기본 가정: 두 집단의 분포가 동일하다는 것입니다. 즉, 한 집단에서 임의로 선택한 값 와 다른 집단에서 임의로 선택한 값 에 대해,

라는 가정 하에, 두 집단의 전체 분포(또는 위치)가 동일하다고 봅니다. citeturn0search9 XX YY P(X>Y)=P(Y>X)=0.5P(X > Y) = P(Y > X) = 0.5

2. 대립가설 (H₁)

대립 가정: 두 집단의 분포가 동일하지 않다는 것입니다. 이는 한 집단에서 임의로 선택한 값이 다른 집단에서 임의로 선택한 값보다 클 확률이 0.5와 다르다는 의미입니다.

로 표현할 수 있습니다. citeturn0search1 P(X>Y)≠0.5또는P(Y>X)≠0.5P(X > Y) \neq 0.5 \quad \text{또는} \quad P(Y > X) \neq 0.5

해석상의 주의점

분포 모양의 동일성: 만약 두 집단의 분포가 모양과 산포(분산 등)가 동일하다면, 유의한 결과는 중앙값의 차이로 해석할 수 있습니다. 그러나 분포의 모양이 서로 다르면, 검정 결과는 단순히 한 집단이 다른 집단보다 큰(또는 작은) 값들을 가질 가능성이 높다는 결론만을 내리게 됩니다. citeturn0search9

요약하면, Mann–Whitney U 검정의 가설은 “두 집단의 분포가 동일하다”는 영가설과 “두 집단의 분포가 동일하지 않다”는 대립가설로 설정되며, 이는 임의의 두 관측치 XX와 YY에 대해 P(X>Y)P(X > Y)가 0.5와 동일한지 여부를 평가하는 방식으로 구현됩니다. citeturn0search9 citeturn0search1

11.4.3 Calculate Mann-Whitney U test 다음은 Mann–Whitney U 검정을 직접 계산하는 일반적인 방법과 예시입니다.

계산 절차

데이터 결합 및 순위 부여 두 집단(예: 집단 A와 집단 B)의 모든 관측치를 하나로 결합한 후, 가장 작은 값부터 가장 큰 값까지 순위를 매깁니다. 동점(tie)이 있을 경우에는 해당 순위들의 평균을 할당합니다.
집단별 순위 합계 계산 각 집단에 속한 관측치들의 순위를 합산하여 RAR_A와 RBR_B를 구합니다.
U 통계량 계산 집단 A의 표본 크기를 nAn_A, 집단 B의 표본 크기를 nBn_B라 할 때, 집단 A에 대한 U 통계량은 다음과 같이 계산합니다.

U_A = n_A n_B + \frac{n_A(n_A+1)}{2} - R_A

집단 B의 U 통계량은

U_B = n_A n_B - U_A

검정 통계량 결정 일반적으로 두 U 값 중 작은 값을 Mann–Whitney U 검정 통계량으로 사용합니다.

U = \min(U_A, U_B)

p-값 산출 소규모 표본의 경우 정확한 분포표를, 표본 크기가 충분히 클 경우 (일반적으로 $n_A$ 와 $n_B$ 가 모두 20 이상) 정규 근사를 사용하여 p-값을 계산합니다.

예시: 거북이(T)와 토끼(H)의 레이스 결과

예를 들어, Aesop가 6마리의 거북이와 6마리의 토끼를 대상으로 레이스를 진행하여 아래와 같은 도착 순서를 얻었다고 가정합시다:


T H H H H H T T T T T H

여기서 T는 거북이, H는 토끼를 나타냅니다.

거북이 집단의 표본 크기:

n_T = 6

토끼 집단의 표본 크기:

n_H = 6

계산 방법 (직접 계산 방식):

각 거북이가 토끼를 이긴 횟수 세기

첫 번째 거북이(T1): 레이스에서 1위에 도착했으므로, 모든 토끼(총 6마리)를 이겼다고 할 수 있습니다.
두 번째 거북이(T2): 도착 순서 상 7번째에 위치하므로, T2보다 뒤에 도착한 토끼는 1마리(마지막 토끼)라고 가정합니다.
나머지 거북이(T3 ~ T6): 각각 1마리씩 승리를 얻었다고 가정하면,

U_T = 6 + 1 + 1 + 1 + 1 + 1 = 11

토끼 집단의 U 값 계산 두 집단의 모든 쌍의 비교 수는 nT×nH=6×6=36n_T \times n_H = 6 \times 6 = 36입니다. 따라서,

U_H = 36 - U_T = 36 - 11 = 25

Mann–Whitney U 검정 통계량 선택 두 값 중 작은 값이 검정 통계량이므로,

U = \min(11, 25) = 11

이와 같이 계산된 U=11U = 11을 기준으로, 해당 U 값의 분포(정확한 분포표 또는 정규 근사)를 사용하여 p-값을 산출한 후, 영가설을 기각할지 여부를 결정합니다.

참고 문헌

Wikipedia, “Mann–Whitney U test” citeturn0search9
Technology Networks의 관련 자료 citeturn0search1 이와 같이 단계별로 계산을 진행하면, 주어진 두 독립 집단에 대해 Mann–Whitney U 검정을 수행할 수 있습니다.
11.4.4 Calculate Mann-Whitney U test with tied ranks 아래는 동점( tie )이 존재하는 경우 Mann–Whitney U 검정을 계산하는 방법을 단계별로 설명한 예시입니다.

1. 데이터 준비 및 순위 부여

예시 데이터 (두 집단 X와 Y):

집단 X: 3, 5, 5, 7 (표본 크기 ) nX=4n_X = 4
집단 Y: 4, 5, 6 (표본 크기 ) nY=3n_Y = 3 두 집단의 데이터를 모두 결합한 후 오름차순으로 정렬하면: | 값 | 그룹 | |---|---| | 3 | X | | 4 | Y | | 5 | X | | 5 | X | | 5 | Y | | 6 | Y | | 7 | X |

동일한 값 5가 3개 있으므로, 이 값들에 대해 부여할 순위는 (3, 4, 5)의 평균, 즉 4로 할당합니다. 따라서 각 관측치의 순위는 다음과 같습니다:

값 3 (X): 순위 1
값 4 (Y): 순위 2
값 5 (X): 순위 4
값 5 (X): 순위 4
값 5 (Y): 순위 4
값 6 (Y): 순위 6
값 7 (X): 순위 7

2. 집단별 순위 합계 계산

각 집단의 순위 합계를 구합니다.

집단 X: 관측치와 순위: 3(1), 5(4), 5(4), 7(7) RX=1+4+4+7=16R_X = 1 + 4 + 4 + 7 = 16
집단 Y: 관측치와 순위: 4(2), 5(4), 6(6) RY=2+4+6=12R_Y = 2 + 4 + 6 = 12 전체 순위 합은 RX+RY=16+12=28R_X + R_Y = 16 + 12 = 28이며, 이는 n(n+1)2=7×82=28\frac{n(n+1)}{2} = \frac{7 \times 8}{2} = 28과 일치합니다.

3. U 통계량 계산

집단 X에 대한 U 통계량은 다음 공식으로 계산합니다. UX=nXnY+nX(nX+1)2−RXU_X = n_X n_Y + \frac{n_X(n_X+1)}{2} - R_X 여기서 nX=4n_X = 4, nY=3n_Y = 3이므로,

nXnY=4×3=12n_X n_Y = 4 \times 3 = 12
nX(nX+1)2=4×52=10\frac{n_X(n_X+1)}{2} = \frac{4 \times 5}{2} = 10 따라서, UX=12+10−16=6U_X = 12 + 10 - 16 = 6 또한, 두 집단 간의 U 값은 항상 UX+UY=nXnY=12U_X + U_Y = n_X n_Y = 12이므로, UY=12−6=6U_Y = 12 - 6 = 6 검정에서는 보통 두 U 값 중 작은 값을 사용하므로 U=6U = 6입니다.

4. 동점을 고려한 분산(σ²) 조정

동점이 있는 경우, 정규 근사를 사용할 때 U 통계량의 분산을 아래와 같이 조정합니다. 먼저, 전체 표본 크기를 n=nX+nY=7n = n_X + n_Y = 7이라 하고, 동점 그룹에 대한 tt값은 해당 동점의 개수입니다. 여기서는 값 5에 대해 t=3t = 3입니다. 조정에 필요한 합은 ∑k=1K(tk3−tk)=33−3=27−3=24.\sum_{k=1}^K \left(t_k^3 - t_k\right) = 3^3 - 3 = 27 - 3 = 24. 동점 보정을 반영한 분산 공식은 (Wikipedia 참조): σties=nXnY(n+1)12−nXnY∑k=1K(tk3−tk)12 n(n−1).\sigma_{ties} = \sqrt{ \frac{n_X n_Y (n+1)}{12} - \frac{n_X n_Y \sum_{k=1}^K (t_k^3 - t_k)}{12 , n (n-1)} }. 여기서

nXnY=4×3=12n_X n_Y = 4 \times 3 = 12
n+1=7+1=8n+1 = 7+1 = 8
n(n−1)=7×6=42n(n-1) = 7 \times 6 = 42 따라서,

첫 번째 항: 12×812=8.\frac{12 \times 8}{12} = 8.
두 번째 항: 12×2412×42=288504≈0.5714.\frac{12 \times 24}{12 \times 42} = \frac{288}{504} \approx 0.5714. 조정된 분산은 σ2=8−0.5714≈7.4286,\sigma^2 = 8 - 0.5714 \approx 7.4286, 따라서 표준편차는 σties=7.4286≈2.723.\sigma_{ties} = \sqrt{7.4286} \approx 2.723.

5. 정규 근사를 이용한 z-통계량 계산

U 통계량의 기댓값은 μU=nXnY2=122=6.\mu_U = \frac{n_X n_Y}{2} = \frac{12}{2} = 6. 이제 z-통계량은 z=U−μUσties.z = \frac{U - \mu_U}{\sigma_{ties}}. 우리의 경우 U=6U = 6이므로, z=6−62.723=0.z = \frac{6 - 6}{2.723} = 0. z-값이 0이면 양측 검정 시 p-값은 1.0 (즉, 두 집단 간 차이가 없다고 결론 내림)입니다.

결론

계산된 U 통계량: U=6U = 6
동점 보정 후 표준편차: 약 2.723
z-통계량: 0 (기댓값과 동일)
해석: 두 집단 간에 순위상의 차이가 없으므로, 귀무가설(“두 집단의 분포가 동일하다”)을 기각할 충분한 증거가 없습니다. 이와 같이, 동점이 존재하는 경우에도 평균 순위를 부여하고, 분산을 적절히 보정하여 Mann–Whitney U 검정을 수행할 수 있습니다. citeturn0search9
11.4.5 Mann-Whitney U test Example with Python 다음은 동점(즉, tied ranks)이 포함된 데이터를 대상으로 SciPy를 사용하여 Mann–Whitney U 검정을 수행하는 Python 예제입니다. 아래 예제에서는 두 집단의 데이터에 일부 동점 값이 포함되어 있습니다. SciPy의 mannwhitneyu() 함수는 기본적으로 연속 보정(continuity correction)을 적용하며, 동점이 있을 경우에는 ‘asymptotic’ 방법을 사용하여 p-값을 계산합니다.


import numpy as np
from scipy.stats import mannwhitneyu
 
# 예제 데이터 (동점이 발생하는 경우)
# 집단 A와 집단 B의 데이터
group_A = np.array([3, 5, 5, 7])
group_B = np.array([4, 5, 6])
 
# Mann–Whitney U 검정 수행
# alternative='two-sided'는 양측 검정을 의미합니다.
# method='asymptotic'는 동점이 있을 경우 정규 근사를 사용하여 p-값을 계산합니다.
U_stat, p_value = mannwhitneyu(group_A, group_B, alternative='two-sided', method='asymptotic')
 
print("Mann–Whitney U 통계량:", U_stat)
print("p-값:", p_value)

코드 설명

데이터 생성:

group_A와 group_B 배열에 각각의 데이터를 정의합니다.
예제에서는 group_A에 [3, 5, 5, 7] (동점 5가 2번)와 group_B에 [4, 5, 6] (동점 5가 한 번) 값을 사용합니다.

검정 수행:

mannwhitneyu() 함수에 두 그룹 데이터를 전달하며, alternative='two-sided' 옵션을 통해 양측 검정을 수행합니다.
method='asymptotic' 옵션은 표본 크기가 작거나 동점이 존재할 경우에도 분산 보정을 적용한 정규 근사를 사용하여 p-값을 계산합니다.

결과 출력:

출력된 U 통계량과 p-값을 바탕으로 두 집단 간 차이가 통계적으로 유의한지 판단할 수 있습니다. 이 예제에서는 동점이 포함된 경우에도 SciPy가 자동으로 동점에 대한 보정을 적용하여 U 통계량과 p-값을 계산합니다. 실제 해석 시 p-값이 0.05보다 작으면 두 집단의 분포(또는 중앙값)가 유의하게 다르다고 결론 내릴 수 있습니다.
11.4.6 Interpret Mann-Whitney U test Mann–Whitney U 검정의 결과를 해석할 때는 아래와 같은 몇 가지 핵심 포인트를 고려합니다.

1. 가설 설정

영가설(H₀): 두 독립 집단이 동일한 분포(혹은 동일한 중앙값, 분포 모양이 같을 경우)를 갖는다는 가정입니다. 즉, 임의의 관측치 (집단 A)와 (집단 B)를 비교할 때 라는 의미입니다. XX YY P(X>Y)=0.5P(X > Y) = 0.5
대립가설(H₁): 두 집단의 분포(혹은 중앙값)가 다르다는 가정입니다. 대립가설은 양측(두 집단의 분포가 서로 다르다) 또는 단측(예를 들어, 집단 A의 값이 집단 B의 값보다 크다/작다)으로 설정할 수 있습니다.

2. U 통계량의 의미

U 통계량: Mann–Whitney U 검정은 두 집단 간의 모든 가능한 쌍(집단 A의 관측치와 집단 B의 관측치)을 비교하여, 한 집단의 관측치가 다른 집단의 관측치보다 큰 경우(또는 작은 경우)의 수를 셉니다. 일반적으로 두 집단에 대해 각각 계산한 U 값 중 더 작은 값을 검정 통계량으로 사용합니다.
동점(ties)의 경우: 동점이 있는 경우, 평균 순위를 할당하며, 정규 근사를 사용할 때 동점에 따른 분산 보정이 자동으로 적용됩니다.

3. p-값의 해석

p-값: 관찰된 U 통계량이 영가설 하에서 발생할 확률을 나타냅니다.
- p-값 < 0.05: 통계적으로 유의한 차이가 있다고 판단하여 영가설을 기각합니다. (예: 두 집단의 분포나 중앙값이 유의하게 다르다)
- p-값 ≥ 0.05: 두 집단 간 차이가 우연에 의한 것으로 볼 수 있으므로 영가설을 기각할 충분한 증거가 없다고 결론 내립니다. 예를 들어, 만약 어떤 분석에서 Mann–Whitney U 검정의 결과가 U=50U = 50 및 p=0.03p = 0.03로 나타난다면, p-값이 0.05보다 작으므로 두 집단 간에 유의미한 차이가 있다고 해석합니다.

4. 대립가설의 방향성

양측 검정: 두 집단 간에 차이가 있는지를 확인합니다. (즉, 어느 한 쪽이 더 크거나 작다는 특정 방향을 미리 가정하지 않음)
단측 검정: 미리 특정 집단이 다른 집단보다 크거나 작다는 가정을 두고 검정을 수행합니다. 예를 들어, “집단 A의 값이 집단 B보다 크다”라는 대립가설을 세우면, p-값이 작을 경우 “집단 A가 집단 B보다 유의하게 큰 값을 가진다”고 해석합니다.

5. 효과 크기

효과 크기 계산: Mann–Whitney U 검정 결과로 효과 크기를 계산할 수도 있습니다. 예를 들어, 일반 언어 효과 크기는

와 같이 계산하여, 한 집단의 임의 관측치가 다른 집단의 관측치보다 클 확률을 나타낼 수 있습니다. 또한, 순위-이분 상관계수(rank-biserial correlation) 등 다른 효과 크기 지표를 사용하여 두 집단 간의 차이의 크기를 정량적으로 평가할 수 있습니다. f=Un1×n2f = \frac{U}{n_1 \times n_2}

종합 해석 예시

예를 들어, 어떤 연구에서 두 집단의 데이터를 대상으로 Mann–Whitney U 검정을 수행한 결과

U 통계량이 50이고
p-값이 0.03로 나타났다고 가정해봅시다. 이 경우:

p-값이 0.03 < 0.05이므로, 영가설을 기각하고 두 집단의 분포(또는 중앙값)가 유의하게 다르다고 결론 내릴 수 있습니다.
대립가설이 “집단 A의 값이 집단 B의 값보다 크다”로 설정되었다면, 결과는 “집단 A가 집단 B보다 통계적으로 유의하게 큰 값을 가진다”라고 해석할 수 있습니다.
추가적으로 계산한 효과 크기를 통해 두 집단 간 차이의 실질적 크기를 평가할 수 있습니다.

참고 문헌

citeturn0search9 citeturn0search1 이와 같이, Mann–Whitney U 검정의 결과는 p-값, U 통계량, 대립가설의 방향 및 효과 크기를 종합적으로 고려하여 해석하며, 이를 통해 두 독립 집단 간의 차이가 통계적으로 유의미한지 판단할 수 있습니다.

11.4.7 Mann-Whitney U test and effect size Mann–Whitney U 검정은 두 독립 집단의 순위 차이를 비교하는 비모수적 검정으로, 단순히 p-값만 보고 “차이가 있다/없다”를 판단할 뿐 아니라, 효과 크기(effect size)를 통해 두 집단 간 차이의 실질적인 크기를 정량적으로 평가할 수 있습니다. 아래에서는 Mann–Whitney U 검정에서 자주 사용되는 두 가지 효과 크기 지표(공통 언어 효과 크기와 순위-이분 상관계수)를 설명합니다.

1. 공통 언어 효과 크기 (Common Language Effect Size, f)

정의: 두 집단에서 임의로 하나씩 관측치를 선택했을 때, 한 집단의 값이 다른 집단의 값을 초과할 확률을 의미합니다.
계산 방법: 공통 언어 효과 크기는 다음과 같이 계산할 수 있습니다. f=Un1×n2f = \frac{U}{n_1 \times n_2} 여기서
- UU는 Mann–Whitney U 통계량 (보통 두 값 중 더 작은 값)
- n1n_1과 는 각각 두 집단의 표본 크기입니다. n2n_2
해석: 예를 들어, f=0.90f = 0.90라면, 임의의 한 쌍을 비교했을 때 첫 번째 집단의 값이 두 번째 집단의 값을 초과할 확률이 90%임을 의미합니다.

2. 순위-이분 상관계수 (Rank-Biserial Correlation, r)

정의: 순위-이분 상관계수는 두 집단의 순위 차이를 기반으로 한 효과 크기 지표로, 한 집단이 다른 집단보다 얼마나 우세한지를 나타냅니다.
계산 방법: 공통 언어 효과 크기를 이용해 다음과 같이 계산할 수 있습니다. r=2f−1=2(Un1n2)−1r = 2f - 1 = 2\left(\frac{U}{n_1 n_2}\right) - 1
해석:
- r=0r = 0이면 두 집단 간 차이가 없음을 의미합니다.
- rr의 절댓값이 클수록 두 집단 간의 차이가 크며, 의 값은 -1에서 1 사이의 값을 가집니다. rr
  - 예: 이면, 한 집단이 다른 집단보다 상당히 우세하다고 해석할 수 있습니다. r=0.80r = 0.80

예시

예를 들어, 두 집단의 표본 크기가 각각 n1=10n_1 = 10과 n2=10n_2 = 10이고, 계산된 Mann–Whitney U 통계량이 U=70U = 70라고 가정합시다.

공통 언어 효과 크기 계산: f=7010×10=70100=0.70f = \frac{70}{10 \times 10} = \frac{70}{100} = 0.70 이는 임의의 한 쌍을 비교했을 때, 집단 1의 관측치가 집단 2의 관측치를 초과할 확률이 70%임을 의미합니다.
순위-이분 상관계수 계산: r=2(0.70)−1=1.4−1=0.40r = 2(0.70) - 1 = 1.4 - 1 = 0.40 r=0.40r = 0.40은 중간 정도의 효과 크기를 나타내며, 일반적으로 0.3 미만은 작은 효과, 0.3 ~ 0.5는 중간 효과, 0.5 이상은 큰 효과로 해석합니다.

종합 정리

Mann–Whitney U 검정은 두 집단의 순위 데이터를 비교하여 두 집단의 분포(또는 중앙 경향)에 차이가 있는지를 평가합니다.
효과 크기 지표로는
- 공통 언어 효과 크기 (f): f=U/(n1×n2)f = U / (n_1 \times n_2)
- 순위-이분 상관계수 (r): 를 통해 두 집단 간 차이의 실질적인 크기를 정량화할 수 있습니다. r=2f−1r = 2f - 1
이러한 효과 크기 지표는 단순히 p-값으로 “유의하다/유의하지 않다”를 판단하는 것을 넘어서, 결과의 실제 중요도를 평가하는 데 유용합니다.

참고 문헌 및 자료

citeturn0search9 (Wikipedia – Mann–Whitney U test)
citeturn1search2 (Renesh Bedre, “How to Perform Mann-Whitney U test in Python”) 이와 같이 Mann–Whitney U 검정 결과와 함께 효과 크기를 제시하면, 연구 결과의 해석과 보고에 보다 풍부한 정보를 제공할 수 있습니다.

11.5 Wilcoxon test 11.5.1 Assumptions of the Wilcoxon test 11.5.2 Hypotheses in the Wilcoxon test. 11.5.3 Wilcoxon test and test power 11.5.4 Calculate Wilcoxon test 11.5.5 Calculate Wilcoxon signed-rank test with tied ranks 11.5.6 Effect size in the Wilcoxon signed-rank test 11.5.7 Example Wilcoxon test with Python

아래는 책의 한 챕터(예: “11.5 Wilcoxon Test”)에 포함될 내용을 체계적으로 구성한 예시입니다. 각 하위 섹션에는 Wilcoxon 검정(주로 Wilcoxon 부호 순위 검정, 즉 Wilcoxon signed‐rank test)에 대한 기본 개념, 가정, 가설, 검정력 및 계산 방법, 동점 처리, 효과 크기 산출 방법, 그리고 Python을 활용한 실제 예제가 포함되어 있습니다.

11.5 Wilcoxon Test

Wilcoxon 검정은 비모수적 방법 중 하나로, 데이터의 분포가 정규분포를 따르지 않거나 작은 표본을 대상으로 할 때 효과적인 검정 도구입니다. Wilcoxon 검정에는 크게 두 가지 유형이 있습니다.

Wilcoxon 부호 순위 검정 (Wilcoxon signed‐rank test): 대응(짝을 이룬) 데이터의 두 조건 간 차이가 0인지를 평가하는 검정
Wilcoxon 순위합 검정 (Wilcoxon rank‐sum test): 두 독립 표본 간의 순위 합 차이를 평가하며, 이는 Mann–Whitney U 검정과 동일한 원리를 따릅니다. 본 장에서는 주로 짝을 이루는 데이터에 적용되는 Wilcoxon 부호 순위 검정을 중심으로 설명합니다.

11.5.1 Assumptions of the Wilcoxon Test

Wilcoxon 부호 순위 검정을 적용하기 위해서는 다음의 가정들이 충족되어야 합니다.

대응 쌍의 독립성

각 쌍의 관측치는 서로 독립적이어야 하며, 한 쌍 내의 두 측정치는 관련되어 있지만 서로 다른 쌍 간에는 독립성을 유지해야 합니다.

측정 척도

데이터는 순서(ordinal) 이상의 척도로 측정되어야 합니다. 주로 연속형 데이터를 사용하며, 각 쌍의 차이를 계산할 수 있어야 합니다.

연속성과 분포 대칭성 (선택적 가정)

검정 결과를 중앙값 차이에 대한 검정으로 해석하려면, 각 쌍의 차이 값의 분포가 대칭적이어야 합니다. 분포가 심하게 왜곡되어 있다면 결과 해석에 주의가 필요합니다.

11.5.2 Hypotheses in the Wilcoxon Test

Wilcoxon 부호 순위 검정에서는 다음과 같이 가설을 설정합니다.

영가설 (H₀): 대응 쌍의 차이(예: 치료 후 값 – 치료 전 값)의 중앙값이 0이다. 이는 “변화가 없다”라는 가정을 의미합니다.
대립가설 (H₁): 대응 쌍의 차이의 중앙값이 0이 아니다. 단측 검정의 경우, 예를 들어 “치료 후의 값이 치료 전의 값보다 증가하였다” 또는 “감소하였다”라는 특정 방향을 가정할 수 있습니다.

11.5.3 Wilcoxon Test and Test Power

검정력 (Test Power): Wilcoxon 부호 순위 검정은 정규성 가정이 필요 없기 때문에, 데이터가 정규분포를 따르지 않더라도 적용할 수 있습니다. 다만, 표본 크기가 매우 작거나 데이터에 극단값이 많은 경우 검정력이 제한될 수 있습니다.
효과 크기와의 관계: p-값 외에 효과 크기를 산출하여 실제 차이가 얼마나 큰지를 정량적으로 평가할 수 있습니다. 작은 표본에서도 효과 크기가 크다면, 통계적으로 유의하지 않더라도 실질적 차이가 있음을 시사할 수 있습니다.

11.5.4 Calculate Wilcoxon Test

Wilcoxon 부호 순위 검정의 계산 절차는 다음과 같습니다.

각 쌍의 차이 계산: 각 대응 쌍에 대해 두 측정값의 차이를 di=후−전d_i = \text{후} - \text{전}으로 계산합니다.
0인 차이 제거: 차이가 0인 쌍은 검정에서 제외합니다.
절대 차이에 순위 부여: 남은 차이의 절대값을 오름차순으로 정렬한 후 순위를 부여합니다. 동점(=tie)이 있을 경우, 해당 순위의 평균을 할당합니다.
원래 부호 복원: 부여된 순위에 각 차이의 부호를 다시 곱하여 부호 순위를 구합니다.
순위 합계 계산: 양의 차이에 해당하는 순위 합과 음의 차이에 해당하는 순위 합을 각각 계산합니다.
검정 통계량 선택: 일반적으로 두 순위 합 중 절댓값이 더 작은 값을 검정 통계량으로 사용하며, 이를 정규 근사 또는 정확한 분포를 통해 p-값과 비교합니다.

11.5.5 Calculate Wilcoxon Signed-Rank Test with Tied Ranks

동점(tied ranks)이 발생하는 경우의 처리는 다음과 같이 진행됩니다.

동점 처리: 동일한 절대 차이 값을 가진 관측치가 여러 개 존재할 경우, 이들에 대해 해당 순위들의 평균을 할당합니다.
순위 합계 재계산: 동점 처리가 반영된 순위를 사용하여 양의 차이와 음의 차이에 대한 순위 합계를 다시 계산합니다.
보정된 분산 계산: 정규 근사를 적용할 때, 동점으로 인한 분산 왜곡을 보정하기 위해 각 동점 그룹의 크기 tt에 대해 t3−tt^3 - t 값을 계산하고, 전체 분산에 반영합니다.
z-통계량 및 p-값 산출: 보정된 분산을 바탕으로 z-통계량을 계산한 후, 해당 z-값을 이용하여 p-값을 산출합니다.

11.5.6 Effect Size in the Wilcoxon Signed-Rank Test

Wilcoxon 부호 순위 검정의 효과 크기를 평가하기 위한 대표적인 방법은 다음과 같습니다.

효과 크기 rr 계산: 보통 z-통계량과 대응 쌍의 총 수 NN을 이용하여 다음과 같이 계산합니다. r=zNr = \frac{z}{\sqrt{N}} 여기서 NN은 차이를 계산한 대응 쌍의 수입니다.
해석:
- r<0.3r < 0.3: 작은 효과
- 0.3≤r<0.50.3 \leq r < 0.5: 중간 효과
- r≥0.5r \geq 0.5: 큰 효과 효과 크기를 함께 보고하면, 단순한 p-값 이상의 정보를 제공하여 연구 결과의 실질적 중요도를 평가할 수 있습니다.

11.5.7 Example Wilcoxon Test with Python

아래는 Python의 SciPy 라이브러리를 사용하여 Wilcoxon 부호 순위 검정을 수행하는 예제 코드입니다.


import numpy as np
from scipy.stats import wilcoxon
 
# 예제 데이터: 대응 쌍 (예: 치료 전과 후의 측정값)
before = np.array([80, 85, 78, 90, 88])
after  = np.array([82, 83, 79, 91, 87])
 
# Wilcoxon signed-rank test 수행 (양측 검정)
statistic, p_value = wilcoxon(after, before)
 
print("Wilcoxon 통계량:", statistic)
print("p-값:", p_value)

코드 설명:

데이터 준비: before와 after 배열은 동일 대상의 치료 전과 후 측정값을 나타냅니다.
검정 수행: wilcoxon() 함수는 각 쌍의 차이를 계산하고, 차이가 0인 경우는 제거한 후 절대값에 순위를 부여합니다. 동점이 있을 경우, 자동으로 평균 순위를 할당합니다.
결과 해석: 출력된 p-값이 일반적으로 설정한 유의수준(예: 0.05)보다 작으면, 영가설(차이가 없음)을 기각하고 두 시점 간의 변화가 통계적으로 유의하다고 결론 내릴 수 있습니다.

종합

본 장에서는 Wilcoxon 검정의 다양한 측면을 다루었습니다.

11.5.1에서는 검정에 필요한 기본 가정들을 제시하였으며,
11.5.2에서는 영가설과 대립가설을 설명하였습니다.
11.5.3에서는 검정력과 효과 크기의 중요성을 논의하고,
11.5.4 및 11.5.5에서는 계산 절차와 동점 처리 방법을 자세히 다루었습니다.
11.5.6에서는 효과 크기 산출 방법을 소개하였으며,
11.5.7에서는 Python을 이용한 실제 Wilcoxon 부호 순위 검정 예제를 통해 실습 방법을 제시하였습니다. 이와 같이, Wilcoxon 검정은 대응(짝) 데이터를 대상으로 두 조건 간의 변화를 평가하는 데 유용하며, 효과 크기를 포함한 다양한 통계 지표를 함께 제공함으로써 연구 결과의 해석에 보다 심도 있는 정보를 제공할 수 있습니다.

6 12. Frequency analysis 12.1 Binomial test 12.1.1 Hypotheses in binomial test 12.1.2 Binomial test calculation 12.1.3 Binomial test example 12.1.4 Interpretation of a Binomial Test

12.2 Chi-square test 12.2.1 Applications of the Chi-Square Test 12.2.2 Calcualtion of Chi-Square- test 12.2.3 Chi-Square Test of Independence 12.2.4 Chi-square distribution test 12.2.5 Chi-square homogeneity test 12.2.6 Effect size for Chi-square test 12.2.7 Effect size vs. p-value 12.2.8 Example: Chi-square test with Python

Statistical tests to test for differences in more than two groups 13.1 Analysis of Variance (ANOVA)

One-factor (or one-way) ANOVA
Two-factors (or two-way) ANOVA
One-factor ANOVA with repeated measurements
Two-factors ANOVA with repeated measurements 13.1.1 Why not calculate multiple t-tests? 13.1.2 Difference between one-way and two-way ANOVA 13.1.3 Analysis of variance with and without repeated measures 13.2 One-factor ANOVA 13.3 One-factor ANOVA example 13.4 Analysis of variance hypotheses 13.5 Assumptions for one-way analysis of variance 13.6 Welch’s ANOVA 13.7 Effect size Eta squared (η²) 13.8 Two factor analysis of variance 13.9 Calculate example with Python
초안 Below is an overview of Analysis of Variance (ANOVA) for testing differences among more than two groups, covering one-factor and multi-factor (two-way) designs, repeated measures, assumptions, effect sizes, and examples—including Python code snippets.

13. Statistical Tests to Compare More Than Two Groups

When you want to compare three or more group means, the most common approach is to use an omnibus test such as Analysis of Variance (ANOVA). ANOVA can handle:

One Factor (One-Way ANOVA): Comparing multiple groups across a single categorical factor.
Two Factors (Two-Way ANOVA): Studying the effect of two categorical factors (and their interaction) on a continuous outcome.
Repeated Measures ANOVA: When the same subjects are measured multiple times (within-subject factor).
Mixed or Two-Factor Repeated Measures ANOVA: When one factor is between-subjects and another is within-subjects, or when both are repeated measures.

13.1 Analysis of Variance (ANOVA)

13.1.1 Why Not Calculate Multiple t-Tests?

If you have, for example, three groups (A,B,CA, B, C), you might be tempted to do multiple pairwise tt-tests (e.g., AA vs. BB, BB vs. CC, AA vs. CC). The problem is that each test carries its own Type I error rate (the probability of falsely rejecting the null hypothesis). If you run multiple tests, the chance of making at least one Type I error increases significantly (the “multiple testing” or “inflation” problem). ANOVA solves this by conducting one “omnibus” test to see if there is any difference among the group means, maintaining the overall alpha level (e.g., α=0.05\alpha = 0.05).

13.1.2 Difference Between One-Way and Two-Way ANOVA

One-Way ANOVA (One Factor) Here we have just one categorical factor (independent variable). For instance, you might have three different teaching methods (factor with three levels) and want to test if students’ test scores differ across these methods.
Two-Way ANOVA (Two Factors) Here we have two categorical factors. For example, you might have teaching method (3 levels) and school type (2 levels: public vs. private). You can examine:
1. The main effect of teaching method (averaging over school type),
2. The main effect of school type (averaging over teaching method),
3. The interaction between teaching method and school type (whether the effect of teaching method depends on school type).

13.1.3 Analysis of Variance With and Without Repeated Measures

Between-Subjects (No Repeated Measures) Each subject or data point is measured only once in one experimental condition. All observations are independent.
Within-Subjects (Repeated Measures) The same subjects are measured multiple times across different conditions or time points, so measurements are correlated within each subject. A repeated-measures ANOVA accounts for this correlation.
Mixed Designs When you have at least one between-subject factor and at least one within-subject factor, you need a mixed ANOVA to handle both independent and repeated measures effects simultaneously.

13.2 One-Factor (One-Way) ANOVA

Overview

A one-way ANOVA tests whether the mean of a continuous outcome differs among kk groups defined by a single factor with kk levels. Formally:

Data Setup: You have a response variable YY measured for nn observations, each belonging to one of kk groups.
Model: Yij=μ+τi+εij,Y_{ij} = \mu + \tau_i + \varepsilon_{ij}, where
- μ\mu is the overall mean,
- τi\tau_i is the effect of group , ii
- εij\varepsilon_{ij} is the residual error for the th observation in group . jj ii
F-Statistic: F=MSbetweenMSwithin=Between-Group VarianceWithin-Group Variance.F = \frac{\text{MS}\text{between}}{\text{MS}\text{within}} \quad=\quad \frac{\text{Between-Group Variance}}{\text{Within-Group Variance}}.
Null Hypothesis (H0)(H_0): μ1=μ2=⋯=μk,\mu_1 = \mu_2 = \dots = \mu_k, i.e., all group means are identical.
Alternative Hypothesis (H1)(H_1): At least one group mean differs from the others. If the F-statistic is large enough (i.e., the between-group variance is significantly bigger than the within-group variance), we reject H0H_0.

13.3 One-Factor ANOVA Example

Suppose we have three groups (A, B, C) with the following data (fictional example):

Group	Observations
A	5, 7, 6, 5, 8
B	6, 9, 7, 10, 8
C	2, 3, 5, 4, 3

Calculate Group Means and Within-Group Variances.
Calculate Overall Mean.
Compute MS_between (variance between groups) and MS_within (variance within groups).
F = MS_between / MS_within. Then compare the computed FF to an FF-distribution with (k−1,n−k)(k-1, n-k) degrees of freedom. If pp is below α\alpha, reject H0H_0.

13.4 Analysis of Variance Hypotheses

For one-factor ANOVA:

Null Hypothesis (H0H_0): μ1=μ2=…=μk\mu_1 = \mu_2 = \ldots = \mu_k (All group means are equal.)
Alternative Hypothesis (H1H_1): At least one μi\mu_i differs from the others. For two-factor ANOVA, we typically have three sets of hypotheses:

Main effect of Factor A: H0A:μA1=μA2=…H_{0A}: \mu_{A1} = \mu_{A2} = \ldots
Main effect of Factor B: H0B:μB1=μB2=…H_{0B}: \mu_{B1} = \mu_{B2} = \ldots
Interaction effect of A and B: H0AB:No interaction effectH_{0AB}: \text{No interaction effect}

13.5 Assumptions for One-Way Analysis of Variance

Independence of Observations Each observation is independent within each group.
Normality Within Groups The outcome variable in each group should be approximately normally distributed.
Homogeneity of Variances (Homoscedasticity) All groups are assumed to have the same variance. Typically checked with Levene’s test or Bartlett’s test. Violations of normality or homoscedasticity can sometimes be handled by transformations, or by switching to a non-parametric alternative (e.g., Kruskal-Wallis test). If only homoscedasticity is violated, Welch’s ANOVA is often recommended.

13.6 Welch’s ANOVA

Welch’s ANOVA is a version of the one-way ANOVA that does not assume equal variances. It adjusts the degrees of freedom used in the FF-test based on the sample sizes and variances in each group, making it more robust to heteroscedasticity. The hypotheses for Welch’s ANOVA are the same as for a standard one-way ANOVA, but the calculation of the test statistic and the degrees of freedom differ.

13.7 Effect Size: Eta Squared (η2\eta^2)

When ANOVA indicates significant differences, it is useful to measure how large these differences are. A common measure is eta squared: η2=SSbetweenSStotal,\eta^2 = \frac{\text{SS}{\text{between}}}{\text{SS}{\text{total}}},

SSbetween\text{SS}_{\text{between}} is the sum of squares between the groups.
SStotal\text{SS}_{\text{total}} is the total sum of squares. Interpretation guidelines (Cohen, 1988) vary, but roughly:
η2=0.01\eta^2 = 0.01: small effect
η2=0.06\eta^2 = 0.06: medium effect
η2=0.14\eta^2 = 0.14: large effect (Some references suggest slightly different cutoffs.)

13.8 Two-Factor (Two-Way) Analysis of Variance

A two-way ANOVA evaluates the effect of two categorical factors (AA and BB) on a continuous outcome YY. It also tests for an interaction between the two factors. In the model: Yijk=μ+αi+βj+(αβ)ij+εijk,Y_{ijk} = \mu + \alpha_i + \beta_j + (\alpha\beta){ij} + \varepsilon{ijk}, where

αi\alpha_i is the effect of level of Factor A, ii
βj\beta_j is the effect of level of Factor B, jj
(αβ)ij(\alpha\beta)_{ij} is the interaction effect between level of and level of , ii AA jj BB
εijk\varepsilon_{ijk} is the residual. You typically test three null hypotheses:

No main effect of Factor A: All . αi=0\alpha_i = 0
No main effect of Factor B: All . βj=0\beta_j = 0
No interaction: All . (αβ)ij=0(\alpha\beta)_{ij} = 0 Significant interaction means the effect of Factor A depends on the level of Factor B (and vice versa).

13.9 Calculate Example With Python

Below is a basic example in Python using scipy.stats and statsmodels:

13.9.1 One-Way ANOVA Example


import numpy as np
from scipy.stats import f_oneway
 
# Suppose we have three groups (A, B, C) data:
groupA = np.array([5, 7, 6, 5, 8])
groupB = np.array([6, 9, 7, 10, 8])
groupC = np.array([2, 3, 5, 4, 3])
 
# Perform one-way ANOVA (standard)
f_stat, p_value = f_oneway(groupA, groupB, groupC)
 
print("=== One-Way ANOVA ===")
print(f"F-statistic = {f_stat:.4f}")
print(f"p-value = {p_value:.4f}")

f_oneway performs a classical one-way ANOVA.
It assumes homogeneity of variances. If this assumption is clearly violated, consider using Welch’s ANOVA or a non-parametric test.

13.9.2 Welch’s ANOVA Example (Using Pingouin)


!pip install pingouin  # if not installed
 
import pandas as pd
import pingouin as pg
 
# Create a dataframe suitable for pingouin
data = pd.DataFrame({
    'value': np.concatenate([groupA, groupB, groupC]),
    'group': ['A']*len(groupA) + ['B']*len(groupB) + ['C']*len(groupC)
})
 
welch_res = pg.welch_anova(dv='value', between='group', data=data)
print("=== Welch's ANOVA ===")
print(welch_res)

pingouin automatically performs Welch’s ANOVA for unequal variances.

13.9.3 Two-Way ANOVA Example (Using statsmodels)


import statsmodels.api as sm
from statsmodels.formula.api import ols
import pandas as pd
import numpy as np
 
# Example data: Factor A has 2 levels, Factor B has 2 levels
# We'll create a small dataset for demonstration
FactorA = np.repeat(['A1', 'A2'], 8)
FactorB = np.tile(np.repeat(['B1', 'B2'], 4), 2)
Y = np.array([5,6,4,5,7,8,6,7,
              10,9,11,8,9,8,10,10])  # fictional outcome data
 
df2 = pd.DataFrame({
    'Y': Y,
    'FactorA': FactorA,
    'FactorB': FactorB
})
 
model = ols('Y ~ FactorA * FactorB', data=df2).fit()
anova_table = sm.stats.anova_lm(model, typ=2)  # type=2 for main + interaction
print("=== Two-Way ANOVA ===")
print(anova_table)

FactorA * FactorB in the formula includes both main effects and their interaction.
The output ANOVA table includes sums of squares, degrees of freedom, F-statistics, and p-values for main effects and the interaction.

Summary

One-Way ANOVA tests whether group means differ for a single factor. kk
Two-Way ANOVA handles two factors, enabling you to see main effects and an interaction effect.
Repeated Measures ANOVA is used when each subject is measured multiple times (within-subject design).
Mixed ANOVA combines both between-subject and within-subject factors.
Welch’s ANOVA is a robust alternative for unequal variances.
Effect size (η2\eta^2) provides insight into practical significance, not just statistical significance. Analysis of variance is a powerful, flexible framework for comparing multiple group means. In practice, once an ANOVA shows a significant difference, you often perform post hoc tests (e.g., Tukey’s HSD) to determine exactly which groups differ.

13.10 Repeated Measures ANOVA… 211 13.10.1 What are dependent samples? … 211 13.10.2 Difference of analysis of variance with and without repeated measurements … 212 13.10.3 Example of repeated measures ANOVA … 212 7 13.10.4 Research question and hypotheses… 213 13.10.5 Assumptions ANOVA with repeated measures … 214 13.10.6 Results of the one-factor analysis of variance with repeated measures. … 216 13.10.7 Effect size for repeated measures ANOVA … 216 13.10.8 Bonferroni Post-hoc-Test … 217 13.10.9 Calculate ANOVA with measurement repetitions with Pyhton … 218 13.10.10 Calculate a repeated measures ANOVA by hand … 219

다음은 “13.10 Repeated Measures ANOVA”라는 챕터의 책 내용 구성 예시입니다. 각 소제목(13.10.1 ~ 13.10.10)마다 이론적 배경, 계산 방법, 해석 및 Python 예제까지 체계적으로 설명하는 내용을 포함하고 있습니다.

13.10 Repeated Measures ANOVA

반복 측정 분산분석(Repeated Measures ANOVA)은 동일한 대상(혹은 집단)을 여러 조건 또는 시점에서 반복 측정하여 조건 간 평균의 차이가 통계적으로 유의한지 평가하는 방법입니다. 이 장에서는 종속 표본의 정의, 반복 측정이 포함된 분산분석과 일반 분산분석 간의 차이, 구체적 예제, 연구 질문과 가설 설정, 가정, 결과 해석, 효과 크기, 사후 분석(Bonferroni Post-hoc-Test), Python을 이용한 계산 방법 및 손으로 직접 계산하는 방법에 대해 자세히 다룹니다.

13.10.1 What are Dependent Samples?

(종속 표본이란 무엇인가?)

정의: 반복 측정 ANOVA에서는 동일한 대상이 여러 조건 또는 시점에서 측정되므로, 각 측정값은 서로 독립적이지 않고 서로 연관된(종속적인) 데이터입니다.
예시: 예를 들어, 한 그룹의 학생들에게 시험 전, 중, 후에 동일한 테스트를 실시하면 이 세 시점의 점수는 동일한 학생에 의해 측정된 것이므로 종속 표본에 해당합니다.

13.10.2 Difference of Analysis of Variance with and without Repeated Measurements

(반복 측정이 포함된 분산분석과 포함되지 않은 분산분석의 차이)

일반 ANOVA (Between-Subjects ANOVA): 서로 다른 집단의 독립 표본을 비교합니다. 각 집단의 관측치는 서로 독립적이며, 집단 간 평균 차이를 검정합니다.
반복 측정 ANOVA (Within-Subjects ANOVA): 동일한 대상이 여러 조건에서 측정된 종속 표본 데이터를 비교합니다. 각 대상 내부의 변화(조건 간 차이)를 평가하며, 개인 간 차이의 영향을 통제할 수 있습니다.
차이점: 반복 측정 ANOVA는 각 대상의 고유한 특성(내부 변동성)을 통제할 수 있어 더 민감한 검정이 가능하지만, 집단 내 상관관계(예, 구면성 가정)가 추가로 요구됩니다.

13.10.3 Example of Repeated Measures ANOVA

(반복 측정 ANOVA의 예제)

예시 상황: 한 연구에서 동일 피험자들에게 세 가지 다른 교육 방법을 적용한 후, 각 교육 방법에 따른 시험 점수를 측정하였습니다.
데이터 구성: 각 피험자는 조건 A, B, C에서 점수를 얻었으며, 이 세 조건의 평균 점수 차이가 유의한지를 검정합니다.

13.10.4 Research Question and Hypotheses

(연구 질문과 가설 설정)

연구 질문: “세 가지 교육 방법이 피험자의 학업 성취도에 차이를 유발하는가?”
영가설 (H₀): “세 조건(교육 방법)에서의 평균 점수에 차이가 없다.”
대립가설 (H₁): “최소한 한 조건의 평균 점수가 다른 조건과 유의하게 다르다.”
단측/양측 검정: 연구 설계에 따라 특정 교육 방법이 다른 방법보다 우수한지(단측) 또는 단순히 차이가 있는지(양측)를 검정할 수 있습니다.

13.10.5 Assumptions ANOVA with Repeated Measures

(반복 측정 ANOVA의 가정)

구면성(Sphericity):

각 조건 간의 분산 차이가 동일하며, 조건 간 공분산이 일정해야 합니다.
Mauchly의 구면성 검정을 통해 확인하며, 구면성이 위배될 경우 Greenhouse-Geisser 또는 Huynh-Feldt 보정을 사용합니다.

정규성:

각 조건에 대한 잔차(오차)가 정규분포를 따라야 합니다.

독립성:

각 피험자 간의 관측치는 서로 독립적이어야 합니다.
반복 측정 내에서는 동일 피험자의 측정값들이 종속적이지만, 피험자 간에는 독립성이 유지되어야 합니다.

등분산성(등분산 가정):

각 조건의 분산이 유사해야 합니다.

13.10.6 Results of the One-Factor Analysis of Variance with Repeated Measures

(반복 측정 단일 요인 분산분석 결과)

결과 보고 예시: “F(2, 38) = 5.67, p = 0.007, 구면성 보정: Greenhouse-Geisser ε = 0.85”
해석: p-값이 0.05보다 작으므로, 세 가지 교육 방법 간에 통계적으로 유의한 점수 차이가 존재함을 나타냅니다.
후속 분석: 구면성 위배가 확인된 경우, 보정된 자유도와 p-값을 보고하며, 효과 크기 및 사후 검정 결과를 함께 제시합니다.

13.10.7 Effect Size for Repeated Measures ANOVA

(반복 측정 ANOVA의 효과 크기)

효과 크기 지표: 반복 측정 ANOVA에서는 일반적으로 부분 η² (partial eta-squared)를 사용하여 효과 크기를 산출합니다. ηp2=SSeffectSSeffect+SSerror\eta_p^2 = \frac{SS_{effect}}{SS_{effect} + SS_{error}}
- 해석:
  - 0.01: 작은 효과
  - 0.06: 중간 효과
  - 0.14 이상: 큰 효과
추가 지표: 경우에 따라 Cohen의 d나 r 값을 사용하기도 합니다.

13.10.8 Bonferroni Post-hoc Test

(Bonferroni 사후 검정)

목적: 반복 측정 ANOVA에서 영가설이 기각된 경우, 어느 조건 간에 유의한 차이가 있는지 추가로 비교합니다.
Bonferroni 보정: 다중 비교 시 제1종 오류를 줄이기 위해 각 비교의 유의수준을 전체 유의수준(예: 0.05)을 비교 횟수로 나누어 보정합니다.
실행 예: 조건 A vs 조건 B, A vs C, B vs C 각각의 p-값에 보정을 적용하여 해석합니다.

13.10.9 Calculate ANOVA with Measurement Repetitions with Python

(Python을 이용한 반복 측정 ANOVA 계산)

Python에서는 statsmodels 또는 pingouin과 같은 라이브러리를 사용하여 반복 측정 ANOVA를 수행할 수 있습니다. 예제 코드 (statsmodels 사용):


import pandas as pd
import statsmodels.api as sm
from statsmodels.formula.api import ols
from statsmodels.stats.anova import AnovaRM
 
# 예제 데이터: 각 피험자(ID)마다 세 조건(A, B, C)에서 측정한 점수
data = {
    'ID': [1, 2, 3, 4, 5] * 3,
    'Condition': ['A']*5 + ['B']*5 + ['C']*5,
    'Score': [80, 85, 78, 90, 88, 82, 87, 79, 91, 86, 84, 89, 77, 92, 90]
}
df = pd.DataFrame(data)
 
# 반복 측정 ANOVA 수행 (피험자(ID)를 반복 측정 변수로 지정)
aovrm = AnovaRM(df, 'Score', 'ID', within=['Condition'])
res = aovrm.fit()
print(res)

설명: 위 코드에서는 각 피험자의 세 조건에 따른 점수를 비교하여 반복 측정 ANOVA를 수행합니다. 결과에서 F-통계량, p-값, 자유도 및 구면성 보정(필요한 경우)이 출력됩니다.

13.10.10 Calculate a Repeated Measures ANOVA by Hand

(반복 측정 ANOVA의 수작업 계산 방법)

반복 측정 ANOVA를 손으로 계산하는 방법은 다음 단계로 요약할 수 있습니다.

총합 및 각 조건별 합 계산: 각 피험자 및 조건의 점수를 이용하여 전체 합과 조건별(처리별) 합을 구합니다.
제곱합(SS, Sum of Squares) 계산:

전체 제곱합 (SS_Total): 각 측정값과 전체 평균의 차이를 제곱하여 모두 합산합니다.
조건 간 제곱합 (SS_Between): 각 조건의 평균과 전체 평균의 차이에 피험자 수를 곱한 후 제곱합을 구합니다.
피험자 간 제곱합 (SS_Subjects): 각 피험자의 평균과 전체 평균의 차이에 조건 수를 곱한 후 제곱합을 구합니다.
**오차 제곱합 (SS_Error):**로 계산합니다. SSError=SSTotal−SSBetween−SSSubjectsSS_{Error} = SS_{Total} - SS_{Between} - SS_{Subjects}

자유도 계산:

조건 간: (여기서 k는 조건의 수) dfBetween=k−1df_{Between} = k - 1
피험자 간: (여기서 n은 피험자 수) dfSubjects=n−1df_{Subjects} = n - 1
오차: dfError=(k−1)(n−1)df_{Error} = (k - 1)(n - 1)

평균 제곱(MS) 계산:

MSBetween=SSBetween/dfBetweenMS_{Between} = SS_{Between} / df_{Between}
MSError=SSError/dfErrorMS_{Error} = SS_{Error} / df_{Error}

F-통계량 계산: F=MSBetweenMSErrorF = \frac{MS_{Between}}{MS_{Error}}
p-값 도출: 계산된 F-통계량과 조건 간 자유도, 오차 자유도를 이용해 F 분포표에서 p-값을 찾습니다.

예제: (간단한 데이터셋을 사용하여 각 단계별로 제곱합, 자유도, 평균 제곱 및 F-값을 계산하는 과정을 구체적으로 서술할 수 있습니다.)

종합

이 장에서는 반복 측정 ANOVA의 개념과 그에 따른 다양한 구성요소를 다루었습니다.

13.10.1에서는 종속 표본(Dependent Samples)의 개념을 설명하였으며,
13.10.2에서는 반복 측정이 포함된 분산분석과 일반 분산분석의 차이를 비교하였습니다.
13.10.3에서는 실제 사례를 통해 반복 측정 ANOVA의 예제를 제시하고,
13.10.4에서는 연구 질문과 가설 설정 방법을 다루었습니다.
13.10.5에서는 ANOVA의 주요 가정(구면성, 정규성, 독립성 등)을 상세히 설명하였고,
13.10.6에서는 분석 결과의 보고 및 해석 방법을 제시하였습니다.
13.10.7에서는 효과 크기 산출 방법(예: 부분 η²)을 소개하였으며,
13.10.8에서는 Bonferroni 사후 검정을 통해 다중 비교 시 제1종 오류를 보정하는 방법을 설명하였습니다.
13.10.9에서는 Python을 활용한 반복 측정 ANOVA 계산 예제를 제공하였고,
13.10.10에서는 반복 측정 ANOVA를 손으로 계산하는 절차를 단계별로 안내하였습니다. 이와 같은 체계적인 구성은 독자가 반복 측정 ANOVA의 이론적 배경과 실제 분석 방법을 쉽게 이해하고, 연구 데이터에 적용할 수 있도록 도와줍니다.

13.11 Two-way ANOVA (without repeated measures) … 221 13.11.1 What is a factor?… 222 13.11.2 Two factors … 223 13.11.3 Example Two-Way ANOVA … 224 13.11.4 Hypotheses … 224 13.11.5 Assumptions … 225 13.11.6 Calculation of a two-way ANOVA … 226 13.11.7 Calculating two-way ANOVA with DATAtab … 230 13.11.8 Interpreting two-way ANOVA… 233 13.11.9 Interaction effect … 234

다음은 “13.11 Two-way ANOVA (without repeated measures)” 장의 책 내용을 구성한 예시입니다. 각 소제목은 두 요인 분산분석의 개념, 요인(factor)의 정의, 두 요인의 효과 및 상호작용, 가설 설정, 주요 가정, 계산 방법, DATAtab을 이용한 분석, 결과 해석 및 상호작용 효과에 대해 자세히 설명합니다.

13.11 Two-way ANOVA (without repeated measures)

두 요인 분산분석(Two-way ANOVA)은 두 개의 독립적인 범주형 변수(요인)가 한 개의 연속형 종속 변수에 미치는 영향을 동시에 분석하는 통계 기법입니다. 이 방법은 각 요인의 주효과(main effects)와 두 요인 간 상호작용(interaction effect)을 평가하는 데 사용되며, 반복 측정이 없는 독립 표본에 적용됩니다.

13.11.1 What is a factor?

(요인이란 무엇인가?)

정의: 요인(factor)은 실험이나 관찰 연구에서 독립 변수로 사용되는 범주형 변수입니다.
특징:
- 각 요인은 두 개 이상의 수준(level) 또는 범주를 가집니다.
- 예를 들어, ‘교육 방법’이라는 요인은 “전통적 교육”, “온라인 교육”, “혼합형 교육” 등 여러 수준을 가질 수 있습니다.
역할: 요인은 종속 변수에 미치는 효과를 구분하여 평가할 수 있도록 도와주며, 두 요인 분산분석에서는 두 개 이상의 요인이 동시에 고려됩니다.

13.11.2 Two Factors

(두 요인)

두 요인의 개념: 두 요인 분산분석에서는 두 개의 독립 요인(예: 요인 A와 요인 B)이 동시에 종속 변수에 미치는 영향을 분석합니다.
주효과와 상호작용 효과:
- 주효과(Main Effect): 각 요인이 독립적으로 종속 변수에 미치는 영향을 의미합니다.
- 상호작용 효과(Interaction Effect): 두 요인이 결합하여 나타내는 효과로, 한 요인의 효과가 다른 요인의 수준에 따라 달라지는 경우를 의미합니다.
예시: 예를 들어, ‘비료 종류’(요인 A: 유기농, 화학 비료)와 ‘관개 수준’(요인 B: 낮음, 높음)이 식물 성장(종속 변수)에 미치는 영향을 동시에 평가할 수 있습니다.

13.11.3 Example Two-Way ANOVA

(두 요인 분산분석의 예제)

실제 사례: 한 연구에서 식물의 생장률에 영향을 미치는 요인으로 ‘비료 종류’와 ‘관개 수준’을 고려하였습니다.
데이터 구성:
- 요인 A (비료 종류): 유기농, 화학 비료
- 요인 B (관개 수준): 낮음, 높음
- 각 조건(예: 유기농+낮음, 유기농+높음, 화학+낮음, 화학+높음)마다 독립 표본의 식물 생장률을 측정
목적: 두 요인의 주효과와 함께 상호작용 효과가 존재하는지 평가합니다.

13.11.4 Hypotheses

(가설 설정)

두 요인 분산분석에서는 다음과 같은 가설을 설정합니다.

요인 A의 주효과에 대한 가설:
- 영가설 (H₀_A): 요인 A의 각 수준 간에 종속 변수의 평균 차이가 없다.
- 대립가설 (H₁_A): 요인 A의 적어도 한 수준은 다른 수준과 유의하게 다르다.
요인 B의 주효과에 대한 가설:
- 영가설 (H₀_B): 요인 B의 각 수준 간에 종속 변수의 평균 차이가 없다.
- 대립가설 (H₁_B): 요인 B의 적어도 한 수준은 다른 수준과 유의하게 다르다.
상호작용 효과에 대한 가설:
- 영가설 (H₀_interaction): 요인 A와 요인 B 간에 상호작용 효과가 없다.
- 대립가설 (H₁_interaction): 요인 A의 효과가 요인 B의 수준에 따라 달라진다(즉, 상호작용 효과가 존재한다).

13.11.5 Assumptions

(반복 측정이 없는 두 요인 ANOVA의 가정)

두 요인 ANOVA를 수행하기 위해서는 다음 가정들이 충족되어야 합니다.

독립성: 각 그룹의 관측치는 서로 독립적이어야 합니다.
정규성: 각 셀(각 요인의 모든 조합)에 대한 종속 변수의 분포가 정규분포를 따른다고 가정합니다.
등분산성 (Homogeneity of variances): 모든 그룹(조건) 간에 종속 변수의 분산이 동일해야 합니다.
요인의 범주형 특성: 각 요인은 명확한 수준(범주)을 가지며, 해당 수준은 서로 독립적입니다.

13.11.6 Calculation of a Two-Way ANOVA

(두 요인 ANOVA의 계산)

두 요인 ANOVA의 계산은 다음 단계로 요약할 수 있습니다.

총제곱합(SS_Total): 전체 데이터의 변동성을 계산합니다.
요인 A의 제곱합(SS_A): 요인 A의 각 수준별 평균과 전체 평균 간의 차이에 기반한 제곱합.
요인 B의 제곱합(SS_B): 요인 B의 각 수준별 평균과 전체 평균 간의 차이에 기반한 제곱합.
상호작용 제곱합(SS_AB): 두 요인이 결합되어 나타내는 효과에 따른 제곱합.
오차 제곱합(SS_Error): SSError=SSTotal−SSA−SSB−SSABSS_{Error} = SS_{Total} - SS_A - SS_B - SS_{AB}로 계산됩니다.
자유도 계산:

요인 A: (a는 요인 A의 수준 수) dfA=a−1df_A = a - 1
요인 B: (b는 요인 B의 수준 수) dfB=b−1df_B = b - 1
상호작용: dfAB=(a−1)(b−1)df_{AB} = (a - 1)(b - 1)
오차: (N은 전체 관측치 수) dfError=N−abdf_{Error} = N - ab

평균 제곱(MS) 및 F-통계량:

MSA=SSA/dfAMS_A = SS_A / df_A
MSB=SSB/dfBMS_B = SS_B / df_B
MSAB=SSAB/dfABMS_{AB} = SS_{AB} / df_{AB}
MSError=SSError/dfErrorMS_{Error} = SS_{Error} / df_{Error}
F-통계량: 각 효과에 대해 F=MSEffectMSErrorF = \frac{MS_{Effect}}{MS_{Error}} 이를 통해 각 요인과 상호작용 효과의 유의성을 평가합니다.

13.11.7 Calculating Two-Way ANOVA with DATAtab

(DATAtab을 이용한 두 요인 ANOVA 계산)

DATAtab 사용: DATAtab은 온라인 통계 계산 도구로, 데이터를 업로드하여 두 요인 ANOVA를 쉽게 수행할 수 있습니다.
절차:
1. 데이터 파일(CSV 등)을 준비하여 각 열에 요인 A, 요인 B, 종속 변수의 값을 입력합니다.
2. DATAtab의 ANOVA 메뉴에서 “Two-way ANOVA”를 선택합니다.
3. 요인과 종속 변수의 변수를 지정하고, 그룹별 데이터 분포를 확인합니다.
4. 결과 화면에서 F-통계량, p-값, 자유도 및 효과 크기(부분 η² 등)를 확인합니다.
해석: DATAtab이 제공하는 결과 표를 바탕으로 각 요인의 주효과와 상호작용 효과가 통계적으로 유의한지 판정할 수 있습니다.

13.11.8 Interpreting Two-Way ANOVA

(두 요인 ANOVA 결과 해석)

주효과 해석:
- 요인 A와 요인 B 각각의 p-값이 0.05보다 작으면, 해당 요인이 종속 변수에 유의한 영향을 미친다고 판단합니다.
상호작용 효과 해석:
- 상호작용 효과의 p-값이 유의하면, 한 요인의 효과가 다른 요인의 수준에 따라 달라진다는 것을 의미합니다.
효과 크기:
- 부분 η² (partial eta squared) 등의 효과 크기를 함께 보고, 각 요인의 실질적 영향력을 평가합니다.
보고: “F( df_effect, df_error) = F값, p = p값, 부분 η² = 효과 크기”와 같이 결과를 기술합니다.

13.11.9 Interaction Effect

(상호작용 효과)

정의: 상호작용 효과는 두 요인이 결합되어 나타나는 효과로, 한 요인의 효과가 다른 요인의 수준에 따라 달라질 때 발생합니다.
해석:
- 예를 들어, 비료 종류와 관개 수준이 식물 성장에 미치는 영향을 분석할 때, 만약 특정 비료에서 관개 수준에 따른 효과가 다르게 나타난다면, 이는 상호작용 효과가 존재함을 의미합니다.
시각화: 상호작용 플롯(interaction plot)을 통해 각 요인의 수준별 평균값 변화를 시각적으로 확인할 수 있습니다.
분석: 상호작용 효과가 유의할 경우, 단순 주효과 해석보다는 각 조건 조합에 대한 비교 분석이 필요합니다.

종합

이 장에서는 반복 측정이 없는 두 요인 분산분석(Two-way ANOVA)의 이론과 실습 방법을 다루었습니다.

13.11.1에서는 요인(factor)의 개념과 그 역할을 설명하였고,
13.11.2에서는 두 요인의 개념과 주효과 및 상호작용 효과를 구분하였습니다.
13.11.3에서는 실제 사례를 통해 두 요인 ANOVA의 적용 예를 제시하였으며,
13.11.4에서는 연구 질문 및 가설 설정 방법을 상세히 다루었습니다.
13.11.5에서는 두 요인 ANOVA의 주요 가정(정규성, 등분산성, 독립성 등)을 소개하였고,
13.11.6에서는 각 제곱합, 자유도 및 F-통계량을 통한 계산 과정을 설명하였습니다.
13.11.7에서는 DATAtab과 같은 온라인 도구를 이용한 분석 방법을 안내하였으며,
13.11.8에서는 결과 해석 및 효과 크기 평가 방법을 제시하였습니다.
마지막으로, 13.11.9에서는 상호작용 효과의 정의와 해석, 시각화 방법을 설명하여 두 요인 간 상호작용의 중요성을 강조하였습니다. 이와 같은 체계적인 구성은 독자가 두 요인 ANOVA의 이론적 배경과 실습 방법을 깊이 이해하고, 실제 연구 데이터에 적용할 수 있도록 도와줍니다.

13.12 Two-way ANOVA with measurement repetition… 236 13.12.1 Sample with measurement repetition … 237 13.12.2 Example two-way ANOVA with repeated measures … 238 13.12.3 Hypotheses … 239 13.12.4 Assumptions of the two-way analysis of variance with repeated measures … 239 13.12.5 Calculate two-way ANOVA with repeated measures … 240 13.12.6 Interpret two-way analysis of variance with repeated measures … 242

아래는 “13.12 Two-way ANOVA with measurement repetition” (반복 측정이 포함된 두 요인 분산분석) 장의 책 내용 구성 예시입니다. 각 소제목별로 이론적 배경, 예제, 가설 설정, 가정, 계산 절차 및 결과 해석에 대해 자세히 설명합니다.

13.12 반복 측정이 포함된 두 요인 분산분석

반복 측정이 포함된 두 요인 분산분석은 동일 피험자 또는 실험 단위를 여러 조건(요인)의 조합에 따라 반복적으로 측정하여, 각 요인의 주효과와 요인 간 상호작용 효과를 동시에 평가하는 통계 기법입니다. 이 장에서는 반복 측정 샘플의 개념부터 실제 데이터 예제, 가설 설정, 주요 가정, 계산 방법, 그리고 결과 해석까지 전반적인 내용을 다룹니다.

13.12.1 측정 반복이 포함된 샘플 (Sample with Measurement Repetition)

정의: 반복 측정 샘플은 동일 피험자나 실험 단위가 여러 조건 또는 시점에서 반복적으로 측정된 데이터를 의미합니다.
특징:
- 동일 대상에 대해 여러 번의 측정이 이루어지므로, 각 조건에서의 관측치는 서로 종속적입니다.
- 예를 들어, 한 학생에게 세 가지 다른 학습 방법을 적용하여 각 방법별 시험 성적을 측정한 경우, 이 데이터는 반복 측정 샘플에 해당합니다.
중요성: 반복 측정 디자인은 피험자 간 개체 차이를 통제할 수 있어, 조건 간 효과를 보다 민감하게 탐지할 수 있습니다.

13.12.2 반복 측정이 포함된 두 요인 ANOVA의 예제 (Example Two-way ANOVA with Repeated Measures)

예시 상황: 한 연구에서 동일 피험자들에게 두 가지 요인(예: “교육 방법”과 “평가 시점”)에 따라 성적을 측정하였습니다.
데이터 구성:
- 요인 A (교육 방법): 전통적 교육, 온라인 교육
- 요인 B (평가 시점): 사전 평가, 중간 평가, 사후 평가
- 각 피험자는 두 요인의 모든 조합(예: 전통적 교육 × 사전, 전통적 교육 × 중간, …, 온라인 교육 × 사후)에서 점수를 획득합니다.
목적: 두 요인의 주효과(교육 방법과 평가 시점 각각의 효과)와 요인 간 상호작용(예: 교육 방법에 따라 평가 시점의 효과가 달라지는지)을 동시에 분석합니다.

13.12.3 가설 설정 (Hypotheses)

반복 측정이 포함된 두 요인 ANOVA에서는 세 가지 가설을 설정합니다.

요인 A의 주효과에 대한 가설:

영가설 (H₀_A): 교육 방법에 따른 성적 평균에는 차이가 없다.
대립가설 (H₁_A): 적어도 한 교육 방법은 다른 방법과 유의하게 다른 평균 성적을 가진다.

요인 B의 주효과에 대한 가설:

영가설 (H₀_B): 평가 시점에 따른 성적 평균에는 차이가 없다.
대립가설 (H₁_B): 적어도 한 평가 시점은 다른 시점과 유의하게 다른 평균 성적을 가진다.

상호작용 효과에 대한 가설:

영가설 (H₀_interaction): 교육 방법과 평가 시점 간에 상호작용 효과가 없다.
대립가설 (H₁_interaction): 교육 방법의 효과가 평가 시점에 따라 달라진다(즉, 상호작용 효과가 존재한다).

13.12.4 반복 측정이 포함된 두 요인 ANOVA의 가정 (Assumptions)

반복 측정이 포함된 두 요인 ANOVA를 수행하기 위해서는 다음과 같은 가정들이 필요합니다.

독립성:

피험자 간의 관측치는 서로 독립적이어야 합니다.

정규성:

각 조건(요인 조합)에서의 잔차(오차)가 정규분포를 따라야 합니다.

구면성 (Sphericity):

반복 측정 데이터에서는 각 조건 간의 공분산이 동일해야 하며, 구면성 가정을 만족하는지 Mauchly의 검정을 통해 확인합니다. 위배 시, Greenhouse-Geisser 또는 Huynh-Feldt 보정을 적용합니다.

등분산성:

각 셀(요인 A와 요인 B의 조합)에서의 분산이 유사해야 합니다.

13.12.5 반복 측정이 포함된 두 요인 ANOVA의 계산 (Calculate Two-way ANOVA with Repeated Measures)

두 요인 ANOVA의 계산 절차는 일반적인 ANOVA와 유사하지만, 반복 측정에 따른 추가적인 요소(피험자 효과)를 고려합니다.

전체 제곱합 (SS_Total) 계산:

전체 데이터의 변동성을 구합니다.

요인 A의 제곱합 (SS_A):

교육 방법에 따른 집단 평균과 전체 평균의 차이에서 오는 변동성을 계산합니다.

요인 B의 제곱합 (SS_B):

평가 시점에 따른 집단 평균과 전체 평균의 차이에서 오는 변동성을 계산합니다.

상호작용 제곱합 (SS_AB):

두 요인이 결합되어 나타내는 효과에 따른 변동성을 계산합니다.

피험자 간 제곱합 (SS_Subjects):

각 피험자(대상) 간의 평균 차이에서 오는 변동성을 계산하여, 반복 측정 내 개체 차이를 통제합니다.

오차 제곱합 (SS_Error): SSError=SSTotal−SSA−SSB−SSAB−SSSubjectsSS_{Error} = SS_{Total} - SS_A - SS_B - SS_{AB} - SS_{Subjects}
자유도 및 평균 제곱 (MS) 계산:

각 요인 및 상호작용, 피험자 효과에 대한 자유도와 평균 제곱을 계산합니다.

F-통계량 산출:

각 요인 및 상호작용 효과에 대해 를 계산하여, F-분포를 이용해 p-값을 산출합니다. F=MSEffectMSErrorF = \frac{MS_{Effect}}{MS_{Error}}

13.12.6 반복 측정이 포함된 두 요인 ANOVA의 결과 해석 (Interpret Two-way ANOVA with Repeated Measures)

분석 결과를 해석할 때는 다음 사항들을 고려합니다.

요인 주효과 해석:
- 요인 A(예: 교육 방법)와 요인 B(예: 평가 시점)의 각 주효과에 대한 p-값과 F-통계량을 확인합니다.
- p-값이 0.05보다 작으면 해당 요인이 종속 변수(예: 성적)에 유의한 영향을 미친다고 결론 내립니다.
상호작용 효과 해석:
- 요인 A와 요인 B 간의 상호작용 효과가 유의한지 확인합니다.
- 상호작용 효과가 유의할 경우, 단순 주효과 해석보다 각 조건 조합에 대한 개별 분석이 필요하며, 상호작용 플롯을 통해 시각적으로 확인할 수 있습니다.
피험자 효과:
- 반복 측정 디자인에서는 피험자 간 차이가 통제되었는지 확인하고, 피험자 간 효과(SS_Subjects)의 크기도 평가합니다.
효과 크기:
- 부분 η² (partial eta-squared) 등 효과 크기 지표를 활용하여 각 요인의 실질적 영향력을 평가합니다.
결과 보고: “F( df_effect, df_error) = F값, p = p값, 부분 η² = 효과 크기”와 같이 상세한 통계값을 포함하여 결과를 기술합니다.

종합

이 장에서는 반복 측정이 포함된 두 요인 분산분석의 이론과 실제 분석 방법을 다루었습니다.

13.12.1에서는 반복 측정 샘플의 개념과 그 특징을 설명하였고,
13.12.2에서는 실제 사례를 통해 반복 측정이 포함된 두 요인 ANOVA의 예제를 제시하였습니다.
13.12.3에서는 연구 질문 및 가설 설정 방법을 상세히 다루고,
13.12.4에서는 반복 측정 ANOVA의 주요 가정(정규성, 구면성, 등분산성, 독립성 등)을 설명하였습니다.
13.12.5에서는 각 제곱합, 자유도, 평균 제곱 및 F-통계량을 산출하는 계산 절차를 단계별로 소개하였으며,
13.12.6에서는 분석 결과를 해석하는 방법과 상호작용 효과, 효과 크기 및 피험자 효과 등을 종합적으로 평가하는 방법을 제시하였습니다. 이와 같이 체계적인 구성은 독자가 반복 측정이 포함된 두 요인 ANOVA의 개념과 계산, 그리고 결과 해석 방법을 깊이 이해하고 실제 연구 데이터에 효과적으로 적용할 수 있도록 도와줍니다.

13.13 Kruskal-Wallis test … 244 13.13.1 Examples for the Kruskal-Wallis test … 244 13.13.2 Research question and hypotheses in the Kruskal-Wallis test… 245 13.13.3 Assumptions of the Kruskal-Wallis test … 245 13.13.4 Calculate Kruskal-Wallis test … 246 13.13.5 Kruskal-Wallis test example … 248

https://chatgpt.com/share/67a04f9a-e560-800f-bfa0-26a2ebfdc239

아래는 “13.13 Kruskal-Wallis test” 챕터의 책 내용 구성 예시입니다. 각 소제목마다 Kruskal-Wallis 검정의 이론적 배경, 연구 사례, 가설 설정, 가정, 계산 방법, 그리고 구체적 예제를 포함하여 독자가 비모수적 다집단 비교 방법을 체계적으로 이해할 수 있도록 작성하였습니다.

13.13 Kruskal-Wallis Test

Kruskal-Wallis 검정은 정규성 가정이 충족되지 않는 경우에 세 개 이상의 독립 표본(그룹) 간 중앙값(또는 분포 위치)의 차이가 있는지를 평가하는 비모수적 검정 방법입니다. 이 검정은 일원 분산분석(One-way ANOVA)의 비모수적 대안으로 사용되며, 각 관측치를 순위로 변환하여 그룹 간의 순위 합 차이를 기반으로 검정을 수행합니다.

13.13.1 Examples for the Kruskal-Wallis Test

(Kruskal-Wallis 검정 적용 사례)

사례 1: 여러 교육 프로그램(예: 전통적, 온라인, 혼합형)에 따른 학생들의 시험 점수 비교 → 각 그룹의 점수가 정규분포를 따르지 않거나 이상치가 존재할 경우 Kruskal-Wallis 검정을 통해 그룹 간 중앙값 차이를 평가할 수 있습니다.
사례 2: 세 가지 서로 다른 치료법이 환자의 회복 기간에 미치는 영향을 비교 → 환자 수가 적거나 분포가 치우쳐 있을 때, 각 치료법 그룹의 중앙값 차이가 유의한지 분석할 수 있습니다.
사례 3: 여러 지역에서의 고객 만족도(순위척도)를 비교 → 순위 데이터에 대해 그룹 간 차이가 있는지를 평가하는 데 효과적입니다.

13.13.2 Research Question and Hypotheses in the Kruskal-Wallis Test

(연구 질문 및 가설 설정)

연구 질문: “세 개 이상의 그룹(예: 세 가지 치료법, 교육 프로그램, 지역 등) 중에서 종속 변수(예: 회복 기간, 시험 점수, 만족도)의 중앙값에 차이가 있는가?”
영가설 (H₀): 모든 그룹의 분포(또는 중앙값)는 동일하다. → 즉, 각 그룹에서 임의의 관측치를 선택했을 때, 그 값들이 같은 분포에서 나왔다고 볼 수 있다.
대립가설 (H₁): 적어도 한 그룹의 분포(또는 중앙값)는 다른 그룹과 유의하게 다르다. → 그룹 간에 차이가 존재하며, 어느 한 그룹 또는 일부 그룹이 다른 그룹과 통계적으로 유의한 차이를 보인다.

13.13.3 Assumptions of the Kruskal-Wallis Test

(Kruskal-Wallis 검정의 가정)

Kruskal-Wallis 검정을 적용하기 위해서는 다음 가정들을 만족해야 합니다.

독립성:

각 그룹의 관측치는 서로 독립적이어야 합니다.

측정 척도:

종속 변수는 순위(ordinal) 이상의 척도로 측정되어야 하며, 순위로 변환이 가능해야 합니다.

분포 형태의 유사성 (선택적 가정):

각 그룹의 분포 모양이 유사한 경우, 검정 결과를 중앙값 차이에 대해 보다 명확하게 해석할 수 있습니다.
분포 모양이 매우 다르면 결과 해석 시 주의가 필요합니다.

데이터의 순위화:

검정은 원시 데이터 대신 순위 데이터를 기반으로 계산되므로, 이상치나 비정규 분포에 대한 민감도가 낮습니다.

13.13.4 Calculate Kruskal-Wallis Test

(Kruskal-Wallis 검정의 계산 방법)

Kruskal-Wallis 검정은 다음 단계로 계산됩니다.

데이터 결합 및 순위 부여:

모든 그룹의 데이터를 하나로 결합한 후, 오름차순으로 순위를 부여합니다.
동점(ties)이 있는 경우, 해당 값들에 대해 평균 순위를 할당합니다.

각 그룹의 순위 합 계산:

각 그룹별로 할당된 순위의 합 를 구합니다. RiR_i

검정 통계량 H 계산: 전체 관측치 수를 NN, 각 그룹의 표본 크기를 nin_i라고 할 때, H 통계량은 다음과 같이 계산됩니다. H=12N(N+1)∑i=1kRi2ni−3(N+1)H = \frac{12}{N(N+1)} \sum_{i=1}^{k} \frac{R_i^2}{n_i} - 3(N+1)

kk는 그룹의 수입니다.
동점이 있는 경우, 보정 항(tie correction factor)을 적용합니다.

p-값 산출:

계산된 H 통계량을 카이제곱 분포와 비교하여 p-값을 도출합니다.
자유도는 입니다. k−1k - 1

13.13.5 Kruskal-Wallis Test Example

(Kruskal-Wallis 검정 사례)

예제 상황: 세 가지 교육 프로그램(그룹 A, B, C)에 따른 학생들의 시험 점수를 비교한다고 가정합니다. 각 그룹의 데이터는 정규성을 따르지 않으므로, Kruskal-Wallis 검정을 통해 그룹 간 중앙값 차이가 유의한지 평가합니다. 예제 데이터:

그룹 A: [70, 75, 80, 68, 74]
그룹 B: [65, 70, 72, 66, 68]
그룹 C: [80, 82, 78, 85, 80] 계산 절차 (개념적 설명):

순위 부여: 세 그룹의 데이터를 결합하여 순위를 매깁니다. 예를 들어, 최솟값부터 순위 1, 2, … 할당하며, 동점이 있을 경우 평균 순위를 부여합니다.
각 그룹의 순위 합 계산: 그룹 A, B, C에 대해 각각 순위 합 RA,RB,RCR_A, R_B, R_C를 계산합니다.
H 통계량 산출: 위의 공식을 사용하여 H 값을 계산합니다.
p-값 결정: 계산된 H 통계량과 자유도 k−1=2k-1 = 2를 사용해 카이제곱 분포에서 p-값을 도출합니다. 만약 p-값이 0.05보다 작으면, 그룹 간 차이가 통계적으로 유의하다고 결론 내립니다. 해석 예: “Kruskal-Wallis 검정 결과, H(2) = 7.85, p = 0.020으로 나타났으며, 이는 세 교육 프로그램 간에 학생들의 시험 점수에 유의한 차이가 있음을 시사합니다.”

종합

이 장에서는 Kruskal-Wallis 검정의 전반적인 개념과 계산, 그리고 구체적인 예제를 다루었습니다.

13.13.1에서는 Kruskal-Wallis 검정이 적용될 수 있는 다양한 사례를 제시하였고,
13.13.2에서는 연구 질문과 가설 설정 방법을 설명하였습니다.
13.13.3에서는 검정의 기본 가정(독립성, 순위 척도, 분포 형태의 유사성 등)을 다루었으며,
13.13.4에서는 데이터의 순위화 및 H 통계량 계산 방법을 단계별로 설명하였습니다.
마지막으로 13.13.5에서는 실제 사례를 통해 Kruskal-Wallis 검정의 수행 및 결과 해석 방법을 구체적으로 안내하였습니다. 이와 같이 체계적으로 구성된 내용은 독자가 비모수적 다집단 비교 방법인 Kruskal-Wallis 검정을 이해하고, 연구 데이터에 효과적으로 적용할 수 있도록 도와줍니다.

Statistical methods for testing correlations … 251 14.1 Correlation… 251 14.1.1 Correlation and causality… 251 14.1.2 Correlation and causality example … 252 14.1.3 Correlation interpretation … 252 14.1.4 Direction of correlation … 252 8 14.1.5 Strength of correlation … 253 14.1.6 Scatter plot and correlation … 254 14.1.7 Test correlation for significance … 255 14.1.8 Directional and non-directional hypotheses … 256 14.2 Pearson correlation analysis… 257 14.2.1 Pearson Correlation assumptions … 259 14.3 Spearman rank correlation … 260 14.4 Point biserial correlation … 261 14.5 Partial correlation … 261 14.5.1 Calculation of the partial correlation … 262 14.5.2 Partial correlation example … 263 14.5.3 Partial correlation 2nd order … 263 14.5.4 Example: Pearson correlation … 264 14.5.5 Directional (one-sided) correlation hypothesis … 268

아래는 “13.13 Kruskal-Wallis test” 이후, “14. Statistical methods for testing correlations” (상관관계 검정을 위한 통계적 방법) 장의 책 내용 구성을 위한 예시입니다. 이 예시는 각 소제목(14.1 ~ 14.5.5)의 내용을 체계적으로 설명하여 독자가 상관관계 검정의 개념, 해석, 가설 설정, 그리고 Pearson, Spearman, Point biserial, Partial 상관 분석 등 다양한 상관분석 방법을 깊이 이해할 수 있도록 구성한 것입니다.

제14장 통계적 방법을 통한 상관관계 검정

본 장에서는 두 변수 간의 관계를 평가하는 여러 상관분석 방법을 다룹니다. 상관분석은 두 변수 사이의 선형 혹은 비선형 관계의 방향, 강도, 유의성을 파악하는 데 사용되며, 인과관계를 직접적으로 증명하지는 않지만 변수 간 연관성을 이해하는 데 중요한 도구입니다.

14.1 상관관계 (Correlation)

상관관계는 두 변수 간의 관계 정도를 나타내는 지표로, 양의 상관, 음의 상관, 또는 무상관의 형태로 표현됩니다. 이를 통해 변수들이 어떻게 함께 변하는지 파악할 수 있습니다.

14.1.1 상관과 인과 (Correlation and Causality)

개념: 상관관계는 두 변수 간에 일정한 패턴이나 연관성이 있음을 보여주지만, 한 변수가 다른 변수의 원인임을 입증하지는 않습니다.
주의점: “상관관계는 인과관계를 의미하지 않는다(correlation does not imply causation)”는 유명한 통계적 경고문구처럼, 외부 요인이나 제3의 변수가 영향을 미칠 수 있습니다.

14.1.2 상관과 인과 예제 (Correlation and Causality Example)

예시: 예를 들어, 아이스크림 판매량과 익사 사고 발생 건수가 동시에 증가하는 상관관계를 보일 수 있으나, 이는 여름철 기온 상승이라는 제3의 요인에 의해 설명될 수 있습니다.

14.1.3 상관 해석 (Correlation Interpretation)

해석 방법: 상관계수의 부호와 크기를 통해 두 변수 간의 관계를 해석합니다.
- 양의 상관계수: 한 변수가 증가하면 다른 변수도 증가하는 경향
- 음의 상관계수: 한 변수가 증가하면 다른 변수는 감소하는 경향
- 상관계수의 절댓값이 클수록 강한 상관 관계를 나타냅니다.

14.1.4 상관의 방향 (Direction of Correlation)

방향성: 상관계수의 부호가 양수인지 음수인지에 따라 관계의 방향을 판단합니다.
- 양수(+) → 양의 상관
- 음수(–) → 음의 상관

14.1.5 상관의 강도 (Strength of Correlation)

강도 분류: 일반적으로 상관계수의 절댓값에 따라 강도를 분류합니다.
- 0.0 ~ 0.3: 약한 상관관계
- 0.3 ~ 0.7: 중간 정도의 상관관계
- 0.7 이상: 강한 상관관계
해석: 상관계수가 높다고 해서 반드시 인과관계가 있다고 보기는 어렵지만, 변수들 간의 관계 강도를 평가하는 데 유용합니다.

14.1.6 산점도와 상관 (Scatter Plot and Correlation)

시각화: 산점도는 두 변수 간의 관계를 시각적으로 표현하는 방법입니다.
- 산점도를 통해 선형성, 이상치, 분포 형태 등을 확인할 수 있습니다.
- 산점도의 패턴을 보고 상관관계의 방향과 강도를 예비적으로 판단할 수 있습니다.

14.1.7 상관관계 유의성 검정 (Test Correlation for Significance)

유의성 검정: 상관계수가 우연에 의한 것인지 여부를 평가하기 위해 t-검정이나 p-값 산출을 통해 유의성을 검정합니다.
- 예를 들어, Pearson 상관계수의 경우 t-검정을 사용하여 상관계수의 유의성을 판단할 수 있습니다.

14.1.8 방향성 및 비방향성 가설 (Directional and Non-Directional Hypotheses)

가설 설정: 상관관계 검정 시, 연구자가 사전 기대하는 방향이 있는 경우 단측 가설을, 특정 방향 없이 차이 여부만을 검정할 경우 양측 가설을 설정합니다.
- 단측 가설: “X가 증가하면 Y도 증가한다” 또는 “X가 증가하면 Y는 감소한다.”
- 양측 가설: “X와 Y 사이에 상관관계가 있다(방향은 불문).”

14.2 Pearson 상관분석 (Pearson Correlation Analysis)

Pearson 상관계수는 두 연속형 변수 간의 선형 관계를 측정하는 대표적인 통계 지표입니다.

공식:

r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \sum (y_i - \bar{y})^2}}

해석: r의 값은 -1과 1 사이이며, 1에 가까울수록 강한 양의 선형 관계, -1에 가까울수록 강한 음의 선형 관계를 의미합니다.

14.2.1 Pearson 상관 가정 (Pearson Correlation Assumptions)

Pearson 상관분석을 적용하기 위한 주요 가정은 다음과 같습니다.

선형성: 두 변수 간의 관계가 선형이어야 합니다.
정규성: 각 변수는 정규분포를 따르며, 특히 이상치에 민감합니다.
등분산성: 변수들의 분산이 일정해야 합니다.
독립성: 각 관측치는 서로 독립적이어야 합니다.

14.3 Spearman 순위 상관 (Spearman Rank Correlation)

Spearman 상관계수는 Pearson 상관계수와 달리, 각 변수의 순위를 기반으로 관계의 강도와 방향을 평가하는 비모수적 방법입니다.

특징:
- 비선형 관계에도 적용 가능하며, 데이터의 정규성 가정을 필요로 하지 않습니다.
- 순위 데이터에 기초하기 때문에 이상치의 영향을 덜 받습니다.

14.4 Point Biserial 상관 (Point Biserial Correlation)

Point Biserial 상관분석은 두 변수 중 하나는 이진(명목) 변수이고 다른 하나는 연속형 변수인 경우에 사용됩니다.

용도: 예를 들어, 성별(남/여)과 시험 점수 간의 상관관계를 평가할 때 사용됩니다.
해석: Pearson 상관계수와 유사하게 -1에서 1 사이의 값을 가지며, 두 변수 간의 관계 강도와 방향을 나타냅니다.

14.5 부분 상관 (Partial Correlation)

부분 상관은 다른 변수들의 효과를 통제한 상태에서 두 변수 간의 순수한 상관 관계를 평가하는 방법입니다. 이를 통해 두 변수 사이의 직접적인 연관성을 파악할 수 있습니다.

14.5.1 부분 상관 계산 (Calculation of the Partial Correlation)

공식 (한 통제 변수의 경우): 두 변수 $X$ 와 $Y$ 의 Pearson 상관계수를 , 통제 변수 와의 상관계수를 각각 $r_{XZ}$ 와 $r_{YZ}$ 라 하면, $Z$

r_{XY\cdot Z} = \frac{r_{XY} - r_{XZ} \cdot r_{YZ}}{\sqrt{(1 - r_{XZ}^2)(1 - r_{YZ}^2)}}

확장: 여러 통제 변수가 있을 경우, 회귀분석 또는 행렬 연산을 통해 부분 상관을 계산할 수 있습니다.

14.5.2 부분 상관 예제 (Partial Correlation Example)

예제 상황: 변수 와 의 상관관계를 평가할 때, 변수 의 효과를 제거하여 순수한 와 사이의 관계를 계산합니다. XX YY ZZ XX YY
해석: 계산된 부분 상관계수가 유의하면, 의 효과를 통제한 후에도 와 간의 관계가 존재함을 의미합니다. ZZ XX YY

14.5.3 2차 부분 상관 (Partial Correlation 2nd Order)

개념: 2차 부분 상관은 두 개 이상의 통제 변수를 동시에 고려하는 경우를 의미합니다.
계산: 다중 회귀분석을 통해 통제 변수들의 영향을 제거한 후, 잔차 간의 상관계수를 계산하여 구할 수 있습니다.

14.5.4 예제: Pearson 상관 (Example: Pearson Correlation)

예제: 먼저 와 간의 Pearson 상관계수를 계산한 후, 통제 변수 와의 상관 관계를 반영하여 부분 상관을 구하는 과정을 단계별로 제시합니다. XX YY ZZ

14.5.5 단측 상관 가설 (Directional (One-sided) Correlation Hypothesis)

가설 설정: 연구자가 두 변수 간의 상관관계의 방향(예: “X가 증가하면 Y도 증가한다”)에 대해 사전 가설을 세우는 경우, 단측 가설을 사용합니다.
해석: 단측 검정을 통해 상관계수가 기대하는 방향으로 유의하게 나타나는지를 평가할 수 있습니다.

종합

본 장에서는 상관관계 검정을 위한 다양한 통계적 방법을 다루었습니다.

14.1에서는 상관관계의 기본 개념, 인과관계와의 구분, 산점도 활용, 그리고 상관관계의 유의성 검정을 설명하였습니다.
14.2에서는 Pearson 상관분석과 그 가정들을 상세히 다루었으며,
14.3에서는 정규성 가정을 필요로 하지 않는 Spearman 순위 상관 분석을 소개하였습니다.
14.4에서는 한 변수가 이진형인 경우에 적용하는 Point Biserial 상관을 설명하였고,
14.5에서는 통제 변수의 영향을 제거한 부분 상관 분석의 계산 방법과 예제를 통해 다중 변수 간의 순수한 상관 관계를 평가하는 방법을 제시하였습니다. 이와 같이 체계적인 내용 구성은 독자가 다양한 상관분석 기법의 이론적 배경과 실제 계산 및 해석 방법을 깊이 이해하고, 연구 데이터에 적절히 적용할 수 있도록 돕습니다.

Regression analysis

15.1 Basics of regression 15.1.1 Using a regression analysis 15.1.2 Types of regression analysis 15.1.3 Dummy variables and Reference category 15.1.4 Examples of regression 15.2 Linear regression 15.2.1 Simple Linear Regression 15.2.2 Multiple linear regression 15.2.2.1 Multiple Regression vs. Multivariate Regression 15.2.2.2 Coefficient of determination 15.2.2.3 Adjusted R2 15.2.2.4 Standard estimation error 15.2.2.5 Standardized and unstandardized regression coefficient 15.2.2.6 Assumptions of Linear Regression 15.2.2.7 Linearity 15.2.2.8 Homoscedasticity 15.2.2.9 Normal distribution of the error 15.2.2.10 Multicollinearity 15.2.2.11 Significance test and Regression 15.2.2.12 Example linear regression 15.2.2.13 Interpretation of the results 9 15.2.2.14 Presenting the results of the regression

15.2.3 Logistic regression 15.2.3.1 What is logistic regression? 15.2.3.2 Logistic regression and probabilities 15.2.3.3 Calculate logistic regression 15.2.3.4 Logistic function 15.2.4 Maximum Likelihood Method 15.2.4.1 The Likelihood Function 15.2.4.2 Maximum Likelihood Estimator 15.2.5 Multinomial logistic regression 15.2.6 Interpretation of the results 15.2.7 Pseudo-R squared 15.2.8 Null Model 15.2.9 Cox and Snell R-square 15.2.10 Nagelkerkes R-square 15.2.11 McFadden’s R-square 15.2.12 Chi2 Test and Logistic Regression 15.2.13 Example logistic regression 15.2.14 Calculating logistic regression with Pyhton

Factor analysis 16.1 What is a factor? 16.2 Example factor analysis 16.3 Research questions factor analysis 16.4 Factor load, eigenvalue, communalities 16.5 Correlation Matrix 16.6 Factor Analysis and dimensionality 16.6.1 Eigenvalue criterion (Kaiser criterion) 16.6.2 Scree-Test 16.6.3 Communalities 16.6.4 Component matrix 16.6.5 Rotation Matrix 16.6.6 Varimax Rotation

초안 Below is an overview of factor analysis, focusing on what a factor is, how factor analysis is conducted, the associated research questions, key terms (e.g., factor loadings, eigenvalues, communalities), and fundamental concepts related to dimensionality and rotation methods.

16. Factor Analysis

Factor analysis is a method used to identify underlying latent dimensions (called factors) that explain patterns of correlation among observed variables. It is a data reduction technique commonly used in psychology, social sciences, and market research to simplify complex data sets by uncovering a smaller set of unobservable factors.

16.1 What Is a Factor?

A factor is an underlying (latent) variable that influences multiple observed variables, causing them to be correlated.
In psychological testing, for example, a factor might represent a trait like “extraversion” or “anxiety.” You might have multiple questionnaire items that measure that trait, all of which correlate because they share the common latent factor.
Mathematically, each observed variable can be written (in a simplified form) as a weighted sum of factors plus some unique error:

where are the latent factors, (factor loadings) are weights, and is unique variance (error) specific to variable . XjX_j Xj=aj1F1+aj2F2+⋯+ajmFm+εj, X_j = a_{j1} F_1 + a_{j2} F_2 + \dots + a_{jm} F_m + \varepsilon_j, FiF_i ajia_{ji} εj\varepsilon_j XjX_j

16.2 Example Factor Analysis

Suppose you conduct a survey with 15 items measuring different facets of job satisfaction: pay, recognition, autonomy, work environment, relationship with colleagues, etc. You might suspect these 15 items form a smaller number of dimensions (e.g., “Intrinsic Motivation,” “Work Environment,” “Salary & Benefits”). A factor analysis could:

Identify how many dimensions (factors) are needed to explain most of the variance in those 15 items.
Show which items load heavily on which factors (i.e., which items measure the same dimension).

16.3 Research Questions Factor Analysis

Factor analysis helps answer questions such as:

How many latent dimensions underlie my set of variables/items? E.g., Are there 2 or 3 distinct subscales within my questionnaire?
Which variables load on which factors? E.g., Which survey items define each underlying factor or dimension?
How do these latent factors relate to each other? If factors are correlated, we might be dealing with an oblique rotation or a hierarchical factor structure.
How much variance in the observed data is explained by these factors? This is related to eigenvalues and communalities.

16.4 Factor Load, Eigenvalue, Communalities

Factor Loading (aji)(a_{ji})

The weight (or correlation) of each observed variable on factor . XjX_j FiF_i
A high loading (close to 1 or -1) indicates that factor F_i\ strongly explains the variance in (X_j.

Eigenvalue

Represents how much variance is explained by a particular factor in the data.
In Principal Component Analysis (PCA) or factor analysis, an eigenvalue for a factor indicates the magnitude of the factor’s contribution to the overall variance.
Factors with larger eigenvalues explain more variance in the data.

Communality

The proportion of each variable’s variance that is explained by the common factors.
Calculated by summing the squared factor loadings for a given variable across all retained factors.
A communalities value (h²) close to 1.0 indicates that the variable is well explained by the common factors; a value near 0 indicates it is mostly unique variance.

16.5 Correlation Matrix

Most forms of factor analysis (common factor analysis, principal components, etc.) start with the correlation matrix (or covariance matrix) of the variables.

R-matrix (correlation matrix) is a square matrix of size if you have variables. p×pp \times p pp
Factor analysis attempts to explain the observed correlations in by a smaller number of underlying factors. RR

16.6 Factor Analysis and Dimensionality

One of the key questions is: How many factors should we extract? Various rules, criteria, and heuristics help decide the number of factors.

16.6.1 Eigenvalue Criterion (Kaiser Criterion)

Also known as the Kaiser-Guttman rule.
Suggests retaining factors with eigenvalues greater than 1.
- Interpreted from the idea that a factor should explain more variance than a single observed variable would.
This is a common rule of thumb, but can sometimes lead to over-extraction or under-extraction of factors.

16.6.2 Scree Test

Proposed by Cattell.
Involves plotting the eigenvalues in descending order and looking for a point where the slope of the curve becomes less steep and levels off (“the scree”).
Typically, you retain the factors to the left of the “elbow” in the scree plot.
More of a subjective method than a strict rule, but widely used in practice.

16.6.3 Communalities

The communality for each variable indicates how much of that variable’s variance is captured by the retained factors.
After deciding the number of factors, check if communalities are sufficiently large for all variables (e.g., > 0.4) to confirm they are well-represented by the factor model.
If communalities are low, the variable is not explained well by the factor solution.

16.6.4 Component Matrix (or Factor Matrix)

Once you decide on the number of factors, factor analysis software produces a component matrix (or factor matrix).
This matrix shows factor loadings for each variable on each factor (before rotation).
Often you will see high loadings for some variables on one factor and low loadings on the others, indicating how variables group together.

16.6.5 Rotation Matrix

Rotation is a technique applied to the initial factor solution to achieve a simpler, more interpretable structure (i.e., aiming for “simple structure” with high loadings on one factor and low loadings on others).
Rotation does not change the overall fit or the communalities; it merely redistributes variance among factors to achieve clarity.

16.6.6 Varimax Rotation

Varimax is the most commonly used orthogonal rotation method (it assumes factors remain uncorrelated).
It seeks to maximize the variance of factor loadings on each factor, producing factors where loadings are either high or low, simplifying interpretation.
If you suspect factors might be correlated, you can use oblique rotations (e.g., Promax, Oblimin), which allow correlations among factors.

Summary

Factor analysis seeks to explain patterns of correlations among observed variables using a smaller set of latent factors.
Factors are hypothetical constructs inferred from the data, each representing shared variance among a subset of variables.
The correlation (or covariance) matrix is decomposed via factor analysis to find how many underlying dimensions best explain the data.
Eigenvalues measure how much variance each factor explains; communalities measure how well each variable is explained by the retained factors.
Dimensionality is often decided using the Kaiser eigenvalue > 1 criterion and the Scree test.
Rotation (e.g., Varimax) helps make factor loadings easier to interpret, without changing the total variance explained. Overall, factor analysis is both a data-reduction tool and a method to explore or confirm a latent dimensional structure within a set of observed variables.

Cluster analysis 17.1 Example Hierarchical Cluster Analysis 17.1.1 Calculating a Hierarchical Cluster Analysis 17.1.2 Distance between two points 10 17.1.3 Euclidean Distance 17.1.4 Manhattan Distance 17.1.5 Maximum Distance 17.1.6 Linking methods 17.1.6.1 Single-linkage 17.1.6.2 Complete-linkage 17.1.6.3 Average-linkage 17.1.7 Example Hierarchical Cluster Analysis 17.1.7.1 Calculate hierarchical cluster analysis with Pyhton 17.2 K-means cluster analysis 17.2.1 Optimal cluster number 17.2.2 Elbow curve 17.2.3 Scaling data for k-means clustering 17.2.4 K-means clustering calculator 17.2.5 Key Features

Market Basket Analysis [Association Analysis] 18.1 What does association analysis do? 18.2 Market Basket Analysis Example 18.3 Interpreting the results of a Market basket analysis 18.3.1 Frequency 18.3.2 Support 18.3.3 Confidence 18.3.4 Lift 18.3.5 Market basket analysis and data mining 18.3.6 Critical note on the market basket analysis

Cronbach‘s Alpha 19.1 Latent variables 19.2 Assumptions for Cronbach’s Alpha 19.3 Calculate Cronbach’s Alpha 19.4 Example Cronbach’s Alpha 19.5 Interpret Cronbach’s Alpha .

Cohen‘s Kappa

20.1 Cohen’s Kappa Example 20.2 Inter-rater reliability 20.3 Use cases for Cohen’s Kappa 20.4 Cohen’s Kappa reliability and validity 11 20.5 Calculate Cohen’s Kappa 20.6 Cohen’s Kappa interpretation 20.7 Cohen’s Kappa Standard Error (SE) 20.8 Calculating Standard Error of Cohen’s Kappa 20.9 Interpreting Standard Error 20.10 Calculate Cohen’s Kappa with Python

Weighted Cohen‘s Kappa

21.1 Reliability and validity 21.2 Calculating weighted Cohen’s Kappa 21.3 Calculate expected frequency 21.4 Calculate weighting matrix 21.5 Linear and quadratic weighting 21.6 Calculate weighted Kappa 21.7 Calculating Cohen’s weighted kappa with Pyhton

Fleiss Kappa 22.1 Fleiss Kappa Example 22.2 Fleiss Kappa with repeated measurement 22.3 Fleiss Kappa reliability and validity 22.4 Calculate Fleiss Kappa 22.5 Fleiss Kappa interpretation 22.6 Calculate Fleiss Kappa with Pyhton

Survival time analysis 23.1 Basics of survival time analysis 23.2 Use cases for survival time analysis 23.3 Example of survival time analysis 23.4 Censored data . 23.5 Methods of survival time analysis 23.6 Kaplan-Meier Curve 23.6.1 Survival rate 23.6.2 Interpreting the Kaplan-Meier curve 23.6.3 Calculating the Kaplan-Meier curve 23.6.4 Draw Kaplan Meier curve 23.6.5 Censored data 23.6.6 Comparing different groups 23.6.7 Kaplan-Meier curve assumptions 23.6.8 Create Kaplan Meier curve with Pyhton

12 23.7 Log Rank Test 23.7.1 Hypotheses in the Log Rank Test 23.7.2 Assumptions for the Log Rank Test 23.7.3 Calculate Log Rank Test 23.7.4 Calculate Log Rank Test with Python 23.8 Cox regression 23.8.1 Survival time analysis 23.8.2 Censoring 23.8.3 Cox Regression Example 23.8.4 Calculate Cox Regression with Python 23.8.5 Interpretation of the Cox Regression 23.8.6 Assumptions of a Cox Regression 23.8.7 Calculate survival time analysis with Python References