CFA Level 1 정복기 (10): 변수 간의 관계를 파헤치는 단순선형회귀분석

'금리가 1% 오르면 주가는 몇 % 하락할까?' 이처럼 하나의 변수(독립변수)를 이용하여 다른 변수(종속변수)의 움직임을 예측하고 설명하는 것은 모든 분석의 출발점입니다. Reading 10 '단순선형회귀분석(Simple Linear Regression)'은 두 변수 간의 인과관계를 설명하는 가장 기초적이면서도 강력한 통계적 모델링 도구입니다.

 1. 선형회귀모델: 관계를 하나의 직선으로 표현하기

단순선형회귀모델은 두 변수 간의 관계를 하나의 직선 방정식으로 표현합니다. 이 직선은 두 변수 사이의 평균적인 관계를 나타냅니다.

> Y = b₀ + b₁X + ε

- Y (종속변수, Dependent Variable): 우리가 설명하고 예측하고 싶은 변수 (예: 주식 수익률, 아파트 가격)
- X (독립변수, Independent Variable): Y를 설명하는 데 사용되는 변수 (예: 시장 수익률, 아파트 평수)
- b₀ (절편), b₁ (기울기): 우리가 데이터를 통해 추정해야 할 모델의 계수(parameter)들입니다.
- ε (오차항, Error Term): 회귀선으로 설명되지 않는 모든 나머지 변동을 의미합니다. 현실 세계의 모든 복잡성을 담고 있는 항입니다.

우리의 목표는 데이터를 가장 잘 설명하는 최적의 직선, 즉 최적의 b₀와 b₁을 찾는 것입니다.

 

 2. 최소자승법 (OLS): 최적의 직선을 찾는 기준

수많은 직선 중에 어떤 것이 최적의 직선일까요? '최소자승법(Ordinary Least Squares, OLS)'은 그 답을 제시하는 가장 표준적인 방법입니다. OLS는 실제 데이터의 관측값(Y)과 회귀선이 예측한 값(Ŷ)의 차이, 즉 '잔차(residual)'의 제곱의 합을 최소화하는 직선을 찾아냅니다. 이 방법은 통계적으로 여러 가지 바람직한 특성을 가지고 있어 가장 널리 사용됩니다.

 

 3. 회귀계수의 해석: 기울기와 절편의 의미

회귀분석의 핵심은 추정된 계수를 올바르게 해석하는 데 있습니다.

- 기울기 (Slope, b₁): 독립변수 X가 1단위 증가할 때, 종속변수 Y가 평균적으로 b₁만큼 변한다는 것을 의미합니다. 기울기는 두 변수 사이의 관계의 방향(+ 또는 -)과 영향력의 크기를 보여주는 가장 중요한 정보입니다. (예: 주식의 베타는 시장수익률이 1% 변할 때 주식수익률이 몇 % 변하는지를 나타내는 기울기 계수입니다.)
- 절편 (Intercept, b₀): 독립변수 X가 0일 때의 종속변수 Y의 평균적인 예측값입니다. 때로는 그 자체로 의미가 있지만, 많은 경우 모델의 기준점을 잡아주는 역할을 합니다.

 4. 모델 평가: 이 모델을 얼마나 믿을 수 있을까?

모델을 만들었다면, 이 모델이 얼마나 데이터를 잘 설명하는지, 그리고 통계적으로 유의미한지 평가해야 합니다.

- 결정계수 (R-squared, R²): 종속변수 Y의 총 변동 중에서 우리가 만든 회귀모델(독립변수 X)이 설명하는 변동의 비율을 나타냅니다. 0과 1 사이의 값을 가지며, 1에 가까울수록 모델의 설명력이 높다는 것을 의미합니다. (예: R²이 0.6이라면, Y 변동의 60%를 X가 설명한다는 뜻)
- 분산분석 (ANOVA) & F-검정: 회귀모델 자체가 통계적으로 유의미한지, 즉 '독립변수 X가 Y를 설명하는 데 정말 의미가 있는가?'라는 질문에 답하는 과정입니다. F-통계량을 통해 모델의 전반적인 유의성을 검정합니다. F-검정은 회귀식 전체의 유의성을, t-검정은 각 개별 회귀계수(b₀, b₁)의 유의성을 검정합니다.

 핵심 용어 정리

영어	한글
Dependent Variable	종속변수
Independent Variable	독립변수
Ordinary Least Squares (OLS)	최소자승법
Coefficient of Determination (R²)	결정계수
Standard Error of Estimate (SEE)	추정의 표준오차
ANOVA (Analysis of Variance)	분산분석

마치며

이 글에서는 CFA Level 1의 Reading 10을 통해 두 변수 간의 관계를 모델링하는 단순선형회귀분석을 배웠습니다. 최소자승법(OLS)을 이용해 최적의 회귀선을 찾고, 추정된 기울기와 절편을 해석하는 방법을 익혔습니다. 또한, 결정계수(R²)와 F-검정을 통해 완성된 모델의 설명력과 통계적 유의성을 평가하는 것의 중요성을 이해했습니다. 회귀분석은 변수 간의 관계를 설명하고 미래를 예측하는 강력한 분석 도구의 첫걸음입니다.