교차 변수 (Interacting Regressors)
\[y_i = b_0 + b_1 x_{1,i} + b_2 x_{2,i} + b_3x_{1,i} \times x_{2,i} + ... + e_i\]
\(b_1\), \(b_2\), 그리고 \(b_3\)의 해석은 \(x_1\)과 \(x_2\)의 유형(연속형 또는 범주형)에 따라 달라짐.
우선, 하나의 독립 변수가 더미(범주형) 변수이고, 다른 하나가 연속형 변수인 경우를 살펴보겠음.
이러한 개념을 익히면 다음과 같은 경우에도 적용 가능:
교차 변수 (Interacting Regressors)
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i \times \textrm{experience}_i + e_i\]
- 교사 경력이 10년인 경우 작은 학급의 효과는?
\[
\mathbb{E}[\textrm{score}_i | \textrm{small}_i = 1 \textrm{ & experience}_i = 10] = \color{#d96502}{b_0} + \color{#027D83}{b_1} + \color{#02AB0D}{b_2}*10 + \color{#d90502}{b_3}*10
\]
\[
\mathbb{E}[\textrm{score}_i | \textrm{small}_i = 0 \textrm{ & experience}_i = 10] = \color{#d96502}{b_0} + \color{#02AB0D}{b_2}*10
\]
\[
\begin{split}
\mathbb{E}[\textrm{score}_i &| \textrm{small}_i = 1 \textrm{ & experience}_i = 10] - \mathbb{E}[\textrm{score}_i | \textrm{small}_i = 0 \textrm{ & experience}_i = 10] \\
&= \color{#d96502}{b_0} + \color{#027D83}{b_1} + \color{#02AB0D}{b_2}*10 + \color{#d90502}{b_3}*10 - (\color{#d96502}{b_0} + \color{#02AB0D}{b_2}*10) \\
&= \color{#027D83}{b_1} + \color{#d90502}{b_3}*10
\end{split}
\]
교차 변수 (Interacting Regressors)
math 점수에 대한 회귀 분석을 실행한 결과 (모든 학년 포함):
Call:
lm(formula = math ~ small + experience + small * experience,
data = star_df)
Coefficients:
(Intercept) smallTRUE experience
534.1919 15.8906 1.3305
smallTRUE:experience
-0.3034
해석
교차항은 작은 학급의 효과가 교사의 경험에 따라 달라지도록 함.
작은 학급에 배정되는 것이 math 점수에 긍정적인 영향을 줌.
그러나 이 효과는 교사의 경험이 많아질수록 감소함.
교차 변수: 시각화
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i * \textrm{experience}_i + e_i\]
![]()
교차 변수: 시각화
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i * \textrm{experience}_i + e_i\]
![]()
교차 변수: 시각화
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i * \textrm{experience}_i + e_i\]
![]()
교차 변수: 시각화
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i * \textrm{experience}_i + e_i\]
![]()
교차 변수: 시각화
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i * \textrm{experience}_i + e_i\]
![]()
교차 변수: 시각화
\[ \textrm{score}_i = \color{#d96502}{b_0} + \color{#027D83}{b_1} \textrm{small}_i + \color{#02AB0D}{b_2} \textrm{experience}_i + \color{#d90502}{b_3} \textrm{small}_i * \textrm{experience}_i + e_i\]
![]()
표준화 회귀 분석 (Standardized Regression)
- 변수를 표준화(standardizing) 한다는 것은…
표준화란 변수 \(z\)의 평균을 빼고, 그 값을 변수의 표준편차로 나누는 것을 의미함:
\[ z_i^{stand} = \frac{z_i - \bar z}{\sigma(z)}\]
여기서, \(\bar z\)는 \(z\)의 평균이고, \(\sigma(z)\)는 \(z\)의 표준편차를 의미함. 즉, \(\sigma(z) = \sqrt{\textrm{Var}(z)}\).
이제 \(z^{stand}\)는 평균이 0이고, 표준편차가 1이 됨, 즉:
\[\overline{z^{stand}} = 0, \quad \sigma(z^{stand}) = 1\]
표준화 회귀 분석: 시각화
종속 변수 \(y\)가 표준화된 경우: \(\color{#d90502}{y^{stand}} = b_0 + \sum_{k=1}^Kb_kx_k +e\)
설명 변수 \(x_k\)가 표준화된 경우: \(y = b_0 + \sum_{k=1}^Kb_k\color{#d90502}{x_k^{stand}} +e\)
🔍 인과 관계를 찾아가는 길
✅ 데이터를 어떻게 다룰까?: 읽기(Read), 정리(Tidy), 시각화(Visualize)…
✅ 변수간 관계를 어떻게 요약할까? …단순 / 다중 선형 회귀…비선형회귀, 교차변수…
✅ 인과 관계(Causality)란 무엇인가?
❌ 전체 모집단을 관측하지 못하면 어떻게 할까?
❌ 우리의 연구 결과가 단순한 무작위(Randomness) 때문일 수도 있을까?
❌ 실제로 외생성을 어떻게 찾아낼 수 있을까?
로그 모델: 일반적인 해석
\(x\)의 임의의 증가 \(\Delta x\) 와 임의의 \(b_1\)에 대해
\((\Delta x = 5\% = 0.05 \implies 1 + \Delta x = 1.05)\)
| 수준 - 수준 |
\(y = b_0 + b_1 x + e\) |
\(x\)가 1 단위 증가하면, 평균적으로 \(y\)는 \(b_1\) 단위 변화 |
| 로그 - 수준 |
\(\log(y) = b_0 + b_1 x + e\) |
\(x\)가 1 단위 증가하면, 평균적으로 \(y\)는 \((e^{b_1} - 1) \times 100\)% 변화 |
| 수준 - 로그 |
\(y = b_0 + b_1 \log(x) + e\) |
\(\Delta x\)% 증가하면, 평균적으로 \(y\)는 \(b_1 \times \log(1 + \Delta x)\) 단위 변화 |
| 로그 - 로그 |
\(\log(y) = b_0 + b_1 \log(x) + e\) |
\(\Delta x\)% 증가하면, 평균적으로 \(y\)는 \(((1 + \Delta x)^{b_1} - 1) \times 100\)% 변화 |
로그 모델: 근사값
이전에 제시된 근사값들이 왜 성립하는가?
로그-레벨 (Log-Level)
일반적인 해석: \(x\)가 1 단위 증가할 때, 평균적으로 \(y\)는 \((e^{b_1} - 1) \times 100\) 퍼센트 변화함.
단순 해석: \(x\)가 1 단위 증가할 때, 평균적으로 \(y\)는 \(b_1 \times 100\) 퍼센트 변화함.
- 이는 작은 값의 \(b_1\)에 대해 다음 식이 성립하기 때문: \(e^{b_1} \approx 1 + b_1 \iff b_1 \approx e^{b_1} - 1\)
\(\rightarrow\) \(b_1 = \color{#d90502}{0.04}\)일 때, \(e^{b_1} - 1 = e^{0.04} - 1 = 0.0408\)
\(\rightarrow\) \(b_1 = \color{#d90502}{0.5}\)일 때, \(e^{b_1} - 1 = e^{0.5} - 1 = 0.6487\)
로그 모델: 근사값
이전에 제시된 근사값들이 왜 성립하는가?
레벨-로그 (Level-Log)
일반적인 해석: \(x\)가 \(\Delta x\) 퍼센트 증가할 때, 평균적으로 \(y\)는 \(b_1 \times log(1 + \Delta x)\) 단위 변화함.
단순 해석: \(x\)가 1% 증가할 때, 평균적으로 \(y\)는 \(b_1 / 100\) 단위 변화함.
- 이는 작은 값의 \(\Delta x\)에 대해 다음 식이 성립하기 때문: \(log(1 + \Delta x) \approx \Delta x\)
\(\rightarrow\) \(\Delta x = \color{#d90502}{1\%}=0.01\)일 때, \(log(1+\Delta x) = log(1.01) = 0.01\) (따라서 단순 해석에서 \(/100\)이 추가됨)
\(\rightarrow\) \(\Delta x = \color{#d90502}{20\%}=0.20\)일 때, \(log(1+\Delta x) = log(1.20) = 0.18\)
로그 모델: 근사값
이전에 제시된 근사값들이 왜 성립하는가?
로그-로그 (Log-Log)
일반적인 해석: \(x\)가 \(\Delta x\) 퍼센트 증가할 때, 평균적으로 \(y\)는 \(((1 + \Delta x)^{b_1} - 1) \times 100\) 퍼센트 변화함.
단순 해석: \(x\)가 1% 증가할 때, 평균적으로 \(y\)는 \(b_1\) 퍼센트 변화함.
- 이는 작은 값의 \(|b_1| \times \Delta x\)에 대해 다음 식이 성립하기 때문: \((1 + \Delta x)^{b_1} \approx 1 + b_1 \times \Delta x \iff b_1 \times \Delta x \times 100 \approx ((1 + \Delta x)^{b_1} - 1) \times 100\)
\(\rightarrow\) \(\Delta x = \color{#d90502}{1\%}=0.01\)이고 \(b_1 = \color{#d90502}{0.5}\)일 때,
\(((1+\Delta x)^{b_1} - 1) \times 100 = (1.01^{0.5} - 1) \times 100 = 0.5\)
\(\rightarrow\) \(\Delta x = \color{#d90502}{10\%}=0.10\)이고 \(b_1 = \color{#d90502}{10}\)일 때,
\(((1+\Delta x)^{b_1} - 1) \times 100= (1.1^{10} - 1) \times 100 = 159.37\)
돌아가기
