13. 다중공선성

공선성(collinearity): 하나의 독립변수가 다른 하나의 독립변수로 잘 예측되는 경우, 또는 서로 상관이 높은 경우

다중공선성(multicollinearity): 하나의 독립변수가 다른 여러 개의 독립변수들로 잘 예측되는 경우

(다중)공선성이 있으면:

• 계수 추정이 잘 되지 않거나 불안정해져서 데이터가 약간만 바뀌어도 추정치가 크게 달라질 수 있다
• 계수가 통계적으로 유의미하지 않은 것처럼 나올 수 있다

(다중)공선성의 진단

• 분산팽창계수(VIF, Variance Inflation Factor)를 구하여 판단
• 엄밀한 기준은 없으나 보통 10보다 크면 다중공선성이 있다고 판단(5를 기준으로 하기도 함)

예제 데이터

crab.csv를 다운로드 받아 연다. 이 데이터는 게의 크기와 무게 등을 측정한 데이터이다.

df = read.csv('crab.csv')
head(df)

  crab sat y weight width color spine
1 1    8   1 3.05   28.3  2     3    
2 2    0   0 1.55   22.5  3     3    
3 3    9   1 2.30   26.0  1     1    
4 4    0   0 2.10   24.8  3     3    
5 5    4   1 2.60   26.0  3     3    
6 6    0   0 2.10   23.8  2     3    

회귀분석

먼저 회귀분석을 해본다.

model = lm(y ~ sat + weight + width, df)
summary(model)

Call:
lm(formula = y ~ sat + weight + width, data = df)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.89580 -0.29752  0.01245  0.28001  0.70921 

Coefficients:
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.936650   0.500403  -1.872   0.0630 .  
sat          0.097113   0.008814  11.018   <2e-16 ***
weight      -0.046514   0.097890  -0.475   0.6353    
width        0.053544   0.026465   2.023   0.0446 *  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.3381 on 169 degrees of freedom
Multiple R-squared:  0.5145,	Adjusted R-squared:  0.5058 
F-statistic: 59.69 on 3 and 169 DF,  p-value: < 2.2e-16

결과를 보면 유의수준 5%에서 sat와 width는 통계적으로 유의미하고, weight는 유의미하지 않게 나왔다.

VIF 계산

car 라이브러리를 불러들인다. 없으면 install.packages('car')로 설치한다.

library(car)

Loading required package: carData

VIF를 계산하는 함수는 vif이다.

vif(model)

     sat   weight    width 
1.158837 4.801679 4.688660 

weight와 width의 VIF가 각각 4.8과 4.6이다. 게의 무게(weight)와 너비(width)는 서로 상관이 높기 때문에 VIF가 약간 높게 나타나는 것이다.

대처

• 계수가 통계적으로 유의미하지 않다면 대처
  • 계수가 통계적으로 유의미하다면 VIF가 크더라도 특별히 대처할 필요없음
• 변수들을 더하거나 빼서 새로운 변수를 만든다
  • (개념적으로나 이론적으로) 두 예측변수를 더하거나 빼더라도 문제가 없는 경우
    • 예) 남편의 수입과 아내의 수입이 서로 상관이 높다면, 두 개를 더해 가족 수입이라는 하나의 변수로 투입한다
  • 더하거나 빼기 어려운 경우는 변수를 모형에서 제거한다
    • 단, 변수를 제거하는 것은 자료의 다양성을 해치고, 분석하려던 가설이나 이론에 영향을 미칠 수 있기 때문에 가급적 자제

weight와 width가 VIF 기준을 넘는 것은 아니지만 실험삼아 width를 제거해보자.

summary(lm(y ~ sat + weight, df))

Call:
lm(formula = y ~ sat + weight, data = df)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.89198 -0.30621  0.03393  0.27644  0.65124 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.04951    0.11426   0.433   0.6653    
sat          0.09763    0.00889  10.982   <2e-16 ***
weight       0.12601    0.04850   2.598   0.0102 *  
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.3411 on 170 degrees of freedom
Multiple R-squared:  0.5027,	Adjusted R-squared:  0.4969 
F-statistic: 85.93 on 2 and 170 DF,  p-value: < 2.2e-16

이전의 분석에서는 weight가 유의미하지 않게 나왔지만, width를 제거한 후에는 유의미하게 나왔다. weight와 width가 공선성이 있기 때문에 width를 제거하자 weight가 유의미해진 것으로 볼 수 있다.