시뮬레이션으로 PCA의 특성 알아보기
시뮬레이션1
공통 부분 만들기
common = rnorm(100)
- 100개의 난수 생성
noise 만들기
noise1 = rnorm(100)
noise2 = rnorm(100)
common과 noise의 패턴 확인하기
plot(common, noise1)
plot(common, noise2)
- 별다른 패턴이 존재하지 않음
noise간의 패턴 확인하기
plot(noise1, noise2)
- 별다른 패턴이 존재하지 않음
x와 y 만들기
x = common + noise1
y = common + noise2
x와 y의 그래프 그리기
plot(x, y)
- 많이 퍼져 있긴 하지만 x가 증가할수록 y가 증가하는 패턴을 보임
- 주성분 분석을 하면 우상향 축이 가장 많은 분산을 설명할 것이고 우하향 축이 그 다음으로 많은 분산을 설명할 것임
- 우상향 축은
common을 많이 포함하고 있음
데이터 합치기
m = cbind(x, y)
주성분분석
p = prcomp(m)
summary(p)
Importance of components:
PC1 PC2
Standard deviation 1.7914 0.9493
Proportion of Variance 0.7807 0.2193
Cumulative Proportion 0.7807 1.0000- 첫 번째 차원이 71%를 차지하고 common에 해당함
- 두 번째 차원이 29%를 차지함
그래프 그리기
biplot(p)
- x와 y가 약간 벌어져 있지만 비슷한 방향(PC1의 - 방향)을 가리킴
PC1의 값 확인하기
p$x[,1]
[1] -0.98795277 0.64335003 1.79455844 -3.08241993 0.33687463 1.45945812 [7] -0.03360677 0.22413590 -0.44536893 -2.01221627 -0.42939889 -2.06908565 [13] -0.71763627 -0.38779143 1.15619474 0.80791016 -1.61639416 -1.52345988 [19] -0.85129985 3.93143491 0.78038418 -0.68307818 2.52389724 2.09659495 [25] 0.57851410 -2.38327648 2.54868494 -1.93400420 -0.87344195 -0.95000285 [31] 2.11439498 -0.61141088 -2.40733316 -0.07701473 -3.14243213 -2.59687419 [37] -5.54003670 -3.35452793 0.32813805 -0.58451049 1.94138764 -0.16045600 [43] -1.47129678 0.11978255 -0.45039470 -0.82879317 0.64841647 -1.20599416 [49] -0.11630308 -0.18610813 -2.42125387 0.08737658 -0.01980997 -1.48757516 [55] -0.87774181 1.56158830 3.30808958 -2.62339687 1.93196082 -1.53650729 [61] 1.12001123 3.25462527 -0.14209389 -2.25716986 0.59778361 2.55206557 [67] -0.52986506 1.11640406 2.01468372 2.06092748 1.06083214 0.77716220 [73] -0.18705590 0.40950268 5.46288187 -1.18552092 -2.08750620 1.88734045 [79] 0.60656955 -0.16062552 -2.79888693 0.10936862 -1.68120219 0.70831084 [85] 1.33798209 2.67982564 1.06718298 -1.01821006 -0.81207231 -1.65322951 [91] 0.33879661 -1.41549015 0.67728237 1.39304290 2.07974775 2.23183102 [97] -1.93305777 0.38782348 1.82479118 1.86228934
common과 PC1 그래프 그리기
plot(common, p$x[,1])
- 오차가 있긴 하지만 뚜렷한 직선 경향성을 볼 수 있음
- 그 이유는 공통 요소(common)을 많이 반영하고 있기 때문
- 데이터의 공통 요소와 첫 번째 축(차원)은 밀접한 관련이 있음
시뮬레이션 2
위와 비슷하지만 noise의 비중을 줄임
x = common + 0.5 * noise1
y = common + 0.5 * noise2
x와 y의 그래프 그리기
plot(x, y)
- 직선 경향이 전보다 훨씬 뚜렷해짐
데이터 합치기
m = cbind(x, y)
주성분분석
p = prcomp(m)
summary(p)
Importance of components:
PC1 PC2
Standard deviation 1.5304 0.47418
Proportion of Variance 0.9124 0.08759
Cumulative Proportion 0.9124 1.00000- noise가 줄어 common이 차지하는 비율이 증가해 첫 번째 차원이 설명하는 비율이 증가함
그래프 그리기
biplot(p)
- x와 y의 방향성이 PC1 방향으로 좁아짐
common과 PC1 그래프 그리기
plot(common, p$x[,1])
- common이 증가하면 PC1이 감소하고 common이 감소하면 PC1이 증가함
- 컴퓨터가 찾는 것이기 때문에 방향성은 틀릴 수 있음
보기 쉽게 common과 PC1 그래프 그리기
plot(common, -p$x[,1])
- 노이즈가 섞여 있는 데이터로 주성분분석을 하면 공통 요소를 찾아줌
시뮬레이션3
위와 비슷하지만 noise의 비중을 늘림
x = common + 2 * noise1
y = common + 2 * noise2
x와 y의 그래프 그리기
plot(x, y)
- 증가하는 패턴을 찾기가 어려움
데이터 합치기
m = cbind(x, y)
주성분분석
p = prcomp(m)
summary(p)
Importance of components:
PC1 PC2
Standard deviation 2.5637 1.8986
Proportion of Variance 0.6458 0.3542
Cumulative Proportion 0.6458 1.0000- 첫 번째 차원과 두 번째 차원의 설명 비율이 거의 비슷함
그래프 그리기
biplot(p)
- x가 y가 거의 관련이 없어 직각을 이루고 있음
common과 PC1 그래프 그리기
plot(common, -p$x[,1])
- 공통 요소를 완벽하게 뽑아내진 못하지만 경향성이 보이긴 함
- PC1이 common을 반영하고 있기 때문
정리
- 두 데이터 간 공통 요소가 크면 클수록 분산이 첫 번째 차원에서 많이 설명함
- 따라서 PC1이 공통 요소와 밀접한 관계를 가짐