실험 설계

실험 설계

실험을 해야 하는 이유

안녕하세요 반갑습니다.

이번 강의에서는 실험 설계라는 주제로 강의를 해보려고 합니다.

이번 강의는 실험을 어떻게 설계하느냐를 다루는데요.

우리가 실험이라고 하면 여러가지 실험이 있지만 이번 강의에서 다루는 실험의 범위는 조금 한정적인 범위라고 할 수 있습니다.

어떤 범위에 대해서 다룰 거냐면 비즈니스 사업의 맥락이라든지 또는 사회 현상 또는 심리적 현상을 주제로 하는 그런 실험들을 어떻게 설계하느냐 이거를 다룰 거예요.

그리고 이런 주제들을 결국 보면은 공통점이 뭐냐면 사람에 대한 실험이라는 거죠.

사람에 대한 실험이 어떤 점에서 특별한 점이 있냐면 일단 우리 사물이나 어떤 자연 현상에 대한 실험의 경우에는 특채로 결과가 일정하게 나오고 측정치가 상당히 정확하게 나온다는 그런 특징이 있습니다.

근데 사람의 경우에는 사람마다 다 다르기 때문에 똑같은 실험을 하더라도 결과가 일정하지 않을 수 있고요.

또 측정치가 굉장히 부정확하다든지 일관성이 없다 든지 이런 경우가 있습니다.

그래서 이러한 경우에 실험을 어떻게 잘 설계를 할 수 있냐

이거를 이번 강에서 다뤄보도록 하겠습니다.

일단 우리가 실험이란 무엇이냐

하면 실험이라는 걸 아주 큰 의미에서 보면은 어떤 결과가 나올 수 있는 행위나 절차를 포괄적으로 실험이라고 합니다.

이건 가장 큰 의미의 실험이라고 할 수 있고요.

일반적으로는 이것보다 좁은 의미로 실험을 사용하는데 인과관계를 확인하기 위해서 직접적으로 개입하는 그런 것들을 실험이라고 합니다.

우리가 그냥 가만히 앉아서 예를 들면 하늘을 보다가 비행기가 지나가는지 안 지나간지 본다

이렇게 얘기를 하면은 넓은 의미의 실험에는 이것도 속한다고 할 수 있어요.

왜냐하면 어떤 결과가 나오기는 하잖아요.

우리가 관찰을 하고 있으면 비행기가 지나갈 수도 있고 안 지나갈 수도 있으니까 큰 의미에서는 실험이라고 할 수 있는데 우리가 여기에 뭔가 개입을 하고 있는 게 없기 때문에 좁은 의미에서는 실험이라고 하기 어렵습니다.

그래서 우리 좁은 의미의 실험은 이제 뭔가 우리가 직접적으로 개입을, 현실에 어떤 개입을 해서 현실에 어떤 영향을 미쳐서 어떤 변화가 일어난지를 확인을 하는 것 그런 것들이 좁은 의미의 실험이라고 할 수 있고요.

그러면 우리가 이제 실험을 외해야 하는가 뭐 당연한 얘기일 수도 있지만 사실 의외로 실험을 해야 될 필요성을 못 느끼거나 하는 경우도 있어요.

예를 들면 이제 비즈니스 맥락에서는 보면은 어떤 아이템이나 아이디어의 속된 말로 꽂혀 가지고 아 이거 너무 좋은 아이디어다 라고 생각을 해서 주변 사람들한테 물어봅니다.

내가 이런 이런 아이디어가 있는데 어떻게 생각해 그러면 주변 사람들이 들어보고 보통 나쁜 말은 잘 안 주나 말해.

괜찮을 것 같은데?

어 좋다

뭐 이렇게 얘기를 해줘요.

그럼 이제 신이 나서 돈을 끌어가지고 비즈니스 사업을 해봅니다.

또는 회사 같은 경우에는 몇 명에서 얘기를 해보는 거죠.

회의를 해보니까 어 좋을 것 같은데?

한번 추진해 보지.

이렇게 해서 사업을 해보는 거죠.

그런데 불행하게도 이제 모든 어떤 아이디어 나이템들이 다 사업이 잘 되는 건 아니잖아요.

결국에는 그 해보면은 생각처럼 돌아가지 않는 경우가 굉장히 많습니다.

사람들이 생각한 아이디어가 다 좋은 아이디어였으면은 지금 세상은 지금보다 훨씬 더 살게 좋은 곳이 됐을 수도 있겠죠.

우리 어떤 아이디어가 우리 머릿속에서 참 좋은 것 같았는데 현실에 그 아이디어를 가지고 와보면 생각처럼 돌아가지 않는 경우가 굉장히 많이 있습니다.

그다음에 이제 데이터를 분석을 하려고 해도 보통 데이터라는 거는 기존의 어떤 목적이 있어서 이제 쌓아놓는 거란 말이에요.

그래서 우리가 어떤 아이디어가 있을 때 이 아이디어가 맞는지 아닌지를 지금 가지고 있는 데이터만으로는 확인하기 어려운 경우가 굉장히 많이 있습니다.

그래서 우리가 이제 이런 경우에 우리 아이디어가 맞는지 아니면 또는 어떤 아이디어를 얻기 위해서라도 실험들을 해서 새로운 데이터를 쌓아야 되고요.

특히 어떤 인과관계를 파악을 하기 위해서는 실험이 반드시 필요합니다.

인과관계를 파악하기 위해서는 실험이 꼭 필요한데 통계에서는 뭐라고 하냐면 상관은 인과가 아니다.

이런 말을 써요.

상관이라는 건 뭐냐면 어떤 두 변수가 있어요.

a하고 b가 있는데 a가 증가하면 b도 증가하고 a가 감소하면 b도 감소하는 어떤 데이터상의 그런 패턴들이 보일 때가 있어요.

그러면은 a하고 b 사이에 어떤 인과관계가 있느냐.

그건 아닐 수 있다는 거죠.

예를 들면은 아이스크림 판매량이 아이스크림 판매량이 증가하면 보통 범죄도 증가합니다.

그러면은 아이스크림이 많이 팔려서 범죄가 일어난다.

또는 범죄가 많이 일어나니까 사람들이 아이스크림을 많이 먹는다.

이렇게 얘기할 수 있느냐

하면 그건 아니고 보통 이제 여름이 되면 아이스크림도 많이 팔리고 범죄도 외부 활동이 늘어나니까 범죄도 많아집니다.

그래서 두 가지가 같이 변하지만 어떤 직접적으로 아이스크림하고 범죄 사이에 인과관계는 없는 거죠.

그래서 만약에 우리가 이거를 실험을 해서 예를 들면 어떤 사람들한테 아이스크림을 많이 먹였더니 사람들이 갑자기 나쁜 마음을 먹고 나쁜 짓을 하더라.

라든가 또는 어떤 사람들한테 우리가 나쁜 짓을 시켜보니까 갑자기 나쁜 짓을 하고 나서 아이스크림을 사먹는다든가 좀 말도 안 되는 것 같긴 하지만 이런 식으로 우리가 이제 실험을 해가지고 인과관계를 파악하고 싶으면 이쪽 변수를 늘리거나 낮추거나 직접적으로 어떤 개입을 해봐야 많이 인과관계를 파악을 할 수 있는 거죠.

그래서 주로 이제 인터넷 비즈니스 같은 경우에도 최근에 어떤 인터넷이나 스마트폰을 기반으로 하는 비즈니스가 굉장히 많이 성장을 했는데 이런 업계에서는 이제 이런 실험하는 거를 ab 테스트라고 부르면서 굉장히 어떤 비즈니스 프로세스의 어떤 핵심적인 그런 형태로 지금 자리 잡고 있습니다.

그래서 ab 테스트라는 건 간단히 말해서 a 안하고 b 안이 있다.

여기 이제 홈페이지 디자인을 보시면 똑같은 홈페이지 디자인 데 하나는 버튼이 파란색이고 파란색이고 또 하나는 이제 버튼이 초록색이고 약간 화살표 모양 아이콘 같은 걸 넣었어요.

그러면 예전에는 이런 걸 이제 디자이너가 자기가 보기 때 예쁜 거 또는 디자이너가 이렇게 몇 가지의 a 안 b 안 시안을 만들어 가면은 어 이렇게 어떤 높은 위치에 있는 분들 예를 들면 사장이라든지 이런 사람이 보고 아 이 안이 좋다

뭐 이렇게 고른다든지 이런 식으로 어떤 의견을 가지고 결정을 했는데 최근에는 이런 어떤 사소한 디자인 같은 경우에도 사용자들한테 보여주는 거죠.

그래서 일부 사용자들한테는 a 안을 보여주고 또 다른 사용자들한테는 b 안을 보여줘서 우리가 이제 원하는 건 이 버튼을 사람들이 많이 클릭하기를 원한다.

그러면 어떤 그 버튼을 보여줬을 때 사람들이 클릭을 많이 하는지

이거를 실험을 통해서 결론을 내리고 그런 걸 선택을 하는 거죠.

그래서 이와 같이 이제 실험을 하는 것들이 인터넷이나 스마트폰 앱 이런 비즈니스에서는 굉장히 보편화됐고 또 바꿔 말하면 우리가 많은 어떤 비즈니스들이 어떤 앱이라든지 또는 웹을 통해서 서비스가 이루어지기 때문에 이런 실험을 하기에는 예전보다 훨씬 더 쉬워졌다고 할 수 있죠.

왜냐하면 웹사이트 어떤 버튼을 넣거나 이런 것들은 굉장히 거의 비용이 들어가지 않는 일이기 때문에 우리가 이제 예전보다 더 실험을 하기 쉬워졌고 또 이제 많이 할 수 있는 상황이 되었고 또 이제 많이들 하고 있다

이런 얘기들을 할 수 있습니다.

그래서 우리가 이런 실험을 할 때도 어떻게 하면 더 실험을 잘 할 수 있을까

이런 것들을 이번 강의를 통해서 알아보도록 하겠습니다.

독립변수, 종속변수, 외생변수

이번 시간에는 실험에서 나오는 변수의 종류들에 대해서 알아보도록 하겠습니다.

실험을 우리의 좁은 의미로 생각하면 현실에 개입을 해서 인과관계를 파악하는 그런 거라고 할 수 있는데요.

그러면 최소한 두 가지 변수가 생겨나게 됩니다.

첫 번째는 독립변수.

독립변수라는 것은 인과관계에서 원인에 해당되는 그런 변수라고 할 수 있고 또 우리가 독립변수를 통해서 다른 변수를 예측을 해요.

그래서 예측을 위한 정보가 됩니다.

또 우리의 실험을 한다는 것은 개입을 한다는 거고 개입을 한다는 또 다른 말을 바꿔 말하면 통제를 하는 거다라고 얘기를 할 수 있는데요.

독립변수는 우리가 실험에서 어떤 통제 대상 개입의 대상이 되는 변수도 이렇게 얘기를 할 수가 있습니다.

그러면 우리가 독립변수를 가지고 개입을 하거나 이렇게 하면 어떻게 되느냐

하면 뭔가

결과가 달라지겠죠.

그걸 이제 종속변수라고 할 수 있습니다.

종속변수라는 건 뭐냐면 어떤 결과 또는 우리가 예측을 하는 대상 또는 독립변수에 따라서 달라지는 변수 이렇게 얘기할 수가 있습니다.

그럼 예를 들어 볼까요.

우리가 이런 생각을 했다고 해봅시다.

도시락에 과일로 된 디저트를 넣어주면 사람들이 좋아할 거다

이런 생각을 했어요.

이걸 실험으로 해본다고 하면 동일한 도시락에 동일한 가격의 도시락에 하나는 과일디저트를 넣어주고요.

또 하나는 과일디저트 대신에 다른 계란말을 넣는다든지 다른 메뉴를 넣는다고 해봅시다.

그러면 A 안 하고 B 안이 생기게 되는 거죠.

그럼 사람들한테 이걸 보여줬을 때 어떤 구매 여부가 달라지겠죠.

어떤 도시락을 산다 안 산다가 바뀔 수가 있겠죠.

실험은 여러 가지 방식으로 설계할 수 있습니다.

동일한 사람한테 AB 도시락을 2개를 보여주고 그 중에 어떤 걸 고르는 대로 볼 수도 있고요.

아니면 턴이점 매대의 여러 가지 도시락인데 그 중에 A 도시락을 놓고 얼마나 팔리는지 B 도시락을 놓고 얼마나 팔리는지

이런 걸 볼 수도 있습니다.

그러면 우리가 도시락에 어떤 반찬이 들어가는 또는 어떤 디저트가 들어가느냐가 원인에 해당되는 거죠.

그다음에 우리가 이 실험에서 개입한 부분이기도 합니다.

그리고 우리는 예측을 하는 거죠.

이런 메뉴에 따라서 이 실험의 결과가 달라질 거다라고 생각하기 때문에 이런 부분들이 독립변수에 해당되게 됩니다.

종속변수는 우리가 실험을 해서 달라지는 부분, 결과적으로 달라지는 게 뭐냐

하면 구매를 하느냐 구매율이 달라지느냐 또는 선호도가 달라지느냐

이런 것들이 어떤 실험에 따라서 달라지는 결과라고 할 수 있겠죠.

실험에서 어떤 변수들은 독립변수도 아니고 종속변수도 아닌 어떤 재삼의 변수들이 있습니다.

예를 들면 우리 도시락을 예로 들었는데 도시락 같은 경우에 날씨나 계절에 따라서 어떤 도시락에 대한 선호도 또는 판매 이런 것들은 달라질 수 있겠죠.

그런데 이거는 우리가 실험에서 어떤 직접적으로 통제를 하거나 개입을 시키지 않았기 때문에 이런 변수들은 외생변수 쉽게 말해서 이제 바깥에 있는 변수다

이렇게 부릅니다.

그리고 이런 변수들 중에 어떤 변수들은 크게 상관이 없어요.

예를 들면 외국의 정치적 상황 이런 것들이 도시락 판매 영향을 줄 거다라고 생각하기는 좀 어렵겠죠.

하지만 어떤 변수들은 우리가 실험에 직접적으로 고려를 하지 않았지만 어떤 영향을 주는 그런 외생변수도 있을 수 있습니다.

그래서 그런 변수들은 특별히 혼입변수라고 부릅니다.

즉 우리가 종속변수에 우리가 실험에 고려하지 않았는데 어떤 종속변수에 영향을 미치는 경우 이런 것들을 외생변수라고 부르고요.

그럼 외생변수들은 어떻게 해야 되냐

하면 두 가지 방법이 있습니다.

하나는 실험적으로 통제를 하는 방법이 있어요.

실험적으로 통제를 한다는 것은 우리가 인위적으로 고정을 시키는 거죠.

예를 들면 날씨를 비가 오는 날로 한정을 한다.

그러면 항상 이 실험은 비가 오는 날만 하는 겁니다.

만약에 그런 식으로 통제를 하지 않고 어떤 날은 비가 오는 날인데 과일 도시락을 팔고 맑은 날에는 과일이 안 들어간 도시락을 팔고 이런 식으로 하면 도시락이 잘 팔리는 게 비가 왔기 때문인지 날씨 때문인지 과일 때문인지 알 수가 없게 됩니다.

그래서 비가 내린 날 실험을 할 거면 과일도시락이든 과일이 없는 도시락이든 비가 오는 날 같이 실험을 해야 될 거고요.

그 다음에 만약에 맑은 날 실험을 할 거면 둘 다 맑은 날 실험을 해야 되겠죠.

아니면 맑은 날도 실험을 해보고 비온날도 실험을 해보고 맑은 날도 실험을 해보고 비온날도 실험을 해보고 고르게 외생변수들을 일정하게 고정을 시켜서 외생변수가 미치는 영향을 통제를 해줘야겠죠.

또 다른 방법은 우리가 직접적으로 통제를 할 수 없는 경우에는 통계적 통제라는 걸 하는데요.

통계적 통제라는 거 어떻게 하냐면 실험을 할 때 이런 외생변수들을 꼼꼼하게 기록을 해서 우리가 데이터를 분석할 때 이런 변수들의 영향 부분을 통계적으로 분석해서 잘 그 효과를 잘 떼내는 겁니다.

물론 통계적으로 통제하는 것들이 한계가 있기 때문에 가능하면 실험적으로 통제를 하는 것이 좋지만 예를 들면 아까 웹사이트 앞서 강해서 웹사이트 같은 게서 AB 테스트를 하는 경우에는 우리가 실험적 통제가 사실 상당히 어려운 경우가 많아요.

왜냐하면 사용자들이 막 쏟아 들어오기 때문에 우리가 엄격하게 사용자들의 흐름을 통제를 할 수가 없습니다.

그럴 경우에는 사용자에 대한 여러 가지 데이터들을 같이 수집을 잘 해가지고 분석을 할 때 어떤 외생변수들의 영향력을 잘 처리를 하는 게 중요합니다.

참여자 간 설계와 참여자 내 설계

이번 시간에는 실험 설계 종류에 대해서 알아보도록 하겠습니다.

실험 설계를 크게 나누면 두 가지로 나눌 수가 있습니다.

첫 번째는 참여사간 설계라고 해서 우리가 실험 조건이 있으면 A하고 B, 두 가지 조건이 있다고 하면 어떤 사람은 A 조건에만 참여하고 또 다른 사람은 B 조건에만 참여하는 식으로 사람마다 다른 조건에 실험에 참여를 하는 겁니다.

예를 들면 우리가 어떤 신제품 과자가 있는데 이걸 먹어보고 얼마나 맛있는지 평가를 하고 싶으면 A 과자 기존 제품을 어떤 사람은 기존 제품만 먹어보고 평가를 하고 또 다른 사람은 신제품만 먹어보고 평가를 하는 거예요.

이걸 참여사간 설계라고 하고요.

반대로 동일한 사람이 A도 먹어보고 B도 먹어보고 A도 먹어보고 B도 먹어보고 이렇게 같은 사람이 여러 조건에 참여하는 것은 참여자 내 설계라고 부릅니다.

왜 간 내?

이러냐면 이거는 참여사간의 조건이 다른 거고 이거는 참여자 내에서 한 참여자가 여러 가지 조건으로 실험에 참여를 하기 때문에 참여자 내 설계라고 부릅니다.

참여사간 설계부터 좀 자세히 알아보면 일단 참여사간 설계는 보통 사람 대장으로 하는 실험에서 가장 많이 하는 방식입니다.

예를 들면 대표적인 게 신약 개발인데

왜냐하면 우리가 새로운 약이 나왔을 때 기존의 약이나 또는 가짜 약, 밀가루 같은 걸 만드는 가짜 약을 먹는 사람들이 있고 어떤 사람들한테 진짜 약을 주는데 동시에 두 가지를 먹을 수는 없겠죠.

그래서 신약 개발 같은 경우도 참여사간 설계로 많이 하게 되고요.

그다음에 AB 테스트 흔히 말하는 AB 테스트 같은 경우도 사용자마다 어떤 사용자에게는 A 안, 다른 사용자에게는 B 안 이런 식으로 사용자마다 다른 경험을 제공하기 때문에 이런 것들도 참여자 간 설계라고 할 수 있습니다.

참여자 간 설계를 할 때 이제 주의해야 되는 거는 우리가 이제 A하고 B가 있는데 예를 들면 아침에는 A라는 디자인으로 보여주고 오후에는 B라는 디자인으로 보여준다.

이렇게 하면 아침하고 저녁에 사용자들 자체가 다를 수 있잖아요.

아침에 일찍 일어나는 성향의 사람 또는 아침에는 시간이 여유가 있는 사람 또는 저녁에는 여유가 있는 사람 그 사람 자체가 달라지기 때문에 그 결과가 일정하지 않을 수가 있습니다.

또는 그 결과의 어떤 실험 결과가 A 안 B 안 이런 것 때문이 아니라 아침이나 저녁이냐

이런 변수들 때문에 달라질 수도 있습니다.

신약 개발 같은 경우도 어떤 기존 약을 먹는 사람이고 신약을 먹는 사람이 있는데 예를 들어서 젊은 사람들한테는 신약을 주고 나이든 사람들한테는 기존 약을 주고 이렇게 하면 약효가 신약이 좋은 것 때문인지 아니면 참여자의 나이 때문인지 이런 것들을 우리가 알기가 어려워져요.

그래서 실험에 참여하는 사람들을 무작위로 어느 쪽에 들어갈지 모르게 무작위로 하는 게 중요하고 그다음에 이제 가능하면 실험에 참여하는 사람이 실험 대상이죠.

실험에 참여하는 사람이 자기가 지금 어느 쪽에 들어가 있는지를 모르게 하고 심지어는 실험하는 사람 실험자라고 하죠.

우리죠.

우리 자신도 누가 어느 조건에 들어간지 모르게 하는 것이 되게 중요합니다.

그래서 이걸 이중맹검이라고 하는데요.

여기 더블 블라인드는 있는데 블라인드라는 게 안 보인다

이런 거죠.

안 보이게 한다.

서로 안 보이게 한다.

이게 왜 중요하냐면 실험하는 사람이 만약에 나는 B 안이 좀 더 좋은 것 같다라고 생각하면 B 안을 체험하는 사용자들한테 조금 더 자기도 모르게 편파적으로 뭔가 좀 더 잘해준다든지 이럴 수 있거든요.

예를 들면 신약개발 같은 경우도 A 약하고 B 약이 있는데 나는 B 약이 더 좋은 것 같아요.

그럼 B 약 먹는 사람한테 왠지 자기도 모르게 뭔가 좀 더 잘해줄 수가 있거든요.

그러면 어떤 약의 효과를 측정하는 게 아니고 그냥 실험자가 더 잘해주는 그런 효과를 측정하게 되는 거죠.

그래서 가능하면 이런 것들을 통제하기 위해서 사람도 무작위로 할당을 하고 그다음에 누가 어떤 조건이 들어간지도 가능하면 실험자도 참여자도 서로 모르게 하는 것이 중요하다고 할 수 있습니다.

그 다음에 참여자 내세계라는 방법도 있네요.

참여자 내세계는 한 참여자가 모든 조건에 다 참여를 하는 겁니다.

참여자 내세계의 장점은 뭐냐면 참여자 간 설계는 아무리 우리가 무작위로 할당하고 이렇게 하더라도 A하고 B하고 두 가지 조건이 있으면 이 양쪽에 참여하는 사람들이 동등하지 않기 때문에 우리가 어떤 실험 결과의 차이가 있을 때 이게 A하고 B의 어떤 집단들 사이에 예를 들면 이게 기존 약이고 신약인데 어쩌다가 병세가 나쁜 사람 한 두 명이 신약을 받는 사람의 처치에 들어가게 되면 약의 효과가 낮은 것처럼 나올 수도 있거든요.

근데 사실은 좀 증세가 심한 사람들이 우연히 이쪽이 몰린 거죠.

우리가 아무리 무작위로 할당을 하더라도 우연히 어떤 특성을 가진 사람들이 특정 조건에 몰리는 것들은 우리가 통제하기가 어렵습니다.

참여자 내세계인 경우에는 A 조건에 참여한 사람이나 B 조건에 참여하는 사람이나 다 결국 똑같은 사람이거든요.

왜냐하면 같은 사람이 A, B 양쪽에 다 참여를 하기 때문에 그래서 우리 외생 변수에 대해서 고민을 할 필요가 없습니다.

완벽킬이라고 썼지만 사실 완벽히까지는 아니고 잘 통제할 수 있다

이런 거죠.

참여자 간설계보다.

근데 다음 문제는 뭐냐면 어떤 사람이 A 조건도 참여하고 B 조건도 참여하면 순서라는 게 생길 수밖에 없습니다.

동시에 할 수는 없기 때문에.

예를 들면 우리가 새로 만든 과자를 먹어보게 한다.

그럼 A를 먼저 보고 B를 먼저 먹느냐 B를 먼저 먹고 A를 먼저 먹느냐 뭘 먼저 먹는가에 따라서 순서가 영향을 미치겠죠.

그래서 이런 건 균형을 맞출 필요가 있습니다.

어떤 사람은 A를 먼저 하고 B를 다음을 하고 다른 사람은 B를 먼저 하고 A를 하고 이런 식으로 순서에 균형을 맞춰서 순서에 의해서 생기는 효과들을 제한해줄 필요가 있고요.

그 다음 또 하나 문제는 우리가 사람을 대상으로 하는 실험이기 때문에 사람이 어떤 실험 조건을 눈치를 칠 수가 있습니다.

예를 들면 우리 과자가 많은 사람들한테 익숙한 과자예요.

그럼 똑같은 과자처럼 해가지고 내놓더라도 먹어본 사람이 아까 이거랑 맛이 다른데 이건 신제품인가?

이렇게 생각을 할 수 있잖아요.

그러면 신제품이니까 이거에 대해서 말을 더 좋게 해줘야겠다.

이렇게 생각할 수 있거든요.

실제로 사람을 대상으로 실험을 해보면 사람들이 실험 대상이라는 걸 눈치를 채면 여러 가지로 행동이 달라집니다.

자기는 실험자한테 잘해준다고 생각을 하고 좋은 말을 해주고 싶은 거예요.

신제품 과자니까 이게 좋다.

이렇게 해줄 수도 있고 아니면 사실은 자기는 기존 과자보다 신제품이 더 맛있지만 좀 자신이 없는 거죠.

그러니까 오히려 더 신제품을 깎아 내린다든지 이런 식으로 어떤 자기가 실험 당하고 있고 지금 뭘 실험하고 이런 걸 눈치채고 거기에 맞게 자기 말이나 행동 같은 걸 바꿀 수도 있어요.

의식적으로도 무의식적으로는 그래서 이런 것들을 가능하면 눈치채지 못하게 하는 것들도 되게 중요합니다.

그다음에 이게 단점은 뭐냐.

가장 큰 단점은 이렇게 참여자 내세계를 하는 게 모든 종류에 가능한 건 아니에요.

아까 앞에서 예를 들었던 어떤 신약 개발 같은 경우에 우리가 이제 A약하고 B약이 있으면 어떤 약을 먹었을 때 환자가 빨리 났는지

이런 걸 봐야 되는데 A약을 먹었다가 B약을 먹었다가 약을 중간에 바꿔가면서 먹기는 좀 어렵거든요.

그래서 이런 경우에도 어떤 참여자 내세계를 하기가 힘들고요.

그러니까 우리 이제 고객을 대상으로 할 때도 아까 과자 같은 거는 A, B 둘 다 드셔보시고 더 맛있는 걸 골라주세요.

이런 식으로 참여자 내세계를 할 수 있지만 실제 고객 한 때 서비스를 일했다가 저렷다가 왔다 갔다 바꿔가면서 하기는 좀 어렵거든요.

그래도 우리 식당인데 제품으로 나가는 실험을 할 때 같은 고객한테 메뉴를 계속 바꿔 같은 메뉴를 바꿔가면서 준다든지 이런 거는 불가능하기 때문에 아무래도 참여자 내세계는 적용할 수 있는 상황이 제한이 된다고 할 수 있습니다.

그래서 여러분들이 참여자 간 설계와 참여자 내세계의 특성을 잘 알고 상황에 따라서 이거를 적용할 수 있는 더 적절하다고 생각하시는 상황에 적용을 하시면 되겠습니다.

아이디어에서 실험으로

이번 시간에는 여러분들이 생각한 실험 아이디어를 실험으로 어떻게 설계하는가 라는 주제에 대해서 다뤄보도록 하겠습니다.

일단 실험을 설계를 하실 때는 제일 먼저 이제 하시려는 실험에 독립변수와 종속변수를 명확하게 하시는 게 중요합니다.

즉 내가 어떤 변수들을 통제를 할 거고 또 그 결과로 달라지는 부분들을 어떤 것을 측정을 할 거고 이것을 명확하게 하는 게 좋아요.

예를 들면 우리가 보통 아이디어라고 하면은 아 뭐뭐 하면 좋을 것 같은데 라는 정도로 이제 생각을 하는 경우가 맞습니다.

보통 이제 좋을 것 같다 좋을 것 같다라고 할 때 이게 되게 이제 애매한 용어거든요.

좋다

라는 게 어떤 면에서 좋다는 건지.

그러니까 이제 대부분 여기가 이제 종속변수에 해당되는 거죠.

그래서 이 좋을 것 같다라고 이제 막연한 부분을 어떤 구체적인 종속변수로 즉 사람이 예를 들면 이제 우리 고객들이라고 하면 고객들이 구매를 많이 한다는 건지 아니면 고익들이 한 번 구매했던 고익들이 재구매를 많이 한다는 거죠.

아니면 한 번 구매를 할 때 많이 산다는 건지 구매를 안에 관련되는 건지 아니면 구매 후에 어떤 만족도가 높다는 거죠.

기타 등등 여러 가지 어떤 종속변수가 있을 거거든요.

그래서 이런 종속변수들을 구체적 구체화 시키는 것이 중요합니다.

그다음에 이제 우리가 실험을 할 때 앞서 말씀드렸듯이 어떤 외생변수들 실험에 직접적으로 관여되지 않지만 실험에 영향을 미치는 이런 혼입변수들을 잘 생각을 하고 그다음에 이런 것들을 어떻게 통제할 수 있을지를 생각을 하시는 게 중요합니다.

그다음에 이제 가장 중요한 거라고 할 수 있는데요.

우리가 이제 측정을 어떻게 할 건가 독립변수나 종속변수를 어떻게 측정을 할 건가

라는 부분인데 이제 우리가 실험 과학 이러면 특히 중고등학교 때 배우는 실험 같은 경우는 주로 자연과학 실험이 많아요.

자연과학 같은 경우에는 대부분 측정이 길이라든지 무게라든지 이렇게 어떤 도구를 이용해서 젤 수 있는 게 많기 때문에 측정에 대해서 그렇게 크게 고민하지 않는 경우가 많은데 사람을 대상으로 하는 실험에서는 그렇게 어떤 장비 기계로 측정을 할 수 없는 경우가 많이 있습니다.

그러면 어떤 측정 방법을 우리가 이제 고민을 좀 해봐야 되는데요.

어떤 것을 꼭 기계나 장비로 측정을 하지 않더라도 그 측정 자체가 이제 일관성이 있으면 충분히 우리가 실험을 과학적으로 잘 할 수가 있습니다.

예를 들면 제가 이제 만족이라는 말을 했는데 이 만족이라는 걸 이제 어떻게 측정을 할 거냐 여러 가지가 있어요.

설문으로 사람들한테 물어볼 수도 있고 아니면 어떤 고객의 행동을 가지고 지표할 수도 있습니다.

예를 들면 어떤 우리 제품의 만족한 고객이라면 재구매를 할 수도 있을 거고 아니면 친구들한테 추천을 많이 할 수도 있겠죠.

그래서 우리가 이제 만족이라는 걸 여러 가지 방법으로 측정할 수 있는데 중요한 거는 그 측정의 결과가 일관성이 있어야 된다.

즉 동일한 고객을 동일한 방법으로 측정을 하면 동일한 결과가 나와야 된다.

또는 우리가 어떤 경우는 이런 경우도 있습니다.

예를 들면 사람이 어떤 공격적으로 행동을 한다.

또는 친절하게 행동을 한다.

뭐 이런 경우에 굉장히 애매하거든요.

예를 들면 우리가 고객한테 친절하게 행동을 하면 고객들의 만족도가 높아질 것이다

라고 했을 때 고객한테 친절하게 행동한다

라는 걸 어떻게 측정을 할 거냐 라고 하면 여러 가지로 할 수 있는데 고객한테 물어볼 수도 있습니다.

얼마나 친절하다고 느끼셨습니까

이렇게 물어볼 수도 있고요.

아니면 우리가 이제 행동을 가지고 단계로 나눠서 정의를 할 수도 있습니다.

예를 들면 친절하다는 행동을 고객의 말에 주의깊게 듣고 반응을 한다.

또는 고객이 어떤 걸 필요할지 생각을 해서 고객이 말하기 전에 먼저 행동을 한다.

이런 식으로 얘기를 할 수 있는데 이거를 두 명의 어떤 제3자가 책점을 하는 거죠.

제3자가 보고 어떤 사람 행동을 보고 이 사람 고객한테 친절하게 행동한다.

또는 친절하지 않게 행동한다

이렇게 평가를 하는데 A가 평가를 하든 B가 평가를 하는 완전히 똑같지는 않더라도 거의 유사하다.

90% 정도 일치한다.

95% 일치한다.

이러면 어느 정도 일관성이 있다고 할 수 있겠죠.

즉 우리 측정 방법에서 정리하자면 기계나 어떤 장치를 이용하지 않더라도 어떤 주관적일 수 있는 방법들.

우리가 어떤 사람이 보고 평가를 한다든지 설문을 통한다든지 굉장히 주관이 많이 개입되는 방법이지만 그렇지만은 동일한 대상에 대해서 동일한 절차를 했죠.

동일한 방법으로 측정했을 때 어느 정도 우리가 측정치에 일관성이 있다라고 하면 충분히 좋은 방법이 될 수 있고요.

반대로 기계나 어떤 장치를 사용한다고 해도 이게 일관성이 없으면 좋은 측정 방법이라고 할 수 없거든요.

예를 들면 병원에서 쓰는 장비들이죠.

초음파라든지 MRI다든가 이런 장비들 같은 경우에도 기계로 측정하지만 동일한 사람한테 두 번 측정을 한다고 똑같은 결과가 나오지 않는 경우가 많이 있거든요.

측정 장비를 다루는 사람의 스킬이라든가 이런 부분들도 많이 개입을 하기 때문에 그래서 우리가 무조건 기계로 한다고 해서 일정한 결과가 나오는 것도 아니고 또 반대로 어떤 기계를 사용하지 않고 측정을 한다고 해서 일관성이 없는 것도 아닙니다.

이거는 실험하는 사람이 고민을 많이 하고 또 실제로 측정을 해보고 이렇게 해서 일관성 있는 방법을 확보하는 게 되게 중요하고요.

그래서 가능하면 변수들을 정량화시켜서 정량화시킨다는 건 어떤 수나 양으로 표현하는 것이 되게 중요하다

이런 겁니다.

고객도 만족 이렇게 하면 고객이 만족했다

불 만족했다

두 가지로 나누는 것보다는 어떤 만족도를 수치화시켜서 우리가 어떤 고객의 만족한 정도를 0에서 100까지 0점에서 100점까지 어떤 점수를 나타낼 수 있는 방법을 만들어 가지고 점수를 나타낼 수 있으면 단순하게 만족했다

불 만족했다

보다

좀 더 우리가 실험 결과를 분석하거나 할 때 다양한 측면에서 분석을 할 수 있습니다.

그다음에 우리가 대부분의 실험은 실제 상황 실제 현실적인 상황과 동일한 상황에서 한다고 보다는 어떤 제한된 상황에서 실험을 하게 되는 경우가 많이 있어요.

그래서 어떤 제한된 상황에서 실험을 하는데 이때 좀 고려해야 되는 것은 우리가 실험을 하는 상황하고 그 다음에 현실하고 이게 가능하면 일치되면 좋습니다.

그런데 이거를 완전하게 일치시키려면 비용이 많이 들어가는 경우가 있어요.

예를 들면 우리가 사람을 체용을 선발을 하거나 체용을 하려고 한다고 생각을 해봅시다.

그러면 그때 사람한테 어떤 것을 시켜보고 이걸 잘 하면 뽑고 못하면 안 뽑고 이런 상황이라고 하면 이것도 어떻게 보면 실험이라고 할 수 있거든요.

그런데 문제는 뭐냐면 어떤 사람을 체용하는 상황에서 우리가 뭔가 시키는 것과 실제 업무에 와서 뭔가 시키는 것과 상황이 좀 많이 다를 수 있단 말이에요.

왜냐하면 회사 사무실에서 이미 체용된 상태에서 일을 할 때는 여유도 있고 그다음에 또 다른 측면에서 보면 내가 이 일만 하는 게 아니라 전화도 오고 말도 걸고 이렇게 하지만 체용하는 상황에서는 시험이니까 당연히 불안하고 긴장도 많이 되고 또 그렇지만 시험 본 상황에서는 그 일만 집중을 할 수 있잖아요.

여러 가지로 현실 상황하고 굉장히 다른 경우가 있는데 이런 경우에 좀 중요하지 않은 부분들은 가능하면 단순화 시키는 게 좋고요.

중요한 부분들 어떤 실험을 이 실험 상황을 현실에 적용하기 위해서 중요한 상황들은 잘 반영을 하는 게 중요합니다.

그래서 제가 이제 사실적인 설정 이렇게 썼는데요.

이 사실성이라고 해가지고 우리가 이제 물리적 사실성하고 심리적 사실성 이렇게 구별을 합니다.

그래서 물리적 사실성이라는 건 뭐냐면 정말 물리적으로 글자 그대로 똑같은 거예요.

심리적 사실성은 마음의 느끼기에만 충분히 똑같으면 똑같다고 할 수 있는 겁니다.

그래서 어떤 쪽이 더 중요하냐면 사람과 관련된 실험에 대해서는 심리적인 사실성이 더 중요하다고 할 수 있습니다.

굉장히 유명한 사례 중에 하나로 예를 들면 우리가 쓰고 있는 스마트폰의 전신이 되는 게 PDA라는 기계가 있는데요.

PDA라는 초기 개발했던 일화 중에 어떤 걸 보면 적당한 PDA 크기나 무게나 사용성을 테스트를 하려고 나무로 만든 가짜 스마트폰 같은 걸 만들어서 개발자들이 주머니에 넣고 다니면서 꺼내서 만져도 보고 주여도 보고 이걸로 글씨 같은 거 쓰는 흉내도 내보고 이러면서 이 크기가 적절한가 이렇게 해봤다는 이야기가 있어요.

나무 토마악은 당연히 스마트폰 기기랑은 전혀 상관이 없지만 우리가 이걸 들어보고 크기나 이런 걸 테스트하기에는 나무 토마악이든 실제 스마트폰이든 크게 차이가 없을 수도 있거든요.

물리적으로는 차이가 있지만 심리적으로는 이 테스트 실험의 목적에서는 충분히 사실적이라고 할 수 있습니다.

그래서 어떤 실험 설정을 사실적으로 하는 것이 중요하다

이렇게 얘기를 할 수 있고요.

그 다음에 여러 가지 얘기를 들었지만 사실 처음부터 완벽한 실험을 하기에는 불가능합니다.

왜냐하면 혼입변수를 제가 얘기 드렸는데 이 가능한 혼입변수가 뭐가 있는지

이런 걸 처음보다 다 알 수는 없군요.

우리가 실험을 하고 데이터나 이런 걸 보면서 어떤 실험을 하면서 깨닫게 되는 부분들도 많이 있습니다.

그리고 측정 방법 같은 경우에도 처음 측정을 할 때는 이게 일관성이 좋은 방법이라고 생각했는데 막상 실험을 할 때 보면 문제들이 드러나게 돼요.

설정 같은 경우도 사실성이 부족하구나

이런 것들을 깨닫게 되기도 하고 그래서 실험이라는 걸 한 번에 처음부터 완벽하게 실험을 한다기보다는 실험을 해보고 어떤 이 실험의 문제점을 차단해서 또 개선을 하고 또 그거를 반영해서 실험을 하고 이걸 계속 반복해서 점점 더 좋은 실험을 하게 됩니다.

그래서 과학 실험 같은 경우에도 실제로 실험을 할 때 파일럿 실험이라고 해서 아주 우리가 작은 규모로 실험을 조금 해보고 어떤 여러 가지 문제들이 없는지를 테스트를 해보고 그래서 실험 자체에 어떤 문제점을 잡아내고 실험을 하거든요.

그래서 우리가 어떤 비즈니스 상황이나 이런 경우에도 실험을 할 때 처음부터 완벽하게 실험을 하려는 생각보다도 일단 아주 작게라도 실험을 해보고 문제점을 차단해서 개선하면 된다.

이런 식으로 생각하고 접근하시는 것이 중요합니다.

퀴즈

실험 설계 프로젝트

실험을 하나 설계해 보세요.

• 실험 제목 (예: 유통기한 지난 초밥 판매)
• 실험의 목적 (예: 유통기한 지난 초밥을 팔 수 있는지 알아본다.)
• 가설 (예: 가격이 저렴하다면 사람들은 유통기한 지난 초밥을 살 것이다)
• 종속 변수 (예: 초밥 구매 여부)
• 독립 변수 (예: 가격, 유통기한이 지난 정도)
• 실험 절차 (예: 유통 기한 지난 초밥에 세일 스티커를 붙여서 유통 기한이 지나지 않은 초밥과 함께 전시한다. 고객이 1명 올 때마다 둘 중에 하나의 구매를 권한다. 독립변수는 고객에 따라 무작위로 할당한다. 초밥의 유통기한 지난 정도는 1일, 2일, 3일로 다르게 하고, 할인 폭도 10%, 50%, 90%로 달리 한다.)