[강의] 기초연구방법론 - 서울교육대학교/홍성두 (4강; 실험연구법)

실험연구법

실험연구; 개입을 제공하는 한 집단(실험집단)과 어떠한 개입도 제공하지 않은 또 다른 집단(통제집단)의 결과들을 비교 
조사대상에 대한 변수간의 인과관계를 인위적으로 규정하여 조작된 변수의 효과를 파악하는 방법

- 실험집단; 새로운 교육프로그램 적용
- 통제집단; 기존의 교육프로그램 적용
-> 최근엔 새로운 교육프로그램이 기존 교육프로그램과 비슷한 결과가 나오는 것 만으로도 어느정도 인정을 받을 수 있음

분석단위; 개인이 아닌 집단 - 집단의 데이터로 결과 분석

목적; 개입효과의 성공여부 확인보다는 '인과관계'의 규명
-> 중재프로그램이 어떤 것을 변화시키는데 효과가 있는 인과관계가 성립된다라는 것을 규명하는게 더 중요하다.

실험연구의 기본요소
- 공변성, 시간적 우연성, 외부설명의 통제

공변성; 연관, 연관이 있음
- 두 변수가 함께 변화함을 보여주는 것. 즉 한 변수가 변화할 때 다른 변수도 같이 변화하는 것을 보여주는 것

시간적 우연성; 영향의 방향성
한 변수가 원인이고 다른 변수가 결과임을 증명하기 위해서는 두 변수간에 시간적으로 어떤 변수가 앞서고 어떤 변수가 뒤따른다는 것을 보여줄 수 있어야 함.

외부설명의 통제; 격리
- 두 변수들 간에 나타나는 공변성의 관계가 제3의 변수에 의해 유발되는지의 여부를 확인하고 이를 통제하는 것

실험설계의 요건
- 통제집단, 무작위 배정, 독립변수의 조작

통제집단 
- 동일한 상황에서 실험집단은 개입을 하고 통제집단은 아무런 변화를 주지 않는 상태를 유지하여 종속변수의 결과를 비교하였을 때에만 개입의 효과를 정확히 측정할 수 있기 때문
- 통제집단의 설정 여부에 따라서 실험설계의 유형을 구분할 수 있다.

무작위 배정 
- 두 집단에 대한 배정이 무작위로 이루어져야 두 집단이 동일하게 되며, 결국 순수한 개입 효과에 방해가 되는 많은 불필요하고 혼란스러운 외생변수와 예기치 않은 영향을 배제할 수 있음
- 제대로 무작위 배정을 하는 방법 =>

독립변수 조작
- 실험설계에서 실험집단은 개입을 하고 통제집단은 개입을 하지 않았을 때, 실험집단에 가하는 개입을 다른말로 '독립변수의 조작'이라고 함
- 개입 = 조작 

실험연구의 유형
- 순수실험 설계, 유사실험 설계

학생, 학교가 무선으로 집단에 배정되는 경우는 순수실험설계 그렇지 않은 경우 유사실험설계

순수실험설계가 유사실험설계보다 여러가지 측면에서 더 좋은 설계이지만, 현실적으로 무선할당이 어렵거나 윤리적으로 문제가 있을 경우 유사실험설계를 함

무선표집; 무선할당 전에 참가자를 확보할 때 표집을 무선으로 한다는 의미
무선할당; 참가자를 실험집단과 통제집단으로 배치할 때 무선으로 배치한다는 의미

무선; 無選, 선택이 없다는 뜻, 랜덤

실험연구의 유형4-1

R; 무선
O; 검사
X; 실험(프로그램)

표본이 적을때는 측정횟수를 늘려서 실험할 수 있다. 

순수실험설계
- 실험설계 중 인과적 관계를 확인할 수 있는 가장 이상적인 설계방법
- 통제집단과 무선할당이 이루어진 설계
- 통제집단전후비교조사, 통제집단후비교조사, 솔로몬4집단비교조사 등이 있음

통제집단 전후비교조사
- 인과관계 추정을 위한 전형적인 실험설계
- 개입에 들어가기 전에 사전검사를 실시하고, 그 후에 실험집단은 개입이 실시되고 통제집단은 개입 없이 그대로 둠
- 실험집단에 주어지는 개입을 제외한 나머지 모든 것은 두 집단에 똑같은 상태로 주어지며, 개입이 종료되면 다시 두 집단에 대해 사후검사를 실시
- 두 집단 간의 사전검사와 사후검사의 차이를 비교하여 개입의 효과성에 대한 경험적 준거를 삼음
- 개입 이후의 차이를 비교

통제집단 후비교조사
- 통제집단 전후비교조사에서 사전검사의 영향을 배제하고자 할 경우, 혹은 사전검사가 용이하지 않을 경우에 사용하기 편리한 실험설계
- 사전검사를 통해 학습할 수 있는 경우에 후비교조사 사용가능 
- 통제집단 전후비교조사에서 사전측정을 하지 않은 형태
- 무선할당의 경우에는 사후비교시 통제집단이 사전검사의 역할이 가능함. 하지만 사전측정이 이루어지지 않음으로써 각 집단의 최초상태를 정확히 알지는 못함

솔로몬 4집단 비교조사 
- 통제집단 전후비교조사와 통제집단 후비교조사를 조합한 형태로 두 실험조사가 지닌 약점을 보완하기 위해 고안된 설계
- 개입의 효과를 설명하기 위해 앞의 두 조사설계를 동시에 병행함으로써 다른 조사설계에서는 불가능한 외생변수의 영향을 충분히 분리할 수 있는 장점이 있음. 
- 하지만 현실적으로 네개의 다른 집단을 구성하고 유지하는 것이 현실적으로 어려움. 실용적으로는 사용할 수 없는 정교하고 복잡한 설계

유사실험설계
- 엄격한 통제집단을 완벽하게 갖추지 못하지만, 대안적인 통제집단을 갖춘 설계방법
- 통제집단이 있는 설계
- 비동일통제집단전후비교조사, 시계열(시간연속)조사, 복수시계열조사 등이 있음 

비동일통제집단전후비교조사
- 전형적인 유사실험설계로 실험에 참여하는 대상자가 무선할당이 되지 않고, 배합이나 기존 집단을 선정하는 방식 등으로 실험집단과 통제집단을 구성하는 점에서 통제집단 전후비교조사와 차이가 있음. 
- 개입이 이루어지는 실험집단과 개입이 이루어지지 않는 통제집단으로 구분하여, 두 집단에게 개입전 사전검사와 함께 개입 후 사후검사를 실시하여 두 집단간의 전후 차이를 비교하는 조사형태 
- 교육현장에서 가장 많이 활용하는 실험설계로서 무선할당이 이루어지지 않음으로 하여 두 집단의 동일성에 대한 통제가 명확히 이루어지지 않음. 
- 무선할당이 이루어지지 않았지만, 두 집단간의 동일성을 입증하기 위한 기술이나 통계적인 기법들을 활용해서 증명하기 위한 노력을 해야한다. 

시계열조사
- 실험설계에서 통제집단을 설정하기 곤란한 경우에 임의로 한 집단을 선택해서 개입 전과 개입 후에 정기적으로 관찰하여 개입 전후의 점수 또는 경향을 비교하는 조사형태, 시간연속조사
- 동일 간격과 동일 횟수의 측정이 필요. 안정된 기초선 확보를 위해서는 최소한 3회 이상의 충분한 관찰을 통하여 개입 이전에 종속변수의 일상적인 상태를 알 수 있어야 함.
- 3번의 사전조사 필수 
- 통제집단을 설정하지 않아서 시계열 조사는 조금 세모

복수 시계열조사
- 비동일통제집단전후비교조사의 확대형
- 역사적 사건을 통제할 수 없는 시계열조사의 단점을 보완해 비슷한 특성을 지닌 두 집단, 즉 실험집단과 통제집단을 구성하고, 실험집단에 대해서는 시계열조사와 같이 개입 전후에는 세번 이상씩 관찰하고, 통제집단에 대해서는 개입 없이 계속 관찰하여 종속변수의 상태를 비교하는 조사 설계

전실험설계
- 실험조사의 속성인 무선할당과 통제집단을 갖추지 못한 경우
- 인과관계 추정을 위한 구조를 갖추고 있지 못하므로 실험조사 결과의 신빙성이 대단히 낮음 
- 대안이 있다면 피해야 할 조사설계

단일집단전후 비교조사 
- 단일집단에 대해 개입 전에 사전검사를 실시하고 개입 후에 사후검사를 실시하여, 그 전후를 비교함으로써 개입의 효과를 측정하는 조사
- 시간적인 우선성과 비교의 기준이 존재한다는 점에서 개입에 의한 효과를 추정하는데 필요한 최소한의 조건을 갖추고 있음
- 단일사례조사의 AB조사와 유사하며, 무선할당이나 통제집단이 없는 경우에 종종 프로그램의 효과를 평가하는데 활용함. 

단일집단후 비교조사 
- 단일집단에 대해 개입을 실시한 후 관찰 조사하는 형태로서, 단 한번의 검사로 개입의 효과를 측정하기 때문에 사후검사의 결과를 비교해볼만한 다른 경험적 자료가 없음. 개입이 효과적이었는지에 대한 판단은 연구자의 주관적 판단에 의존하게 됨
- 사실상 실험설계X

비동일집단후비교조사 
- 단일집단전후비교조사나 단일집단후비교조사보다 발전된 형태, 무작위 배정되지 않은 두 집단 중 한 집단에는 개입을 하고 다른 한 집단에는 개입을 하지 않고, 두 집단에 사후검사를 하여 집단간 비교하는 방법
- 이 조사는 통제집단에 해당하는 비교집단을 두고 있으나 무작위 배정이나 배합이 이루어지지 않음. 

실험연구법을 쓸 때는 내가 사용할 실험 연구가 무엇인지 명확히 알아야 한다. 실험설계가 가지고 있는 장단점을 파악하고 단점을 보완하는 단점을 다른 방식으로 진술할 수 있는 다양한 자료들을 확보해서 실험연구를 실시해야 한다.