푸른비가 내리는 나라

자료의 출처 : http://blog.naver.com/kwanseol?Redirect=Log&logNo=20057231785

메타분석(meta analysis)란

의학분야 혹은 교육학, 사회복지학 등 사회과학에서 한정적 실험결과의 일관성(consistency)을 검증하기 위한 분석방법으로 과거의 실험결과치를 이용해 어떤 실험결과를 일반화하는 분석을 의미한다.

즉, 실험결과를 이용한 논문들은 대부분 제한된 샘플(통제 및 실험집단 크기) 하에서 이루어지기 때문에 이를 과학적 명제 혹은 일반화가 어려운 것이 현실이다. 그래서 과거 수십편의 논문에 나타난 실험결과를 통계적 분석 대상의 관찰치로 전환하여 실험결과의 일반화를 시키는 분석이다.

보다 다른 의미로 보면, 모집단(population)에 대한 실험결과를 과거 논문의 관찰치(observation)을 이용해 모집단의 결과로 추정하는 방법이다.

이를 예를 들어 설명해 보겠다.

가령 놀이치료의 효과를 측정하기 위해 과거 수십면의 동일 논문들의 결과를 통제, 실험집단의 결과 그리고 표준편차를 이용해 통계분석의 관찰치를

도출해 보자

논문1 : 통제집단 10명 효과 10, 표준편차 6

실험집단 9명 효과 12, 표준편차 5

논문2 : 통제집단 20명 효과 11, 표준편차 3

실험집단 10명 효과 9, 표준편차 6

.... 100여개 논문 .... 생략

그러면 관찰치는 어떻게 측정하나

일단 논문들의 효과크기가 실험수나 표준편차에 따라 상이하므로

이를 표준화시켜야 하는 문제가 발생한다.

이를 해결하기 위해 친절하게 Cohen이 표준화 효과크기를 계산하였다.

직관적으로 보면 표준화란 평균값에 그들의 표준편차를 나누면 된다.

Cohen 또한 그와 같은 과정을 적용해 두집단의 차와 이에 대한 표준편차의 추정값을 넣었다. 즉 표준편차의 추정값만 Cohen이 경험적(empirical)으로 도출한 것이다. 사실 통계학적 접근에서는 다양한 추정값이 도출될 수 있겠지만 말이다.

그 계수는 아래와 같다.

여기서 개별 수식의 의미는 아래와 같으며, 대부분의 치료 등의

실험이 작은 샘플로 밖에 되지 않기 때문에 그 만큼 보정을 한

C값을 최종적인 관측치(Observation)으로 해야 한다.

이와 같은 관측치가 나오면 우리는 일반적인 차이검증, 분산분석, 일반선형모형 등의 통계분석을 실시할 수 있다.

마지막 코멘트 - 국내 Meta analysis 논문의 50%이상은 잘못된 방법을 쓰고 있었다.

최근 통계상담이 있어 메타분석을 한 논문들을 보니, 역시 제한적인 상황에서 실험결과를 논문화하려다보니 상당히 오류가 발견되었다.

가장 중요한 것이 효과크기를 결정해야 하는데 효과란 실험집단의 사전사후 값의 변화와 통제집단의 사전사후값 변화의 차이가 효과이지 사전값 혹은 사후값 간의 차이는 적절한 가설이 아님에도 이와 같은 방법을 쓴 논문이 50%이상 이였다.

그리고 이와 같이 나왔다고 하더라도 통계분석의 관측치(Observation)이 되려면 최소한 동일한 시공간에서 나온 결과이여야 하나, 100여편의 논문을 메타분석에 참고하다보면 10년전 논문도 관측치화하는 문제가 발생한다. 10년전 논문의 실험이 아무리 잘 통제관리되더라도 시간이 흐르면서 통제 및 실험집단의 가치, 이성, 태도, 행위 등이 완전히 변했을 것인데 이를 동일하게 취급하는 것은 시계열분석(time series)분석을 해야하는데 이를 무시하고 단순 pooling하여 회귀분석을 실시하는 오류와 동일하다.

Hedges와 Olkin가 제시한 동질성 검증을 통해 논문들의 동질성 여부를 파악할 수 있 수 있다고 하지만 이 검증통계량을 보면, 논문의 실험집단수에 가중치를 두고 그것이 전체 평균효과크기에 어느 정도 변동성을 유발하느냐 정도를 가지고 판단하지 질적인 부분의 고려는 전혀 되지 않아 내가 문제제기한

부분은 여전히 숙제로 남는다. 즉 연구자가 과학적 엄밀성을 유지하고자하는 자세와 성의가 중요하겠다.

Hedge와 oklin의 Q통계량

아쉽다.

논문화는 어려운 과제이지만 학회지 혹은 학위 논문은 최소한의

신뢰와 학자적 양심이 있어야 되지 않나??????