해석 편향
데이터 분석
- 관심을 갖는 표적 변인에서 문화 간 차이를 검증할 때 연구자들은 흔히 카이제곱이나 변량분석 같은 추론 통계를 사용하며, 영가설 유의도 검증.
- 이러한 통계는 집단 간에 관찰된 차이를 우연에만 근거해서 정상적으로 기대할 수 있는 차이와 비교한 후 결과가 단지 우연에 의해 얻어졌을 확률 계산.
- 확률이 5% 이하로 매우 낮다면 그 결과는 우연히 발생한 것이 아니라고 추론.
- 결과는 표본을 추출한 문화 집단 간에 존재하는 실제 차이를 반영한다고 추론.
- 영가설의 부정을 통한 증명은 가설검증과 통계 추론에 기저하는 논리의 핵심.
- 과거, 연구자들은 통계적으로 유의한 결과만을 취해서 마치 비교하는 집단의 모든 구성원들에게 실제적으로 의미심장한 것처럼 해석하는 데 급급했음.
- 연구자들은 흔히 집단에 속한 대부분의 사람들이 평균값에 해당하는 방식에서 차이를 보인다고 가정했음.
- 예를 들어, 정서 표현에서 미국인이 일본인보다 통계적으로 유의하게 높은 점수를 나타내는 방식으로 미국인과 일본인 간에 통계적으로 유의한 차이를 찾게 되면, 모든 미국인이 모든 일본인보다 더 표현적이라고 결론내리기 십상.
- 그러나 집단 평균 간의 차이가 통계적으로 유의하다는 사실 자체가 집단 간 차이의 현실적 의미의 정도를 나타내는 것은 아님.
- 두 집단을 구성하고 있는 개인 점수들 간에 상당한 중첩이 있는 경우조차도 집단 평균은 통계적으로 차이를 보일 수 있음.
- 통계적으로 유의한 결과에 근거해 번지르르하고 포괄적인 진술을 해대는 경향성은 해석에서 통계적 유의성과 고정관념에 대한 편협성이 조장하는 실수를 저지르는 것.
- 평균에서의 차이가 개인들 간에 의미 있는 차이를 반영하는 정도를 결정하는 것에 도움을 주는 통계절차들이 존재.
- 이러한 통계치들을 효과크기 통제치라 함.
- 연구자와 독자들이 집단 간 문화 차이가 실제로 검증하는 개인들 간의 차이를 반영하는 정도를 이해하도록 도와주며, 집단 간 차이 결과에 근거한 고정관념적 해석에서 벗어날 수 있게 도와주는 다양한 유형의 통계치들이 존재.
비등가적 데이터의 처리
- 비교문화 연구는 흔히 복잡하게 얽혀있으며 본질적이고 필연적으로 비등가적이기 쉬움.
- 개념적이면서 동시에 경험적으로 모든 문화에서 정확하게 동일한 것을 의미하는 비교연구 문화를 수행하는 것은 거의 불가능.
- 비교문화 연구자들은 흔히 최종적으로 갖게 되는 것은 이론과 방법의 측면에서 등가성에 매우 근접한 것.
- 이로 인해 연구자들은 비등가적 데이터 처리 문제에 직면.
- 푸르팅가 : 비교문화 데이터의 비등가성 문제에 대처하는 방법 네 가지 개관.
01. 비교하지 않기 : 연구자가 할 수 있는 가장 보수적인 방법은 비교하지 않고, 비교는 무의미한 것이라 결론내리는 것.
02. 데이터에서 비등가성 감소시키기 : 많은 연구자들은 자신의 방법에서 등가적 부분과 비등가적 부분을 확인하는 단계를 거친 후, 등가적 부분에만 비교의 초점을 맞춤. 만약 연구자가 두 문화에서 불안을 측정하는 20문항의 척도를 사용하고 척도에서 비등가성의 증거를 찾게 되었다면 각 문항의 등가성을 살펴보고 등가적인 거승로 보이는 문항들만 사용해 다시 채점 가능. 그 후 재채점한 문항들만 비교.
03. 비등가성 해석 : 연구자가 비등가성을 문화 차이에 관한 중요한 정보로 해석하는 것.
04. 비등가성 무시 : 많은 비교문화 연구자들은 결국 지지하는 증거가 없음에도 문화에 걸친 척도 불변성에 관한 신념에만 매달려 문제를 무시해버림.
- 비등가성이 존재할 경우 연구자가 자기 데이터를 어떻게 해석할지는 연구자의 경험과 편향, 데이터와 결과의 본질에 달려 있음.
- 많은 비교문화 연구에서 등가성이 결여되어 있기 때문에 연구자들은 자기 결과 해석에서 많은 회색 지대와 직면하게 됨.
- 문화 자체는 복잡한 현상.
- 이러한 회색 지대에 대처하면서 데이터가 정당화시켜주는 타당하고 신뢰할 수 있는 해석을 만들어내는 것은 바로 객관적이며 경험이 풍부한 연구자.
- 그리고 한 걸음 물러나서 데이터와 비교하며 그 해석들을 스스로 판단해 연구자의 주장에 부당하게 휘둘리지 않은 것은 바로 연구의 소비자들 몫.
결과 해석
- 연구자는 자신의 결과를 해석하는 방식도 편향시킬 수 있음.
- 대부분의 연구자들은 필연적으로 자신이 획득한 데이터를 자신의 문화라는 필터를 통해 해석하며, 이러한 편향이 다양한 정도로 해석에 영향끼칠 수 있음.
- 연구자들은 오랫동안 정서성에 있어 미국 문화와 일본 문화 간 차이를 일본인들이 정서를 억압하는 지표로 해석. 그러나 후속 연구들은 일본인이 억압하는 것이 아니라 미국인이 정서반응을 과장하는 것이라는 증거 제공. 따라서 미국 연구자들의 해석은 미국 데이터를 암묵적으로 '진정한' 반응으로, 그리고 미국 이외 지역의 데이터를 무엇인가 차이나는 것으로 간주함으로써 편향되었던 것.
- 비교문화 가설검증 연구에서는 흔히 문화 집단을 연구 설계와 데이터 분석에서 독립변인으로 취급해 일종의 준실험 형식을 취하게 만듦.
- 이러한 연구의 데이터는 근본적으로 상관적인 것이며, 여기서 도출한 추론은 단지 상관 추론에 불과. 인과 추론은 보장할 수 없음.
- 그러한 인과 진술이 정당화되려면, 연구자는 실험조건(문화집단)들을 생성하고, 사람들을 각 조건에 무선적으로 할당할 수 있어야만 함.
- 일차 변인 중 하나가 문화집단인 연구에서는 이러한 실험조건 적용 불가.
- 문화 구성원 여부와 관심사인 변인 간의 인과 관계를 상정하는 것은 성, 머리 색깔, 신장에 근거해 그러한 관계를 상정하는 것 못지 않게 무의미.
- 이와 관련된 잘못된 해석은 연구에서 특정한 원인을 결코 측정하지 않았음에도 불구하고 문화 간 차이가 발생한 구체적 이유를 제안하는 것.
- 문화 귀인 오류 : 연구자가 집단 간 차이가 문화적인 것이라는 경험적 증거를 갖고 있지 않음에도 그렇다고 주장할 때 발생.
- 연구자가 자신의 연구에서 실제로 개인주의와 집단주의를 측정하고 두 문화가 이 차원에서 차이가 있었으며 이 결과가 사회적 판단에서의 문화집단 간 차이를 설명한다는 사실을 보여주지 않는 한에 있어, 이 구성체가 집단 간 차이의 원인이라고 해석하는 것을 보장할 수는 없음.