타당성에 대한 관점
- 질적 연구에는 타당성의 중요성, 정의, 타당성을 기술하는 용어, 타당성을 확립하기 위한 절차 등에 많은 관점 존재.
- 이런 관점에는 양적인 관점에서 질적인 타당성을 검토하는 것, 양적인 용어와는 별개로 질적 용어를 사용하는 것, 포스트모던과 해석적 관점을 채택하는 것, 타당성을 중요하게 여기지 않는 것, 많은 관점을 조합하거나 합성하는 것, 은유적으로 타당성을 수정에 비유하여 시각화하는 것이 있음.
- 질적 연구자가 전통적인 의미로 '신뢰도와 타당도'라는 규범에 다가가는 것에 실패함으로써 과학적인 부류로부터 많은 비판을 들어왔음.
- 문화기술지 연구에 실험 연구의 내적 타당도 저해 요인 (역사와 성숙, 관찰자 효과, 선택과 회귀, 사망, 가식적 관계)를 적용.
- '연구의 비교 가능성과 변환 가능성을 저해하거나 감소시키는 효과'로서 외적 타당도 저해 요인도 확인됨.
- 어떤 저자들은 실증주의적 용어를 계속 사용하는 연구자들이 질적 연구가 양적인 세계로 수용되는 것을 조장한다고 주장.
- 자연주의적 연구를 더욱 고수하기 위해 다른 대안적 용어 사용.
- 연구의 진실성 trustworthiness 를 확보하기 위해, 내적 타당도 internal validity, 외적 타당도 external validity, 신뢰도 reliability, 객관성 objectivity 대신 신빙성 credibility, 확실성 authenticity, 이전가능성 transferability, 의존가능성 dependability, 확증가능성 confirmability 라는 용어 사용.
- 이러한 새로운 용어를 조작화하기 위해, 지속적인 현장 참여와 신빙성을 구축하기 위해 자료원, 방법, 연구자의 다원화 같은 기법이 있음.
- 연구 결과가 연구자나 연구 대상자 간에 공감되도록 하기 위해서는 상세한 기술이 필요.
- 어떤 연구자는 결과가 변화하고 불안정하기 쉽다는 의미에서 신뢰도보다 의존가능성을 추구.
- 자연주의적 연구자들은 자료의 가치를 구축하기 위해 객관성보다는 확증가능성을 추구.
- 의존가능성과 확증가능성 모두 연구 과정에서 감사 auditing함으로써 확보 가능.
- Eisner : 타당도라는 용어 사용 대신 질적 연구의 신빙성을 논의.
- 구조적 확증, 합의된 타당성, 참조의 적절성 등과 같은 기준을 만듦.
- 구조적 확증에서, 연구자는 해석을 지지하거나 부인하기 위해 복합적인 자료 유형 설명.
- 연구자가 '완전히 갖춰진 것'을 구성하기 위해 많은 증거들을 모음. 이 단계에서 연구자는 반복되는 행동이나 행위를 찾고 확인되지 않은 증거와 반대 해석을 고려.
- 신빙성을 증명하기 위해, 증거의 무게는 설득력이 있어야 함.
- 합의된 타당성 : 다른 사람의 의견을 구하는 것. 기술, 해석, 평가, 교육 상황의 주제가 옳다는 것이 자격 있고 유능한 다른 사람들 사이에서 동의되는 것.
- 참조의 적절성 : 비판이 중요함을 제기. 비판의 목적에 대해 주관적인 문제를 제거하고 사람들에게 더욱 복합적이고 민감한 지각과 이해를 가져오는 것.
- 질적 연구에서 연구자와 참여자가 잘 기술한 '결과'들의 '정확성' 정도를 파악하려는 시도가 '타당성'. 이러한 관점은 어떤 연구 보고서도 저자가 제시하는 것이라는 것을 이야기함.
- 타당성은 질적 연구의 차별적 강점. 현장에서 오랜 시간 보내면서 만들어진 연구물, 구체적이고 풍부한 기술, 연구참여자에 대한 연구자의 친밀성 모두 연구의 가치나 정확성을 더함.
- '타당성'이라는 용어는 '확증(양적인 의미)'이나 '진실성'과 '확실성'과 같은 역사적 용어가 아니라, 과정을 강조하기 위해 사용. 질적인 타당성에는 많은 유형이 있고, 저자들은 자신에게 편안한 유형의 용어를 선택할 필요가 있음.
- 타당성이라는 주제는 질적 연구의 여러 가지 접근 방법에서 발생하나, 질적 연구의 다섯 가지 접근마다 차별적인 타당성 방법이 있지는 않음.
- 질적 연구에 있어 타당성을 위해 연구자는 연구의 '정확성'을 문서화하기 위해 수용된 전략을 사용해야 함.
타당성 전략
- 현장에서 지속적인 참여와 끊임없는 관찰은 참여자들과의 신뢰를 형성하고 문화를 배우며, 연구자 또는 정보제공자의 왜곡으로 인한 잘못된 정보를 점검하는 것을 포함.
- 현장에서 연구자는 연구의 목적과 관련해 연구에서 어떤 것을 생동감 있게 나타내고, 관심사 중 어디에 초점을 둘 것인지 등에 대해 결정해야 함.
- 다원화를 통해 연구자는 복합적이고 다양한 자료원, 방법, 연구자와 이론을 이용해 확실한 증거를 확보해야 함.
- 전형적으로, 이 과정은 주제와 관점을 설명하기 위해 다양한 자료원으로부터 증거를 확인하는 것을 포함.
- 동료 검토 또는 보고는 양적 연구에서의 평정자 간 신뢰도 interrater reliability 와 같은 의도에서 연구 과정에 대해 외부의 점검을 가능하게 함.
- 방법, 의미, 해석에 대해 어려운 질문을 하고, 연구자의 감정에 공감하면서 귀 기울여 듣고 카타르시스의 기회 제공.
- 이러한 점검을 하는 사람은 동료나 동료와 연구자 모두일 수 있고, 연구자는 동료 보고회라고 불리는 모임의 내용을 기록.
- 부적인 사례분석의 경우, 연구자는 부정적인 증거나 확인되지 않은 증거의 관점에서 연구를 진행하면서 작업가설을 다듬음.
- 연구자는 자료분석 마지막 즈음에 이 과정을 마치고, 모든 극단치와 예외적 상황을 제거함으로써 모든 사례에 적합할 때까지 초기 가설 수정.
- 독자들로 하여금 연구자의 위치, 연구에 영향을 주는 어떤 편견이나 가정을 이해하도록 하기 위해 연구의 초기부터 연구자는 편견을 명확히 하는 것이 중요.
- 이것을 명확히 하기 위해, 연구자는 연구에 접근하고 해석을 형성하는 것에 도움을 줄 수 있는 과거 경험, 편견, 선입관, 지향 등에 대해 언급.
- 참여자 확인에서 연구자는 결과와 해석에 대한 참여자의 견해 요첨.
- 대부분의 질적 연구에서 광범위하게 기록되는 이 접근은 참옂자들에게 되돌아가 자료를 구하고, 분석하고, 해석하고, 결론을 내림으로써 그들의 이야기의 정확성과 신빙성을 판단할 수 있도록 함.
- 연구자는 연구참여자들이 '중요한 관찰 또는 해석'에 대해 대안적인 표현을 제공하고 연구자의 연구 작업 초안을 검토해줄 것을 요청해야 함.
- 저자는 연구에서 참여자와 세팅에 대해 상세히 기술하고 있기 때문에, 풍부하고 상세한 기술은 독자들이 전이가능성에 대한 결정을 내릴 수 있도록 함.
- 이러한 상세한 기술을 통해, 연구자는 독자들로 하여금 정보를 다른 세팅에 옮길 수 있도록 하고 연구 결과가 '공유된 특성들 때문에' 옮겨질 수 있을지 결정할 수 있도록 함.
- 외부 감사는 외부의 자문가와 감시자들이 이 연구의 과정과 결과에 대해 감사하고 저확성을 평가하도록 함.
- 이 감사자들은 연구와 아무런 관련이 없어야 함.
- 연구 결과를 평가함에 있어, 감사자들은 연구 결과, 해석, 결론이 이 자료에 의해 지지되고 있는지 여부 평가.
신뢰도에 대한관점
- 신뢰도는 질적 연구에서 다양한 방식으로 확보 가능.
- 녹음을 잘 하고, 녹음된 것을 녹취함으로써 자세한 현장기록을 남길 수 있다면 신뢰도는 향상될 수 있음.
- 질적 연구에서 신뢰도는 데이터에 대한 다양한 코딩 담당자의 반응이 안정적이어야 한다는 것으로 간주됨.
- 코딩 담당자 간 합의 점검을 실제로 구성하는 절차에 대한 논의는 문헌에서 많이 간과되어 왔음.
- 핵심 이슈 중 하나는 정확하게 합의된 코딩이 무엇이고, 코딩명, 코딩된 문단, 동일한 방식으로 코딩된 동일한 문단에 대해 합의를 구했는지 여부를 결정하는 것.
- 코드, 주데 또는 코드와 주제 둘 다에 기초한 합의를 구했는지 결정하는 것이 필요.