타당도

타당도 설명 및 기출 문제 글입니다. 정책으로 인한 효과가 발생했다는 인과관계가 검증되기 위해서는 타당도와 신뢰되가 높아야합니다. 이번 글은 타당도 개념과 타당도의 저해요인에 대해 설명해드리고, 기출 문제를 살펴보겠습니다.

타당도 설명

타당도 O/X 문제

O/X 01번

01. 다음 진술이 참인지 거짓인지 선택하세요.

구성적 타당성은 정책결과의 측정을 위해 충분히 정밀한 연구설계가 이루어졌는지를 의미한다.

① O

② X

해설 보기

정답: ② X 통계적 결론의 타당도

O/X 02번

02. 다음 진술이 참인지 거짓인지 선택하세요.

외적 타당성은 정책효과가 오직 정책에 기인한 것인지를 의미한다.

① O

② X

해설 보기

정답: ② X 내적 타당도

타당도 기출 문제

문제 01번

01. 정책평가에 대한 설명으로 옳지 않은 것은?

① 형성평가(formative evaluation)는 정책집행과정에서 나타난 문제점을 해결함으로써 집행전략이나 집행설계를 수정·보완하는데 도움을 준다.

② 인과관계 추론의 조건으로 연관성(association), 시간적 선후성(time order), 비허위성(non-spuriousness)을 들 수 있다.

③ 메타분석(meta analysis)은 경험적 연구 뿐만 아니라 이론적 연구에도 다양하게 적용할 수 있는 장점이 있다.

④ 크리밍효과는 어떤 요인이 내적 타당성과 외적 타당성을 모두 저해할 수 있다는 것을 보여 준다.

해설 보기

정답: ③ 메타분석은 경험적 연구에만 적용 가능합니다. 메타분석(meta analysis)은 경험적 연구

문제 02번

02. Cook과 Campbell이 분류한 정책타당도에 대한 설명으로 옳지 않은 것은?

① 내적 타당도는 정책수단과 정책효과 사이의 인과관계를 파악할 수 있게 한다.

② 외적 타당도는 정책이 다른 상황에서도 실험에서 발견된 효과들이 그대로 나타날 수 있는가이다.

③ 구성타당도(개념적 타당도)란 처리, 결과,상황 등에 대한 이론적 구성요소들이 성공적으로 조작화된 정도를 말한다.

④ 결론타당도(통계적 타당도)란 정책실시와 영향의 관계에서 정확도를 의미한다.

⑤ 크리밍(creaming) 효과, 호오손(Hawthorne) 효과는 내적 타당도를 저해하는 요인이다.

해설 보기

정답: ⑤ 크리밍(creaming) 효과, 호오손(Hawthorne) 효과는 외적 타당도를 저하시키는 요인입니다,

문제 03번

03. 정책평가에 있어서 조건이 양호한 집단을 대상으로 정책수단을 실시한 후 그 결과가 좋게 나타난 정책 수단을 다른 상황에 적응하려고 하는 경우에 나타나는 외적 타당성의 문제는?

① 크리밍효과(creaming effect)

② 성숙효과(maturation effect)

③ 허위상관(spurious correlation)

④ 호손효과(Hawthorne effect)

문제 04번

04. 정책평가과정에서 효과가 크게 나타날 사람들만을 의도적으로 실험 집단에 포함시킴으로써 실제보다 정책의 효과가 과대평가되는 경우를 설명하는 개념은?

① 선정효과

② 회귀효과

③ 오염효과

④ 크리밍 효과

문제 05번

05. 정책평가에서 내적 타당성의 저행 요인으로 옳지 않은 것은?

① 선발 요인

② 회귀인공 요인

③ 성숙 요인

④ 호손효과 요인

⑤ 측정수단 요인

해설 보기

정답: ④ 외적 타당도 저해요인 4가지(표본의 대표성 부족, 호돈효과, 크리밍 효과, 다수적 처리에 의한 간섭)를 외우고, 그 4가지를 제외한 것은 모두 내적타당도 저해요인으로 보세요.

문제 06번

06. 정책평가의 내적 타당성을 위협하는 요인으로 볼 수 없는 것은?

① 선발요소

② 역사요소

③ 성숙효과

④ 다수적 처리에 의한 간섭

문제 07번

07. 다음 내용에서 정책평가의 내적 타당성을 위협하는 요인은?

정부는 혼잡통행료 제도의 효과를 측정하기 위해 혼잡 통행료 실시 이전과 실시 후의 도심의 교통 흐름도를 측정, 비교하였다. 그런데 두 측정시점 사이에 유류가격이 급등하는 상황이 발생하였다.

① 상실요인(mortality)

② 회귀요인(regression)

③ 역사요인(history)

④ 검사요인(testing)

해설 보기

정답: ③ 역사요인(history)은 실험기간 동안에 외부에서 일어난 역사적 사건이 실험에 영향을 미치는 것을 의미합니다. 실험기간 동안 유류가격이 급등하는 사건이 실험에 영향을 미쳤으므로 역사요인으로 볼 수 있습니다.

문제 08번

08. 정책평가에서 다음에 해당하는 내적타당도 저해요인은?

지방정부 A시는 최근 일정 나이의 청년들에게 월마다 일정 금액을 지급하는 청년소득 정책을 실시하였다. 청년소득 지급이 청년들의 고용에 어떤 영향을 미치는지 알아보기 위해, 청년 소득 정책 실시 전후 대상자들의 고용현황을 측정하고 비교해서 그 차이를 청년소득의 효과라고 해석하려고 한다. 그런데 두 측정시점 사이에 경기불황이라는 상황이 발생하였다.

① 호손효과

② 감사요인

③ 역사적 요인

④ 회귀인공요인

문제 09번

09. 정책평가에 관한 다음의 설명 중 옳은 것은?

① 구성적 타당성은 정책결과의 측정을 위해 충분히 정밀한 연구설계가 이루어졌는지를 의미한다..

② 외적 타당성은 정책효과가 오직 정책에 기인한 것인지를 의미한다.

③ 질적 평가는 주로 연역적 방법을 활용한다.

④ 프로그램 논리모형은 평가의 타당성을 제고한다.

해설 보기

정답: ④ ① 통계적 결론 타당도 ② 내적 타당도 ③ 질적 평가는 주로 귀납적 방법을 활용합니다.

문제 10번

10. 정책평가의 내적타당도 저해요인에 대한 설명으로 옳지 않은 것은?

① 사건효과는 실험기간 동안에 일어나 역사적 사건이 실험에 영향을 미치는 것을 의미한다.

② 성숙(성장)효과는 실험기간 중 실험집단의 특성이 변화함으로써 결과에 영향을 미치는 것을 의미한다.

③ 시험효과는 측정자와 측정방법이 달라짐으로써 측정결과에 영향을 미치는 것을 의미한다.

④ 통계적 회귀는 실헙집단으로 선정된 집단이 잘못 선정되어 측정하고자 하는 결과변수의 수준이 지나치게 높거나 낮았다가 다음 측정에서는 평균치로 향하는 것을 의미한다.

해설 보기

정답: ③ 측정자와 측정방법이 달라짐으로써 측정결과에 영향을 미치는 것을 의미하는 것은 측정도구의 변화입니다. 시험효과는 사전측정이 사후측정값에 영향을 주는 검사요인입니다.

문제 11번

11. 정책실험에서 내적 타당성을 위협하는 요인 중 다음 설명에 해당하는 것은?

사전측정을 경험한 실험 대상자들이 측정 내용에 대해 친숙해지거나 학습 효과를 얻음으로써 사후측정 때 실험집단의 측정 값에 영향을 주는 효과이며, '눈에 띄지 않는 관찰'방법 등으로 통제할 수 있다.

① 검사요인

② 선발요인

③ 상실요인

④ 역사요인

문제 12번

12. 정책평가의 내적 타당성 저해요인에 대한 설명 중 옳지 않은 것은?

① 역사요인(history): 시간의 흐름에 따라 자연스럽게 나타나는 실험 전과 실험 후 상태의 차이를 정책효과로 잘못 평가하는 경우에 발생한다.

② 회귀요인(regression artifact): 실험집단의 구성에 있어 극단치가 포함되는 경우 그 효과는 재실험을 통해 감소되는 경향을 보인다.

③ 도구요인(instrumentation): 실험집단과 비교집단의 측정수단을 달리하거나, 정책 실시 전과 실시 후의 정책효과 측정수단이 다른 경우에 발생한다.

④ 상실요인(mortality): 정책집행기간 중 대상 집단의 일부가 탈락해서, 남아 있는 대상이 처음과 다른 경우에 발생한다.

해설 보기

정답: ① 시간의 흐름에 따라 자연스럽게 나타나는 실험 전과 실험 후 상태의 차이를 정책효과로 잘못 평가하는 경우에 발생하는 것은 성숙효과(maturation effect)에 해당합니다.

문제 13번

13. 정책평가에서 내적 타당성에 대한 설명으로 옳지 않은 것은?

① 역사요인은 외부환경에서 발생하여 사전 및 사후 측정 값이 달라지게 만드는 어떤 사건을 말한다.

② 성숙효과는 실험대상자들이 사전측정의 내용에 대해 친숙하게 되어 사후 측정값이 달라지는 것이다.

③ 상실요인은 정책집행 기간에 대상자 일부가 이탈하여 사전 및 사후 측정값이 달라지는 것과 관련이 있다.

④ 선발요인은 실험집단 및 통제집단에 대한 무작위 배정과 사정측정을 통해 어느 정도 통제할 수 있다.

해설 보기

정답: ② 실험대상자들이 사전측정의 내용에 대해 친숙하게 되어 사후 측정값이 달라지는 것은 측정요소(testing)입니다.

문제 14번

14. 정책평가와 관련하여 실험결과의 외적 타당성을 저해하는 요인으로 옳지 않은 것은?

① 연구자의 측정기준이나 측정도구가 변화하는 경우

② 표본으로 선택된 집단의 대표성이 약할 경우

③ 실험집단 구성원 자신이 실험대상임을 인지하고 평소와 다른 특별한 반응을 보일 경우

④ 실험의 효과가 크게 나타날 것으로 예상되는 집단만을 의도적으로 실험집단에 배정하는 경우

해설 보기

정답: ① 연구자의 측정기준이나 측정도구가 변화하는 것은 측정도구의 변화로 내적타당도 저해 요인입니다. 역사요인, 성숙요인, 회귀요인은 내적 타당성 저해요인입니다. ② 표본의 대표성 부족 ③ 호돈효과 ④ 크리밍효과

문제 15번

15. 다음 중 정책평가의 외적 타당성 저해요인으로 옳은 것은?

① 선발 요소, 성숙 효과

② 호손 효과, 성숙 효과

③ 크리밍 효과, 호손 효과

④ 역사 효과, 크리밍 효과

해설 보기

정답: ③

문제 16번

16. 정책평가의 외적 타당성의 저해요인을 설명하고 있는 것을 모두 고르면?

ㄱ. 사전 측정(pre-test)이 실험 처리에 대한 피조사자의 감각에 영향을 줄 수 있으므로 그에 따라 얻는 결과를 모집단에 일반화하면 편의(bias)가 발생할 수 있다. ㄴ. 일정한 연령층을 대상으로 선정한 실험 집단과 통제집단으로부터 얻은 평가결과는 다른 연령층에 그대로 적용되지 않을 수 있다. ㄷ. 인위적인 실험환경에서 얻은 정책평가결과는 실제 사회 현실에의 적용 가능성에 다소 의문이 있을 수 있다. ㄹ. 동일집단에 여러 번의 실험적 처리를 할 경우 실험 처리에 어느 정도 익숙해짐으로써 얻은 결과는 그렇지 않은 경우와 동일한 결과를 얻는다는 보장을 할 수 없다. ㅁ. 실험집단과 통제집단이 무작위로 배정된 구성원이 각 집단으로부터 상실되어 나머지 구성원만으로 처리효과를 추정한다면 그 결과가 왜곡될 가능성이 있다.

① ㄱ, ㄴ

② ㄱ, ㄴ, ㄷ

③ ㄱ, ㄴ, ㄷ, ㄹ

④ ㄱ, ㄴ, ㄷ, ㄹ, ㅁ

해설 보기

정답: ③ ㅁ. 상실요인: 내적타당도 저해 요인

문제 17번

17. 정책평가에서 내적타당성을 저해하는 요소 중 내재적 요소가 아닌 것은?

① 역사적 요소

② 성숙 효과

③ 선발요소

④ 측정요소

해설 보기

정답: ③ 내저적요인은 실험이 진행되는 동안 발생하는 것이고, 외재적 요인은 집단 구성시 발생하는 요인입니다. 내적타당도를 저해하는 요인 중 외재적 요인은 선발요소만 해당합니다.

문제 18번

18. 내적타당성의 위협요인에 대한 설명을 바르게 연결한 것은?

ㄱ. 실험(testing)효과 ㄴ. 회귀(regression)효과 ㄷ. 성숙(maturation)효과 ㄹ. 역사(history)효과

A. 순전히 시간의 경과 때문에 발생하는 조사대상 집단의 특성변화가 나타나는 경우 B. 정책 및 프로그램의 실시 전후 유사한 검사를 반복하는 경우에 시험에 친숙도가 높아져 측정값에 영향을 미치는 경우 C. 특정 프로그램처리가 집행될 즈음에 발생한 다른 어떤 외부적 사건 때문에 나타난 효과 D. 극단적인 점수를 얻은 실험대상들이 시간이 흐름에 따라 덜 극단적인 상태로 표류하게 되는 경향

① ㄱ: B / ㄴ: A / ㄷ: D / ㄹ: C

② ㄱ: B / ㄴ: D / ㄷ: A / ㄹ: C

③ ㄱ: D / ㄴ: C / ㄷ: B / ㄹ: A

④ ㄱ: D / ㄴ: C / ㄷ: A / ㄹ: B

행정학 이론