정책 평가 방법 실험

정책 평가 방법 실험 설명 및 기출 문제 글입니다. 비실험과 준실험, 진실험의 개념을 확실히 구분하고, 각 특징을 암기해야 합니다. 또한 자연실험과 사회실험의 개념도 알아야 하는데, 비실험과 준실험 진실험이 어디에 해당하는 지도 암기해야 합니다.

정책 평가 방법 실험 설명

정책 평가 방법 실험

문제 01번

01. 정책평가에서 내적 타당성에 대한 설명으로 옳지 않은 것은?

① 준실험설계보다 진실험설계를 사용할 때 내정 타당성의 저해요인이 다양하게 나타난다.

② 정책의 집행과 효과 사이에 존재하는 인과관계의 추론이 가능한 평가가 내적 타당성이 있는 평가이다.

③ 허위변수나 혼란변수를 배제할 수 있다면 내적 타당성을 높일 수 있다.

④ 선발요인이나 상실요인을 통제하기 위해서는 무작위배정이나 사전측정이 필요하다.

해설 보기

정답: ① 준실험설계보다 진실험설계를 사용할 때 내정 타당성의 저해요인이 적게 나타납니다.

문제 02번

02. 정책평가의 내적 타당성과 외적 타당성에 대한 설명으로 옳은 것은?

① 역사요인, 성숙요인, 회귀요인은 모두 외적 타당성 저해 요인이다.

② 준실험이 갖는 약점은 주로 외적 타당성보다는 내적 타당성에 관한 것이다.

③ 실험대상자들이 실험의 대상으로 자신들이 관찰되고 있다는 사실을 알게 되어 평소와는 다른 행동을 함으로써 발생하는 효과는 내적 타당성의 저해요인이다.

④ 정책집행과 정책효과 사이의 인과관계를 정확히 파악할 수 있는 평가는 외적 타당성을 갖추었다고 볼 수 있다.

해설 보기

정답: ② 준실험은 내적 타당성과 외적 타당성 모두 약점이지만, 그 중 내적 타당성이 더 큰 약점입니다. ① 역사요인, 성숙요인, 회귀요인은 내정 타당성 저해요인입니다. ③ 실험대상자들이 실험의 대상으로 자신들이 관찰되고 있다는 사실을 알게 되어 평소와는 다른 행동을 함으로써 발생하는 효과는 호손 효과이며, 외적 타당성 저해요인입니다. ④ 정책집행과 정책효과 사이의 인과관계를 정확히 파악할 수 있는 평가는 내적 타당성에 대한 설명입니다.

문제 03번

03. 정책평가에 대한 설명으로 가장 옳은 것은?

① 선발요인은 정책평가에서 내적 타당성을 저해하는 외재적 요소이다.

② 정책평가 결과를 일반화할 수 있는 정도를 통계적 결론의 타당성이라고 한다.

③ 평가의 신뢰성은 측정이나 절차가 그 효과를 얼마나 정확하게 평가하는가를 의미한다.

④ 정책평가를 위한 진실험 방법은 다른 방법에 비해 실행 가능성 문제가 심각하게 발생하지 않는다.

⑤ 두 사건 간에 시간적 선행성, 공동변화라는 두 가지 조건만 있으면 인과관계가 있는 것으로 인정된다.

해설 보기

정답: ① 선발요인은 내적 타당성을 저해하는 유일한 외재적 요소입니다. ② 정책평가 결과를 일반화할 수 있는 정도는 외재적 타당성입니다. ③ 평가의 타당성 ④ 진실험은 실행 가능성 문제가 심각하게 발생합니다. ⑤ 비허위적 관계도 충족되어야 인과관계가 있는 것으로 인정됩니다.

문제 04번

04. 진실험적 방법과 준실험적 방법에 대한 설명으로 옳지 않은 것은?

① 진실험적 방법은 실험집단과 통제집단의 동질성을 확보하여 행하는 실험이다.

② 실험집단과 통제집단을 서로 동질적인 것으로 구성하기 위해서는 대상들을 이들 두 집단에 무작위적으로 배정하지 말아야 한다.

③ 진실험 설계에서 실험집단과 통제집단은 관찰기간 동안에 동일한 시간과 관련된 과정을 경험해야 한다.

④ 준실험적 방법에는 비동질적 통제집단 설계, 사후측정 비교집단 설계 등이 있다.

해설 보기

정답: ② 실험집단과 통제집단을 서로 동질적인 것으로 구성하기 위해서는 무작위적 배정을 해야합니다.

문제 05번

05. 실험적 정책평가 방법에 대한 설명으로 옳지 않은 것은?

① 진실험적 평가방법은 무작위 배정에 의해 실험집단과 통제 집단의 동실성을 확보한다.

② 준실험적 평가방법은 진실험적 평가 방법에 비해 내적 타당도가 높다.

③ 준실험적 평가방법에서 외적 타당도의 문제 가운데 가장 전형적인 것이 크리밍효과이다.

④ 준실험적 평가방법은 복잡한 사회적 요인들이 작용하는 경우에 사용할 수 있다.

해설 보기

정답: ② 준실험적 평가방법은 진실험적 평가 바업에 비해 내적 타당도가 낮습니다.

문제 06번

06. 정책평가방법에 대한 설명으로 옳지 않은 것은?

① 진실험설계는 정책을 집행하는 실험집단과 집행하지 않는 통제집단을 구성하되, 두 집단이 동질적인 집단이 되도록 한다.

② 정책의 실험과정에서 실험대상자와 통제대상자들이 서로 접촉하는 경우에는 모방효과가 나타날 수 있다.

③ 준실험설계는 짝짓기(matching) 방법으로 실험집단과 통제집단을 구성하여 정책영향을 평가하거나, 시계열적인 방법으로 정책영향을 평가한다.

④ 준실험설계는 자연과학 실험과 같이 대상자들을 격리시켜 실험하기 때문에, 호손효과(Hawthorne effect)를 강화시킨다.

해설 보기

정답: ④ 준실험설계는 자연과학 실험과 같이 대상자들을 격리시키지도 않으며, 호손효과도 크게 나타나지 않습니다.

문제 07번

07. 정책평가에 대한 설명으로 옳은 것은?

① 정책평가를 통해 최선의 정책대안을 선택한다.

② 정책평가의 양적 기법으로는 참여관찰법, 심층면접법 등을 들 수 있다.

③ 정책평가의 목적은 정책결정과 집행에 필요한 정보제공 및 정책과정의 책임성 확보에 있다.

④ 정책평가 연구에서는 현실적 제약으로 인해 준실험적 방법보다는 진실험적 방법이 많이 사용된다.

해설 보기

정답: ③ ① 최선의 정책대안을 선택하는 것은 정책 분석입니다. ② 참여관찰법, 심층면접법은 질적 평가입니다. ④ 정책평가 연구에서는 진실험적 방법보다는 준실험적 방법이 많이 사용 됩니다.

문제 08번

08. 정책평가의 논리와 방법에 대한 설명으로 옳지 않은 것은?

① 내적타당성이란 다른 요인들이 작용한 효과를 제외하고 오로지 정책 때문에 발생한 순수한 효과를 정확히 추출해 내는 것과 관련되는 개념이다.

② 내적타당성을 위협하는 성숙요인이란 순전히 시간의 결과 때문에 발생하는 조사대상집단의 특성 변화를 말한다.

③ 진실험설계의 주요 형태 중 하나인 단일집단 사전사후 측정설계는 동일한 정책대상집단에 대한 사전측정과 사후측정을 통해 정책효과를 추정하는 방식이다.

④ 결과변수에 영향을 미친다고 생각되는 제3변수들을 식별하여 통계분석모형에 포함시킨 후 정책효과를 추정하는 것은 비실험적 설계의 한 예이다.

해설 보기

정답: ③ 단일집단 사전사후 측정설계는 대표적인 비실험입니다.

문제 09번

09. 진실험적 방법(true experiment)에 대한 설명으로 가장 적절하지 않은 것은?

① 무작위(random) 배정에 의한 인위적이고 통제된 설험이다.

② 실험집단과 통제집단의 동질성을 확보하여 행하는 실험이다.

③ 인위적 요소가 많지 않아 외적 타당성과 실험의 실현가능성이 높은 편이다.

④ 역사적 효과, 성숙효과, 선발효과의 영향이 줄어들어 내적 타당성이 높은 편이다.

해설 보기

정답: ③ 인위적 요소가 많아 외적 타당성과 실험의 실현가능성이 낮은 편이다.

문제 10번

10. 정책평가방법 중 자연실험(natural experiment)에 대한 설명으로 옳지 않은 것은?

① 자연실험은 준실험(quasi-experiment)이 아닌 진실험(true experiment)에 가까운 실험설계 방식이다.

② 자연실험에서는 사회실험에 비해 비용 문제나 윤리적 문제 때문에 어려움을 겪을 가능성이 적다.

③ 자연실험에서 실험 여건은 자연적인 충격(shock)뿐만 아니라 급격한 정책이나 제도변화에 의해서도 형성된다.

④ 독립변수와 종속변수가 서로 영향을 주고받는 동시적 관계에 있을 때 이를 통제하기 위한 수단으로 자연실험을 이용할 수 있다.

해설 보기

정답: ① 자연실험은 준실험에 가깝습니다.

문제 11번

11. 다음이 설명하는 연구방법은?

준실험설계방법 중에서 실험집단과 통제집단에 실험대상을 배정할 때 분명하게 알려진 자격기준(eligibility criterion)을 적용하는 방법으로, 투입자원이 희소하여 오직 대상집단의 일부에게만 희소자원이 공급될 수밖에 없는 경우에 정책효과를 파악하기 위한 연구에 적합하다.

① 비동질적 통제집단설계(non-quivalent control group design)

② 회귀-불연속설계(regression discountinuity design)

③ 단절적 시계열설계(interrupted time-series design)

④ 통제-시계열설계(control-series design)

해설 보기

정답: ② 자격기준(eligibility criterion)을 보고 회귀-불연속설계(regression discountinuity design)인 것을 바로 알아채야 합니다.

문제 12번

12. 정책평가를 위한 조사설계의 유형 중 진실험설계(true experimental design)에 해당하는 것은?

① 단절적 시계열설계(interrupted time-series design)

② 통제집단 사전사후측정설계(pretest-posttest control group design)

③ 비동질적 통제집단설계(non-equivalent control group design)

④ 단일집단 사전사후측정설계(one group retest-posttest design)

해설 보기

정답: ② 진실험은 통제집단 사전사후측정설계밖에 없습니다.

문제 13번

13. 다음 <보기>의 정책평가 내정 타당도 저해요인 중 무작위 배정이나 사전측정으로 통제될 수 있는 요인으로 옳게 조합된 것은?

<보기> 가. 성숙요인 나. 역사요인 다. 선발요인 라. 상실요인 마. 회귀요인 바. 검사요인

① 나 - 라

② 가 - 다

③ 다 - 라

④ 라 - 마

해설 보기

정답: ③ 라. 무작위배정(randomization)과 사전측정(pretesting)은 상실요인을 직접 예방하지는 않지만, 상실이 발생할 경우 그 영향을 완화하는 데 도움을 줄 수 있습니다.

문제 14번

14. 정책평가방법과 관련된 설명으로 옳은 것은?

① 정책평가의 신뢰성이 높으면 그 평가의 타당성이 높을 수 밖에 없다.

② 맥락평가, 투입평가, 과정평가, 산출평가로 구성된 CIPP모형은 정책의 사전 형성평가와 사후 총괄평가에 적용할 수 없다.

③ 진실험설계에 의한 정책영향평가과정에서 연구대상의 무작위 배정은 실험 집단과 통제 집단의 동질성을 확보함으로써 내적 타당성을 높일 수 있다.

④ 외적 타당성이 높은 정책평가는 허위·교란변수를 통제함으로써 어떤 정책과 효과 간에 실제로 높은 수준의 인과관계가 존재함을 입증한 평가를 의미한다.

해설 보기

정답: ③ ① 신뢰성은 타당성의 필요조건이 충분조건이 아닙니다. 따라서 신뢰성이 높다고 타당성이 높아지는 것은 아닙니다. ② CIPP모형은 정책의 사전 형성평가와 사후 총괄평가에 적용할 수 있습니다. ④ 허위·교란변수를 통제함으로써 어떤 정책과 효과 간에 실제로 높은 수준의 인과관계가 존재함을 입증은 내적 타당성과 관련된 내용입니다.

문제 15번

15. 실험설계에 대한 설명으로 옳지 않은 것은?

① 특정 정책의 효과성 판단을 위한 인과관계 입증에 활용될 수 있다.

② 진실험(true experiment)과 준실험(quasi-experiment)의 차이는 실험집단과 통제집단의 무작위배정에 의한 동질성 확보 여부이다.

③ 회귀-불연속 설계나 단절적 시계열 설계는 과거지향적(retrospective)인 성격을 갖는 진실험설계(true experiment)에 해당된다.

④ 짝짓기(matching)를 통하여 제3의 요인에 관하여 실험집단과 통제집단을 동등화시킬 수 있다.

해설 보기

정답: ③ 회귀-불연속 설계나 단절적 시계열 설계는 준실험설계입니다.

문제 16번

16. 사회실험에 대한 설명으로 옳은 것만을 모두 고르면?

ㄱ. 자연과학의 실험실 실험과는 달리 상황에 따라 통제집단(control group) 또는 비교집단(comparison group) 없이 진행할 수 있다. ㄴ. 진실험 방법을 활용하여 사회실험을 진행하면 호손효과(Hawthorne Effect)를 방지할 수 있다는 점이 가장 큰 장점이다. ㄷ. 아직 검증되지 않은 정책 프로그램에 대규모 투자를 하기 전에 그 결과를 미리 평가해 보는 것이 중요한 목적 중 하나이다. ㄹ. 실험 집단과 비교집단을 무작위 배정(random assignment)할 수 없어 집단 간 동질성 확보가 불가능하면, 준실험(quasi-experiment) 방법을 채택하여 진행할 수 있다.

① ㄱ, ㄴ

② ㄱ, ㄹ

③ ㄴ, ㄷ

④ ㄷ, ㄹ

해설 보기

정답: ㄱ. 통제집단(control group) 또는 비교집단(comparison group) 없이 진행할 수 없습니다. ㄴ. 진실험은 호손효과가 발생하는 단점이 있습니다.

문제 17번

17. 정책평가에 대한 설명으로 옳지 않은 것은?

① 양적 평가(계량평가)는 연역적 방법에 활용한다.

② 정적평가(비계량평가)는 연구자의 주관이 개입될 여지가 있다.

③ 진실험 평가는 실험집단과 통제집단의 동질성을 확보하여 측정하는 방법이다.

④ 준실험 평가는 실험집단과 통제집단을 무작위적으로 배정한다.

⑤ 비실험적 평가에서는 주로 통계적 통제에 의한 평가와 인과모형에 의한 방법 등이 활용된다.

해설 보기

정답: ④ 실험집단과 통제집단을 무작위적으로 배정하는 것은 진실험 평가입니다.

문제 18번

18. 정책을 평가하기 위한 양적 평가방법에 대한 설명으로 가장 옳지 않은 것은?

① 계량적 기법을 응용하여 수치화된 지표를 통해 정책의 결과를 측정한다.

② 정량평가라고도 하며 실험적 방법과 비실험적 방법 등이 해당한다.

③ 정책대안과 정책산출 및 영향 간에 어떠한 인과관계가 있는지를 분석한다.

④ 대부분 데이터 수집을 심층면담 및 참여관찰 등의 방법에 의존한다.

해설 보기

정답: ④ 심층면담 및 참여관찰 등의 방법에 의존하는 것은 질적 평가입니다.

문제 19번

19. 정책의 효과를 확인하기 위한 평가설게에 대한 설명으로 옳은 것만을 모두 고르면?

ㄱ. 동일 정책대상집단에 대해 정책집행을 기준으로 여러 번의 사전, 사후측정을 하여 정책효과를 추정하는 '단절적 시계열설계'는 준실험설계 유형 중 하나이다. ㄴ. 내적 타당성을 위협하는 역사요인은 정책집행 기간이 상대적으로 길고 정책대상이 사람일 때 주로 나타나며 시간의 경과 때문에 발생하는 조사대상 집단의 특성변화가 정책의 효과에 혼재되어 나타나는 경우를 말한다. ㄷ. 정책실험을 할 수 없는 경우, 통계분석 기법을 이용해서 정책효과의 인과관계를 추론하는 것을 비실험적 정책평가설계라고 하며 회귀분석이나 경로분석 등이 있다.

① ㄱ

② ㄱ, ㄷ

③ ㄴ, ㄷ

④ ㄱ, ㄴ, ㄷ

해설 보기

정답: ② ㄴ. 정책집행 기간이 상대적으로 길고 정책대상이 사람일 때 주로 나타나며 시간의 경과 때문에 발생하는 조사대상 집단의 특성변화가 정책의 효과에 혼재되어 나타나서 내적 타당도를 저해하는 요인은 성숙효과입니다.

문제 20번

20. 정책평가를 위한 사회실험에 대한 설명으로 옳지 않은 것은?

① 통제집단 사전·사후 설계는 검사효과를 통제할 수 있다.

② 준실험은 진실험에 비해 실행 가능성이 높다는 장점이 있다.

③ 회귀불연속 설계는 구분점(구간)에서 회귀직선의 불연속적 단절을 이용한다.

④ 솔로몬 4집단 설계는 통제집단 사전·사후 설계와 통제집단 사후 설계의 장점을 갖는다.

해설 보기

정답: ① 통제집단 사전·사후 설계에서는 검사효과를 통제할 수 없습니다.

행정학 이론