이 논문은 한국어 능력 시험(TOPIK：Test of Proficiency in Korean)의 평가 문항이 한국어 학습자의 숙달도를 평가함에 있어서 어느 정도의 내용타당도를 지니는가를 분석하였다. 이 논문에서는 의사소통 상황에서 한국어가 실제 사용되는 것을 통하여 한국어 사용 능력을 평가한다는 측면에서 한국어 능력 시험의 전체 평가 영역 중 ``어휘·문법`` 영역을 제외하고 ``쓰기``, ``듣기``, ``읽기`` 세 영역에 대한 내용타당도를 살펴보았다. 또 문항의 내용타당도를 분석하기 위한 범주를 한국어 능력 시험의 요강에 제시되어 있는 평가 기준을 준거로, 기능, 맥락, 내용, 텍스트 형태 등으로 설정하였다. 그 결과, 이들 네 범주에 대하여 평가 기준에 제시되었던 것이 각 영역별로 평가 문항에 제대로 반영되지 않았음을 확인할 수 있었다. 따라서 한국어 능력 시험의 평가 문항이 이 평가를 주관하는 기관에서 측정하고자 제시하였던 평가 기준에 대하여 대표성을 띤다고 보기 어렵다. 이같이 한국어 능력 시험의 평가 문항이 내용타당도가 높지 않은 원인으로 다음 두 가지를 생각할 수 있다. 첫째, 평가 문항을 작성할 때 출제자가 평가 기준을 충분히 고려하지 않았다는 것이다. 둘째, 한국어 능력 시험의 평가 기준에 설정된 내용이 타당하지 않을 수 있다는 것이다. 어떤 평가 도구가 신뢰도 실용도, 난이도 등에 문제가 없다 하더라도 내용타당도가 낮다면 그 평가 도구는 재고되어야 한다. 한국어 능력 평가가 공인된 평가도구로서 내용타당도를 높이기 위해서는 위 두 가능성 모두를 열어두고 이들 문제점을 개선할 수 있는 연구가 필요하다.

This work analyzed the contents validity of the questionnaires of Test of Proficiency in Korean(TOPIK) for assessing the proficiency of the Korean learners. This article evaluated three parts of TOPIK-which are writing, listening, and reading-vocabulary and grammar excluded, on the premise that Korean proficiency is evaluated through actual usage of Korean in the communicative situation. We picked up four categoriesfunction, context, contents and text form-for analyzing the contents validity, based on the assessment criteria presented at syllabus for TOPIK. In result, it was shown that the assessment criteria was not reflected by the questionnaires for each category. Therefore, it is not likely that the questionnaires for TOPIK are representative of the assessment criteria presented by the institute in charge of the test. Two possible explanations exists for reasons why the questionnaires lack the contents validity. First, the provider of the questionnaire did not take account of the assessment criteria. Second, the assessment criteria, per se, are not appropriate in validity. If an assessment tool lacks contents validity, although it fulfills credibility, practicality and difficulty, then it should be reconsidered as a proper assessment tool. In order that the TOPIK could enhance the contents validity as an official assessment tool, a research is warranted for solving above issues with an open mind to those two possibilities.