본문 바로가기
HOME> 논문 > 논문 검색상세

논문 상세정보

사무영어 평가의 문항유형과 난이도에 관한 연구 - 자격시험 사례를 중심으로
A study on item type and item difficulty: A case of qualifying exam for Business English

전지현  
  • 초록

    국내에서 비즈니스 영어에 대한 관심이 증대되어 가고 있으나 비즈니스 영어 평가에 대한 연구는 상대적으로 매우 부족하다. 본 연구는 A기관***에서 실시하는 공인 자격시험을 사례로 문항을 분석하여 문항의 유형을 분류하고, 파악된 문항의 특성에 따라 난이도에 차이가 있는 지 파악하는 탐색적 연구로 향후 자격시험의 문항개발 시 고려되어야 할 사항을 제안하는 것을 목적으로 한다. 먼저 2006년도, 2007년도 2년간 출제된 문항(120 문항 -고급40문항, 중급 40문항, 초급 40문항)의 특성을 내용 분석하여 문항의 유형을 구분하였다. 먼저 문항을 형태적인 특징으로 단어 수 혹은 줄 수로 표현된 문항의 길이, 제시문 당 문항 수, 질문에 사용된 언어, 선택지에 사용된 언어로 구분하였고, 내용적 특징에 따라 제시문의 유형, 요구되는 응답의 유형으로 분류하였다. 각 문항의 제시문과 질문 그리고 선택지를 포함한 길이를 산출하였고, 제시문 당 문항 수를 파악하였다. 질문이나 선택지에 사용된 언어는 한국어와 영어로 구분하였고, 제시문의 유형은 제시문이 없는 경우, 제시문이 대화문인 경우, 제시문이 담화문이 경우로 구분하였으며, 요구되는 응답의 유형은 구문적이거나 형태적인 것에 관련된 응답, 의미적이거나 용어에 관련된 응답, 내용파악에 관련된 응답으로 구분하였다. 문항별 난이도는 2년간 A,B 유형으로 응시한 5190명의 시험결과에서 산출할 수 있었다. 문항의 특성과 난이도가 실시 연도에 따라 차이가 있는 지 파악하기 위하여 (필요한 경우 Bonferroni 사후 분석과 함께)독립표본 T검정, 분산분석, 교차분석을 실시하였다. 연구결과, 2005년도와 2006년도의 문항에서 문항의 길이, 제시문 당 문항 수, 질문에 사용된 언어, 제시문의 유형에 유의미한 차이가 발견되었다. 또한 제시문 당 문항 수, 제시문의 유형, 응답의 유형에 따라 난이도에 유의미한 차이를 발견할 수 있었다. 향후 문항개발시 본 연구결과 파악된 문항의 특성에 관련하여 보다 세심한 주의를 기울여 자격시험이 타당도와 신뢰도가 확보된 진정한 의미의 기준지향적인 평가의 역할을 하길 기대한다.


    While developments and interests in Business English, there has been relatively limited research published on Business English assessments in Korea. The present study reports an analysis of a qualifying exam for office administration. A total of 120 items - 40 advanced levels, 40 intermediate levels, 40 beginning levels - of the exam administered in current two years were analyzed along with the test results of 5190 examinees. The item features were content analyzed. Each item was described by its length, based on the number of words and lines, the number of items per elicitation, the language used for questions, the language used for options, the type of elicitation, and the type of required response. The words and lines used for each item including the elicitation, question, and options were determined; the number of items per elicitation was also counted; the language used for questions and options were marked as either Korean or English; the type of elicitation was categorized into one of three - no passage, dialogue, monologue: the type of response was also categorized into one of three - syntactic/form related, semantic/meaning related, content/overall understanding; and finally, the item difficulties were obtained from the test results of 5190 examinees. In order to detect if there are significant differences in the year of the administration and in the item difficulty, independent t-tests, ANOVA F tests with Bonferroni post hoc tests, and Chi-square tests were employed, All statistical analyses were performed through SPSS. The results show that there were significant differences in both 2005 and 2006 in the length of items. the number of items per elicitation, the language used for questions. and the type of elicitation. Furthermore, the item difficulty on the items per elicitation, the type of elicitation. and the type of required responses all showed significant differences. These results suggest that specifications on these variables are necessary to produce the qualifying exam for office administration truly criterion referenced test.


  • 주제어

    비즈니스 목적의 영어 .   특수목적의 영어 평가 .   자격시험 .   문항분석 .   English for Business Purposes .   assessment .   item analysis.  

 활용도 분석

  • 상세보기

    amChart 영역
  • 원문보기

    amChart 영역

원문보기

무료다운로드
유료다운로드

유료 다운로드의 경우 해당 사이트의 정책에 따라 신규 회원가입, 로그인, 유료 구매 등이 필요할 수 있습니다. 해당 사이트에서 발생하는 귀하의 모든 정보활동은 NDSL의 서비스 정책과 무관합니다.

원문복사신청을 하시면, 일부 해외 인쇄학술지의 경우 외국학술지지원센터(FRIC)에서
무료 원문복사 서비스를 제공합니다.

NDSL에서는 해당 원문을 복사서비스하고 있습니다. 위의 원문복사신청 또는 장바구니 담기를 통하여 원문복사서비스 이용이 가능합니다.

이 논문과 함께 출판된 논문 + 더보기