코메트릭스(Coh-Metrix)를 이용한 중·고등 영어교과서와 대학수학능력시험 읽기 지문의 난이도 분석

Abstract

본 연구의 목적은 코메트릭스를 이용하여 중·고등학교 영어 교과서와 대학수학능력시험의 읽기 지문 난이도가 어떠한지를 분석하는데 있다. 코메트릭스란 코퍼스 분석 도구 중 하나로서, 텍스트의 응집성을 포함한 다양한 분석 항목을 측정할 수 있는 텍스트 평가 도구이다. 본 연구에서는 이 도구를 이용하여 7 개 출판사의 2009 개정 교육과정 중학교·고등학교 영어 교과서와 2015·2016 학년도 대학수학능력시험 읽기 지문을 분석하였다. 측정 대상이 된 코메트릭스 지표는 '문장 수', '단어 수', '문장 내 단어 수', '인접 문장 간 논항 중복', 'LSA', '어휘 다양성', '본동사 앞 단어 수', '명사구 밀도', '내용어 빈도수', 'FRE', 'FKGL'이라는 11 개의 지표이다. 이 지표들을 분석하여 영어 교과서의 학년별 난이도는 어떻게 나타나는지, 그리고 고등학교 영어Ⅰ·영어Ⅱ 교과서 읽기 난이도와 비교했을 때, 2015·2016 학년도 대학수학능력시험 읽기 난이도는 어떠한지를 알아보았다. 연구를 위해 영어 교과서와 수능 읽기 지문의 코퍼스를 구축한 후, 코메트릭스 담당자에게 분석 서비스를 요청하였다. 그 후 제공받은 측정치로 각 읽기 지문의 난이도를 분석하였다. 연구 결과 기술적 지표인 '문장 수', '단어 수', '문장 내 단어 수' 지표와 가독성을 나타내는 'FRE', 'FKGL' 지표에서 학년 간 난이도가 증가하는 경향을 보였으나 점진적인 증가는 아니었고, 특히 중학교 3 학년과 고등학교 영어Ⅰ 사이의 난이도는 급등하였다. 응집성을 나타내는 지표 중 '인접 문장 간 논항 중복'의 측정치는 학년이 올라갈수록 오히려 증가하였고, 'LSA' 지표의 측정치는 학년 간 연계성이 없었다. 통사적 복잡성 지표 중 '본동사 앞 단어 수'는 학년이 올라감에 따라 증가하였으나, '명사구 밀도'는 중학교 교과서와 고등학교 교과서 사이에 차이가 있을 뿐 학교급 내에서는 뚜렷한 차이를 보이지 않았다. '내용어 빈도수'는 학교급 사이의 차이는 있었으나 비슷한 수준이었다. 그리고 '내용어 빈도수'를 제외한 대부분의 지표에서 2015·2016 학년도 대학수학능력시험 간의 난이도는 비슷하였으나 시험 출제 범위인 영어Ⅰ·영어Ⅱ의 난이도 보다는 높은 수준의 난이도를 가졌다. 난이도가 점진적으로 증가하지 않는 교과서 읽기 지문 수준과 고등학교 교과서의 난이도보다 높은 수능 읽기 지문의 수준은 학생들의 영어 학습에 대한 부담감을 높이거나 학교 교육과정 외 다른 곳에 의지해야 하는 환경을 조성할 수 있다. 따라서 2015 개정 교육과정 교과서 개발 시에 객관적인 지표와 기준을 가지고 난이도가 점진적으로 증가할 수 있도록 하고, 대학수학능력시험의 난이도도 학교 교육과정 수준의 난이도를 벗어나지 않도록 해야할 것이다. 본 연구의 분석 도구인 코메트릭스는 읽기 자료의 난이도 측정을 다각도로 가능하게 해주었으며, 객관적인 비교가 가능하게 해주었다. 코메트릭스가 이후의 난이도 연구에서뿐만 아니라 교재의 개발이나 시험 문제의 출제 때, 그리고 학생들 수준에 맞는 학습 자료의 선정시에도 도움이 될 것이라 기대한다.

The purpose of this study is to analyze the difficulty of the reading materials in middle and high school English textbooks and the College Scholastic Ability Test(CSAT) using Coh-Metrix. Coh-Metrix, which is one of the corpus analysis tools, is the text analysis tool that can measure various indices including cohesion. In this study, the reading materials in middle and high school English textbooks in the 2009 revised curriculum of seven publishers were analyzed with Coh- Metrix. To analyze the texts, eleven Coh-Metrix indices were chosen for this study. These were: number of sentences; number of words; mean number of words (length) of sentences in; local(adjacent sentences) argument overlap; LSA sentence adjacent; type-token ratio; words before main verb; modifiers per NP; average word frequency for content words; Flesch Reading Ease(FRE); and Flesch- Kincaid Grade Level(FKGL). By analyzing these indices, it was possible to recognize how the difficulty appears in English textbooks and, compared with high school textbooks, how difficult the CSAT is. For the study, the corpus of English textbooks and CSAT text was built, and a text analysis service was offered from the person in charge of Coh-Metrix. The results showed that the difficulty of English textbooks does not gradually increase by units or among school years as far as these measures: number of sentences; number of words; and mean number of words (length) of sentences in the descriptive indices and FRE; and FKGL of the readability indices. Especially significant differences were found in the difficulty between ninth grade English textbooks and high school EnglishⅠ textbooks. Among the cohesion indices, local (adjacent sentences) argument overlap increased rather than decreased for higher textbooks and LSA did not have connectivity among textbooks. There was an increase in the syntactic complexity indices for words before main verb and in modifiers per NP between middle and high school, but these did not show notable differences among grades within each school. The average word frequency for content words represented similar levels among the texts. In most of the indices, except that for average word frequency for content words, the difficulty in 2015 and 2016 CSAT was similar, but the level of difficulty was much higher for EnglishⅠ·EnglishⅡ textbooks that the CSAT should cover. This can impose not only great burdens on students learning English, but it can also cause increased private education in English. Therefore, when the 2015 revised curriculum is developed, the difficulty in textbooks should be considered to progressively increase. Also, the difficulty in CSAT should not be different from that in the textbooks. Coh-Metrix enabled the difficulty analysis objectively in various indices. It can help to develop textbooks, set questions for tests, and choose teaching materials that are appropriate for students' levels.