以IRT理論和S-P表理論來分析試題屬性及受測者表現――以多媒體英語文試題為例

Abstract

隨著資訊科技與網際網路的快速發展，有不少正式和非正式的測驗或檢定已漸漸改為電腦化，TOEFL及全民網路英檢就是一個例子。但現行的英語文能力檢定中，常以試題反應理論(Item Response Theory, IRT)的鑑別度(a值)、難易度(b值)及猜測度(c值)來分析受測者的能力與試題的優劣，這與1970年代由日本學者佐藤隆博博士（Takahiro Sato）所創S-P表分析理論(Student-Problem Chart)的鑑別度、難易度、答對率、試題注意係數是否有存在某種關係呢？而受測者的表現是否與這些變項存在什麼樣的關係呢？本研究的目的是以試題反應理論(IRT)和學生-問題分析理論(S-P Chart)來探討多媒體英語文試題的屬性及受測者表現。

本研究採用全民網路英檢(NETPAW)初級檢定的試題(聽力測驗40題、閱讀測驗40題)，由系統計算出測驗後試題的鑑別度(a值)、難易度(b值)、猜測度(c值)及作答時間。再將學生的答題記錄及答題時間輸入S-P-T表分析器，得到(1)試題的鑑別度、難易度、答對率、試題注意係數；(2)學生的解題能力、思考敏捷度、學生注意係數。接著進行(一)試題屬性分析――藉由Pearson積差相關分析來探討IRT理論的鑑別度(a值)、難易度(b值)及猜測度(c值)與S-P表分析的鑑別度、難易度、答對率、試題注意係數及平均答題時間的相關性。(二)受測者表現分析――先以描述性統計分析來了解受測者成績的分布情形，並藉由Pearson積差相關分析來探討受測者的成績表現與S-P-T表分析理論的解題能力、思考敏捷度、學生注意係數的相關性。再以廻歸分析來(1)探討受測者的聽力成績及閱讀成績表現與學校英語段考成績表現的廻歸關係。(2)探討受測者的聽力及閱讀成績表現與解題能力的廻歸關係。 由本研究可以歸納出下列幾項應用： 一、命題者可以運用IRT理論的鑑別度(a值)、難易度(b值)及猜測度(c值)與S-P表分析的鑑別度、難易度、答對率、試題注意係數及平均答題時間的交互相關分析來驗證試題的品質，做為下次命題或改進試題的參考依據。 二、教師可以藉由聽力成績、閱讀成績、英語段考成績與S-P-T表分析理論的解題能力、思考敏捷度、學生注意係數及平均答題時間等表現來了解學生的優點或缺點，以做為補救教學及改進教學之參考。 三、學生可以藉由S-P-T表分析理論的學生注意係數、思考敏捷度及解題能力來了解自己的弱點，找出自己應該加強的地方在哪裡。再透過學校英語段考成績與聽力成績及閱讀成績的廻歸分析，推測是否有機會通過全民網路英檢初級檢定的初試。