大學(xué)英語六級考試數(shù)據(jù)處理指南

　　大學(xué)英語四、六級考試每年考生超過一百萬，因此只能依靠機器閱卷。為了保證機器閱卷的精度及正確性，在數(shù)據(jù)輸入階段還要采取大量質(zhì)量保證措施。

　　數(shù)據(jù)輸入階段結(jié)束后即開始數(shù)據(jù)處理階段，包括 IRT 等值處理、作文分調(diào)整、考生成績正態(tài)化處理三個步驟。大學(xué)英語四、六級考試為了進行等值處理，每次考試前一周要組織對比考試，建立 IRT 等值處理模型。

　　在對客觀題進行等值處理后，對作文分進行調(diào)整。進行作文分調(diào)整的目的是濾除閱卷過程中閱卷員評分的主觀誤差，保證主觀題的閱卷信度。這一步驟完成后輸出客觀題成績在 25 分以下而作文成績在 10 分以上的異�？忌�清單，這種客觀題得分極低而主觀題得分相當(dāng)高的異常情況說明必然在某一環(huán)節(jié)上發(fā)生了差錯。這時首先檢查考生的答題紙，再查作文成績，檢查是否登分錯誤、或閱卷員評分錯誤、或因為考生填錯 A、B 卷代號而造成錯誤等等。在以上步驟都確認(rèn)正確無誤后，輸出作文分調(diào)整模型。 最后進行各種統(tǒng)計，包括全國的、各省市的、各校的成績統(tǒng)計。作為數(shù)據(jù)處理的最后一環(huán)還要進行試題分析、完成試卷檢驗報告　　大學(xué)英語四、六級考試的數(shù)據(jù)處理采取如此嚴(yán)格的質(zhì)量控制措施是為了保證考試的信度，最終也是為了保證考試的效度，因為沒有信度就談不上效度。

　　等值處理

　　大規(guī)模標(biāo)準(zhǔn)化考試的重要標(biāo)志之一是分?jǐn)?shù)的可比性。為此，首先必須根據(jù)考試的性質(zhì)和目的確定記分體制，使分?jǐn)?shù)具有可解釋性，能夠說明分?jǐn)?shù)所反映的考生實際水平，以便于用戶使用;此外還必須通過等值處理，使不同考次的分?jǐn)?shù)做到等值，達到可比的目的，并保持穩(wěn)定的測量標(biāo)準(zhǔn)，也就是保持記分體制的參照系不變。

　　大學(xué)英語四、六級考試等值處理的方法及其質(zhì)量控制措施見《大學(xué)英語四、六級考試效度研究》一書

　　作文分調(diào)整

　　作文是一種對語言表達能力的考試。學(xué)生運用語言的結(jié)果，可以直接觀察，因此作文是一種直接考試。只要題目出得好，作文對考生語言能力的測量最準(zhǔn)確，效度最高。而且作文這種題型最難搞應(yīng)試培訓(xùn)，也最難搞題海戰(zhàn)術(shù)。要提高學(xué)生的成績，唯一途徑是扎扎實實搞好課堂教學(xué)，提高學(xué)生實際英語能力。從組織考試的角度來看，采用作文題的困難在于如何保證評分的一致性。

　　作文題是主觀題。所謂主觀題只是指在閱卷過程中評分要依靠閱卷員的主觀判斷的題目。至于命題和答題，當(dāng)然必然是主觀的。這些因素最終都會影響到對作文閱卷的判分。要使作文卷的分?jǐn)?shù)能正確地反映考生的真實能力，如果不考慮考生本身這一因素，則影響最大的主要是命題和閱卷兩個因素。

　　大學(xué)英語四、六級考試中安排短文寫作這一部分，主要目的是考核學(xué)生用英語進行書面表達的能力，也就是說主要是考核語言運用能力，因此大學(xué)英語四、六級考試的作文部分不是自由作文，而是有控制的作文，對考生寫什么內(nèi)容有比較明確的要求，用各種明確的方式如提綱、圖表、關(guān)鍵詞等加以規(guī)定;但提綱常用中文給出，以避免考生將提綱中的文字直接抄錄進作文。采用有控制的作文也有利于提高評分的一致性。 對作文評分影響最大的是評分過程。同一篇作文，不同的閱卷員可能給出不同的分?jǐn)?shù)。提高作文閱卷的信度就是要保證評分的一致性，包括閱卷員本人的一致性(intra-marker consistency)、閱卷員之間的一致性(inter-marker consistency)、和閱卷點之間的一致性(inter-centre consistency)，要采取一定的質(zhì)量控制措施盡量減少和濾除閱卷員評分的主觀性對分?jǐn)?shù)客觀性的影響。 近年來在大規(guī)模標(biāo)準(zhǔn)化考試中采用作文題的重要性已為大家所接受，對作文評分的研究發(fā)展也很快。

　　作文題的評分通常有兩種方法：一種是綜合法(holistic approach)，一種是分析法(analytic approach)。分析法是把一篇作文分解為若干要點，如內(nèi)容、結(jié)構(gòu)、文章連貫性(cohesion)、語法、詞匯等，不同的要點也可作不同的加權(quán)處理，各要點得分的總和即為全篇得分。綜合法是憑閱卷員通讀一遍的總體印象打分。綜合法的優(yōu)點是能從總體上把握通篇印象，評卷速度比較快。此外，為了提高閱卷的信度也有采用兩讀的方法，即每篇作文由兩名閱卷員分別獨立評分，若分?jǐn)?shù)差兩檔以上，由第三名閱卷員重判�？紤]到大學(xué)英語四、六級考試規(guī)模太大，不可能進行兩讀，因此，決定采用綜合法和一讀的評分方法，然后根據(jù)考生的客觀題得分進行調(diào)整，濾除系統(tǒng)誤差。大學(xué)英語四、六級考試實踐和效度研究結(jié)果證明，大學(xué)英語四、六級考試目前采用的作文分調(diào)整方法能保證閱卷信度，詳見《大學(xué)英語四、六級考試效度研究》一書。