以項目反應模式來探討評分者的評分標準與嚴荷性

電腦閱卷是當今各種考試或測驗最常使用的方式，不過有時仍須採用到人工評分。例如申論題、作文或者一些較為特殊的比賽，如選美、金馬獎評審，都是非用人工來評分不可。可是人工評分也有它的缺點，如評分費時又未必公平。為了避免這些缺失，通常都會採用防範的措施。例如針對評分費時的缺點，可以多找幾位評分者；為了增進評分者的公平度，可以對評分者加以講習並提供評分手冊。此外假如經濟或時間允許的話，為了更公平起見，也可以由兩位評分者來打分數。如果這兩位評分者的給分差距太大，可退回重評，或交由第三位來評分。也可以由多位評分者來評，然後將給分最高和最低者刪除。這些種種的措施，均屬事前的防範。也許對於一些不是那麼關鍵的考試，可以不必太去計較是否這樣的措施就算公平。可是諸如要緊的考試，如聯考、高普考或其他重要的比賽等，即使是些微的差距也可能對考生或參賽者有著重要的影響。站在考生或家長的立場上，他們也許要問：我（或我的子弟）的分數會不會因為這位評分者的評分較苛而吃虧？就算有兩位評分者來打分，會不會恰巧我的兩位評分者丁分都是非常嚴苛？平均下來還是白白輸別人幾分。即使所有的考生或參賽者都是由相同的一些評分者來打分數，同樣的分數代表的意義可未必一樣。例如有兩位評分者都給這些參賽者5分，但第一位評分者是很不輕意給5分以上，但第二位評分者大都給5分以上，顯然同樣的5分代表的含意是大不相同。這是因為這兩位評分者所採用的嚴苛並不一致的關係。這些不公平的地方，也許頂多造成些微差距而已，但可能就是這些差距決定了考生或參賽者的「命運」。Lunz， Wright， 和Linacre（1990）就指出即使經過嚴格訓練，評分者的嚴苛度仍然不一。