標準設定效度驗證之探究--以大型數學學習成就評量為例,ERICDATA高等教育知識庫
高等教育出版
熱門: 朱丽彬  黃光男  王美玲  王善边  曾瓊瑤  崔雪娟  
高等教育出版
首頁 臺灣期刊   學校系所   學協會   民間出版   大陸/海外期刊   政府機關   學校系所   學協會   民間出版   DOI註冊服務
閱讀全文
篇名
標準設定效度驗證之探究--以大型數學學習成就評量為例
並列篇名
Validating the Performance Standards for Cut Scores in a Large-Scale Mathematics Assessment
作者 吳宜芳鄒慧英林娟如
中文摘要
本研究旨在探討標準設定的效度,就程序性、內部性與外部性等方面進行表現標準的效度驗證,一方面透過類推性理論與其他重要規準(criteria),提供最終標準的內部性效度證據;另一方面,探究整體標準設定過程之品質,列舉程序性與外部性證據,以支持最終標準具備良好效度。本研究以一項大型數學學習成就評量為場景,為之設定基礎(basic)、精熟(proficient)、進階(advanced)等成就水準,設定材料為四、六年級評量的104個選擇題,延攬16 名具備國小數學教材編纂或教學經驗之專家、教師組成設定小組,進行標準設定活動。在標準設定方法部分,採行修正的Angoff 法設計標準設定程序,主要參考NAEP(Allen, Jenkins, Kulick, & Zelenak, 1997)、Reckase(1998, 2000)以及Hambleton(2001)所建議之方式與準則進行之,針對各個成就水準對應之通過分數進行標準設定之效度驗證,提出相關證據與效標來呈現表現標準具備的良好效度。本研究結果為,四年級標準設定結果呈現良好的內部性與程序性證據,可支持其表現標準之效度,惟在外部性證據上稍有瑕疵;六年級表現標準則在內部性、外\r部性與程序性方面,均獲致理想的效度證據支持。
英文摘要
The purpose of the study was to provide the validation of the performance standards for cut scores in a large-scale mathematics assessment. In order to testify and examine the improvement of consistency, the study applied different procedures and approaches to the modified Angoff standard setting method, including feedbacks with empirical difficulties and results information from previous setting round. A generalizabilitystudy was performed to investigate the sources and magnitude of the variation of results in terms of several facets item, panelist, and item difficulty.The important conclusions are summarized below:1.Cut scores were gradually and logically increased in accordance with the achievementof basic, proficient, and advanced. However, item difficulty had a great impact on the judgments of panelists. Therefore, the necessity of multiple rounds, discussion and feedbacks in a multi-stage standard setting process was guaranteed.2.As the setting rounds passed, the inconsistency between panelists was removed or adjusted, while error in the performance standards was declined to the lowest at the final round. The accuracy and consistency of cut scores in both grades were moderate.3.Finally, evidence of procedural and internal focus showed that the validity of performance standards at each achievement level was built and proved. Also, it was suggested that evidence of external focus needs to be strengthened.
起訖頁 001-028
關鍵詞 Angoff法效度驗證標準設定Angoff methodStandard settingValidation
刊名 測驗學刊  
期數 201003 (57:1期)
出版單位 心理出版社
該期刊
上一篇
國中基測英語科雙峰分配探索

高等教育知識庫  新書優惠  教育研究月刊  全球重要資料庫收錄  

教師服務
合作出版
期刊徵稿
聯絡高教
高教FB
讀者服務
圖書目錄
教育期刊
訂購服務
活動訊息
數位服務
高等教育知識庫
國際資料庫收錄
投審稿系統
DOI註冊
線上購買
高點網路書店 
元照網路書店
博客來網路書店
教育資源
教育網站
國際教育網站
關於高教
高教簡介
出版授權
合作單位
知識達 知識達 知識達 知識達 知識達 知識達
版權所有‧轉載必究 Copyright2011 高等教育文化事業股份有限公司  All Rights Reserved
服務信箱:edubook@edubook.com.tw 台北市館前路 26 號 6 樓 Tel:+886-2-23885899 Fax:+886-2-23892500