言語評価分野のリーダーとして、ケンブリッジ大学英語検定機構が作成するすべての试験は、年齢、性別、国籍、母語、文化、民族的背景に関係なく、あらゆる受験者にとって公正であるように特別に作成されています。品質と公正さは、われわれが常に重視するものです。
- 妥当性 ― 试験の得点が、潜在能力を正しく反映していると考えられる範囲。
- 信頼性 ― テスト結果が一貫しており、正確であるために信頼できる範囲。
※信頼係数はをご覧ください
- インパクト ― 受験者、その他のテスト活用者のみならず、社会全体に与えるテストの肯定的な効果。
- 実用性 ― 必要とされるリソースに関してテストが役に立つ範囲。
- 品質 ― 妥当性、信頼性、インパクト、実用性を意味します。
品质と公正さを确保するため、机构のテストの机能を正确に测定し言语评価における最先端の考えと比较することが求められ、品质と公正さの両分野で広范な研究が必要になります。
品質は、试験に関わる全工程で、厳しく監視されています。機構の研究?検証グループ(Research and Validation Group)が、试験の開発、構築、管理、測定、結果処理、试験のレビューや評価で、評価?運営グループ(Assessment and Operations Group)と密接に連携しています。
ケンブリッジ英語検定は年間100回を超える试験が予定されていますが、どのセッションを受検いただいても受検者にとって同じ難度の试験であることを保証する「アイテムバンキングシステム」による作問を行っています。このように再現性があり、きちんと説明できる結果を提供するために、評価(assessments)には、誰がいつ評定しても変わらない一貫した基準が必要になります。ケンブリッジでは、項目応答理論(IRT)に基づいたラッシュ?モデルを使用し、出題する問題が同じ尺度上に載るように調整したアイテムバンクを構築して活用しています。年間1,200回以上、アンカーリング(共通テスト項目)を用いたプレテスト(事前テスト)でバンク内にある困難度パラメータ等の全問題項目の特性を把握、単一の尺度上にデータを位置付け、アイテムバンクの充実を図っています。
なお、リーディングやリスニング、文法?語彙問題の客観テストはアイテムバンキングシステムを用いて出題されています。1990年にラッシュ?モデルを使用してテスト問題の目盛付け (calibration)を行うアイテムバンキングシステムが導入され、20年間で1,500万人を超える受検者データが分析されました。すべてのアイテム(テスト問題)が統計的手法を用いて同じスケールに一貫して関連づけられることを保証するテスト問題作成のアプローチで、アンカー問題を介してプレテストで目盛付けが為されるので、ケンブリッジ英語検定で報告される英語力の判定は安定していることが保証されます。アイテムバンキングに関する詳しい説明は以下のPDFをご覧ください。
外网天堂 Englishのアイテムバンキングに対するアプローチ(日本语笔顿贵へ)
アイテムバンキングの閾値を决めるプロジェクト
? Monitoring of Exam Difficulty Project:2003年までにケンブリッジ英語検定を含む14種類の異なる试験間の困難度を調査した長期調査。困難度が既に分かっている既存の問題項目(アンカー問題)を用いて実施。
? 2种类以上を受検する受検者データの分析(1991-2002)同じ受検者が异なるレベルのケンブリッジ英语検定を受けていることに着眼して実施。
出典: Jones, N (2011) Multilingual Frameworks: The Construction and use of Multilingual Proficiency Frameworks, Studies in Language Testing volume 40, 外网天堂: UCLES/Cambridge University Press. 70-73
その他参考文献
Simon Beeston, EFL Validation Manager, UCLES, Research Notes 1 (2000), 5-6
Simon Beeston, EFL Validation Manager, UCLES, Research Notes 2 (2000), 8-9?
?2000年の时点でアイテムバンキングデータベースに、100种类以上のテスト材料バンクがあり、约90,000アイテムを含み、すぐに约10万件に増加。?
ケンブリッジ英语検定の础尝罢贰による监査について
ケンブリッジは础尝罢贰(ヨーロッパ言语テスト协会)の品質管理システムに積極的に関与している。5年ごとにALTEによる監査に参加しており、ALTEの品質マーク(Qマーク)が付与されている。外部評価機関によるチェックはアカウンタビリティのための健全な基盤を提供し、各试験の質に対するステークホルダーの信頼を高めてくれている。
ALTEフレームワークにより、テスト設計、テスト実施、採点、テスト分析、ステークホルダーとのコミュニケーションに関する項目のうち、17の最低限必要とされる項目を试験団体がどのように満たしているかについて確認することができる。(ALTEの監査システムが設定する17の基準はこちらをご覧ください。)