学習診断とItem Response Theory

統計モデル解析特論I/II : 第04回 (10/27/20)

　今回は、最近の試験研究を取り巻く話題として今後注目株である(と勝手に思っている)学習診断、そして、試験業界でこのところ注目を浴びているIRT(Item Response Theory, 項目反応理論)について紹介し、その後若干の私見を述べる。

先週のレポートから: 75名
- 「思考力」
  - 定義
  - 正答の唯一性 <===> 正解は一つではなく複数ある、選択肢に正解がない問題
  - 毎回全く新しいものを出すこと、若しくは定例化させない事
  - 学校や塾で対策
  - 明確な順位付け、得点化
  - 思考の過程
  - 難易度
  - 専門分野に特化した思考力なら
- 「問題」と「答え」を1対5の設定ではなく、10対50に設定し、答えも組み合わせで答えるように
- 「インタラクティブ」な試験
- 受験者が多いと不可能
- 同じ人が同じ時期に2セット分の試験を
- 音声型の試験、小論文形式のテスト
- 記述式による試験方法だとしても採点する人の思考力に差があれば，採点結果に差異が出る
- ドイツ・フランス・イギリスでは中等学校教員が作成するのが不思議だな
- 私も道を外れた話を聞きたいと思っていたのですが残念です。
- もう少し分析について触れてほしい
- テキストエディタはなにをお使いか? ===> Emacs(on Linux&Win), 秀丸(on Win)
- moodle上にもpdfをあげてもらえると助かります。 ===> 上げました
- 講義中の関連資料として参考の pdf が置かれているがこれを講義中に関連したときに並行して写して頂けると話がよりはいってくると思うのでそのようにしていただけると幸いです。
- 一部重なっているシーン
- 課題の期日を次週の前日までにしていただけると助かります．===> 3日間程度がせいぜいだと思います。
学習診断 (Learning Diagnosis)
: 「学習診断とその適用例」 (PDF, PPT)
- スコアリング・レポート (Scoring Report)
- 試験結果を点数を知らせるだけでなく、不得意点を指摘・指導する。
- 試験問題の利用目的 : 「評価(選抜)」から「教育」へ
- Rule Space Method : 一種の分類手法
  - Item, Attribute, Incidence Matrix, Item Response Pattern
Item Response Theory (IRT, 項目反応理論) : 項目応答理論 : Wikipedia
- 野口裕之先生(名古屋大学名誉教授)の講演資料を利用して説明する : 「CBTとIRTの光と影 -- 高大接続改革の夢か現か幻か --」の一部を使わせていただいて
- テスト項目(試験問題, Item)や受験者集団に依存せずに受験者の能力を算出することが出来るテスト理論のこと
- 特徴
  - 能力水準の1次元性(同一尺度): 受験者の能力、Itemの困難度
  - 項目特性曲線: Item Characteristic Curve(ICC, 正答確率)
  - 局所独立の仮定: Item間は無相関
  - 2パラメタの場合: aパラメタ＝識別力、bパラメタ＝困難度
  - 3パラメタの場合: aパラメタ＝識別力、bパラメタ＝困難度、cパラメタ＝類推
  - CBT(Computer Based Test), CAT(Computer Adaptive Test) の基礎技術(特に後者)
    - Item Pool, Item Bank(膨大な項目群の必要性)
- [大前提] 綿密な事前調査(プレテスト)が実施可能であること(各パラメタが試験実施時に確定していること) <=== アジア文化圏との親和性には疑問がある
IRTに対する[私見]
- 選抜試験にIRT を用いることは、日本の文化に合致したものなのだろうか? .
- 「数理的見地から観た選抜試験における CBT・IRT の利活用に関する考察 --- 顕在変量と潜在変量のハザマで ---」 (PDF, PPT)
次回は、... : 11月10日リモート講義(16:20-17:50?)
- 多変量解析(1) : 回帰分析

講義のホームページへ戻ります