Reasoning Test、学習診断、IRT、そしてレポート課題

統計モデル解析特論I/II : 第07回 (11/13/18)

　気が付くとクォーター3(Q3)も残すところ2週となってしまった。狙っていたわけではないが、偶然先の週末に新テストの試行調査(プレテスト)が実施されたので、今回は試験を取り巻く最近の話題を紹介すると共に、レポート課題についても今回のうちに提示しておくことにする。
　そこで、日本ではあまり知られていないReasoning Testと、今後注目株である(と勝手に思っている?)学習診断、そして、試験業界でにわかに注目を浴びているIRT(Item Response Theory, 項目反応理論)について紹介する。
　スケジュール的には来週がQ3の最終回であるので、来週もやり残した話題について取り上げ、Q4は12月4日から開始する(11月27日は休講)。 Q4 では統計解析ソフトウェア SAS (オンライン版)を使いながら統計解析の進め方を中心に講義する予定である。

Reasoning Test(推論能力テスト) : 「科学的推論能力テストと大学入試センター試験の比較分析」
- 学習到達度を観るよりも、思考力・情報把握力を測定したい。
- カリキュラムに依存しにくい試験である。
  - アメリカでは州ごとにカリキュラムが策定されている <===> 日本は全国統一の「学習指導要領」
  - 統一的な到達度を測定することが難しいためとも言える
  - [参考] 各国の共通試験、進学率の違い : PDF ファイル
- (かつての)法科大学院適性試験(@DNC)もこのタイプの試験であった。出身学部の学修内容に依存しない出題内容にする必要があったことも一因。
  - 第1部 : 推論・分析力
  - 第2部 : 読解・表現力
- 新テスト(大学入学共通テスト)も似たような傾向になる???
  - 中教審答申(H26.12) 新しい時代にふさわしい高大接続の実現に向けた高等学校教育、大学教育、大学入学者選抜の一体的改革について～すべての若者が夢や目標を芽吹かせ、未来に花開かせるために～ .
  - 「学力の3要素」<=== 教育学的にオーソライズされたものなのか?
    1. 基礎的・基本的な知識・技能
    2. それらを活用する思考力・判断力・表現力
    3. 主体的に学習に取り組む態度(主体性・多様性・協働性)
  - マークシート式試験は知識しか測ってない?
  - 記述式試験で測れるものは?
  - 記述式で統一的な採点が可能なのか? ブレない採点を可能にする解答とは?
学習診断 (Learning Diagnosis) : 「学習診断とその適用例」
- スコアリング・レポート (Scoring Report)
- 試験結果を点数を知らせるだけでなく、不得意点を指摘・指導する。
- 試験問題の利用目的 : 「評価(選抜)」から「教育」へ
- Rule Space Method : 一種の分類手法
  - Item, Attribute, Incidence Matrix, Item Response Pattern
Item Response Theory (IRT, 項目反応理論) : 項目応答理論 : Wikipedia
- 野口裕之先生(名古屋大学名誉教授)の講演資料を利用して説明する : 「CBTとIRTの光と影 -- 高大接続改革の夢か現か幻か --」の一部を使わせていただいて
- テスト項目(試験問題, Item)や受験者集団に依存せずに受験者の能力を算出することが出来るテスト理論のこと
- 特徴
  - 能力水準の1次元性(同一尺度): 受験者の能力、Itemの困難度
  - 項目特性曲線: Item Characteristic Curve, ICC, 正答確率
  - 局所独立の仮定: Item間は無相関
  - 2パラメタの場合: aパラメタ＝識別力、bパラメタ＝困難度
  - CBT(Computer Based Test), CAT(Computer Adaptive Test) の基礎技術(特に後者)
    - Item Pool, Item Bank(膨大な項目群)
- [大前提] 綿密な事前調査(プレテスト)が実施可能であること(各パラメタが試験実施時に確定していること) <=== アジア文化圏との親和性には疑問がある
Q3の課題提出(レポート)
　以下の事項について、レポートを作成し、電子メールで提出下さい。
1. [選択項目] 「試験」に関する事項 : 以下の3つの事項から一つ以上の事項について論述せよ。
  1. いくつかの得点調整の方法とそれぞれの利点・欠点を説明し、考察を行え。
  2. 試験における「公平性」とはどのようなことを満足すれば良いのかを論じ、自分にとって理想的な試験方法を一つ挙げ、その理由を述べよ。
  3. (自分で問題設定してもらってもかまわない)
2. [必須項目]
  - 本講義を受講することによって「統計」に抱くイメージが変化したかを述べよ。変化した場合 or しない場合の各々で、現状でどのように感じているか、また今後自分として統計に対してどのように取り組みたい/取り組みたくないかを説明せよ。
3. [任意項目(コメントがあれば嬉しいな)] 講義方法、講義の進め方
  - 加えた方が良い or 取り上げる必要はないと思われる講義内容
  - 講義の感想
4. メールの題名(Subject)は「Report18Q3: Ukai」のように、 2018年クオーター3のレポート提出であることと、提出者名が判るようなタイトルを付けるようにしてください。
5. 提出期限は「12月17日(月)」とします。「不達事故」を避けたいので、受け取ったら確認のために提出者の学籍番号は連絡のページに掲載します(受領後3日以内に)ので、確認下さい。なお、期限までに提出しなかった者には単位の認定を行いませんので、ご了承下さい。
6. [蛇足] 自動車の「スロットルコントローラー」の特性グラフは、得点調整のグラフに似ている。
  - 特性グラフ: pivot社, スロットルコントローラー 3-drive・EVO .
  - 得点の調整: 大学入試センター, 受験案内 .
次回は、... : 11月20日 16:20-17:50
- Q3でやり残した話題:
  - 実験計画法
  - クラスター分析、判別分析
  - ...

講義のホームページへ戻ります