学習診断とItem Response Theory

統計モデル解析特論I/II : 第07回 (11/16/21)

　今回は、最近の試験研究を取り巻く話題として今後注目株である(と勝手に思っている)学習診断、そして、試験業界でこのところ注目を浴びているIRT(Item Response Theory, 項目反応理論)について紹介し、その後若干の私見を述べる。

先週のショート課題＆アンケートから: 88+5名
- 【問い】皆さんが経験された大学入試センター試験には得点調整が用意されていた。今回の講義ではこの手法(分位点差縮小法)に限らず、いろいろな調整法があることを紹介したが、受験者にとってどの調整方法を採用してもらうのが望ましいと考えるか。「調整しない」も含めて自分の立場でその理由を論じよ。 ===> 公開可とした回答は掲載済み＆参考にどうぞ
- 熱心に受講くださり感謝。
- 3本目の動画内で紹介された「Q17 選択科目によって，有利不利はあるのでしょうか」の回答部分に『ここでいう偏差値法とは，大学受験の難易度を表現する偏差値とは意味内容が異なる』とあったのですが，どのような違いがあるのでしょうか． ===> 掲載大学に聞かないと正確なところは判らないが、想像すると、平均50、標準偏差 10以外の数値を用いているのではないか?
- 共通テストにおいて「受験科目は受験時に選択できる」ということを理論の前提とされていたことがこれまでの講義中で度々ありましたが，そこに1つ違和感を感じています．数学や物理のような科目内の大問選択においてそのような前提を置くことであれば納得がいくのですが，「地理と歴史」「化学と生物」のように科目を跨いだ選択肢において「受験者は各科目の内容を見た上でどれを受けるか選択できる」ということを前提に理論を展開することに引っかかるということです．受験勉強に着手する上で「地理」「化学」といったようにあらかじめ科目を絞っておくことは受験生にとって普通のことだと思います．なので「受験時に選択できるから受験生には選択肢がある」とすることは，理屈としては通っていてもそれは建前にすぎず，現実問題を考慮した上で理論の前提とするには些か横暴なように感じています． ===> 設計の前提条件に関わる疑問。「選択の余地を全く無くす」ことを前提に考えることも可能であろう。どのような手法を提案されますか?
- 今回、13分の一本の動画のみが、ショート課題に（主に）関係するという形でした。そのような形であれば、一本の動画のみを見れば課題を書けるという点で我々学生にはそこまで負担がないように感じますので、（今回で言えば主成分分析、因子分析といった）説明の動画の尺を90分授業という枠に囚われず、もう少し深く詳しく、ゆっくりと説明していただけると非常に嬉しいです。（今回の因子分析の、軸と因子数といった概念があまりよく掴めなかったので、もう少し詳しく教えて頂きたかったです。） ===> 動画を取捨選択して観ていただくことは考えていない。全部観ることを想定して講義を構成している。主成分分析と因子分析は共に次元を縮約する手法であり、「軸や因子数」についても同じ考え方で捉えていただければと思う。
- 授業資料のpdfからでもURLを辿ることができると大変ありがたく存じます．現在，PDF資料などはhtmlの授業資料からダウンロードしておりますが，リンクがhtmlページのURLですとダウンロードが難しいため，自身で作成している講義メモにURLをコピーしています．そのため，PDF資料からURLを辿れると大変うれしく思います． ===> PowerPointで作成した場合はリンクが活きているようだが、htmlで記述してPDFファイルに変換した場合は利用できないようだ。申し訳ないがhtmlファイルを利用いただきたい。
- SASの出力結果の解釈方法を節の最後にまとめていただいていますが，赤字でマークされた付近，グラフの中などにも書き込むようなかたちで記載されていれば個人的にはよりわかりやすいです。 ===> SASの出力内にコメントを加えるのは避けたい。せいぜい色で示した後、出力の外側(上側か下側)に説明を加える方法でご容赦を。
学習診断 (Learning Diagnosis)
: 「学習診断とその適用例」【提示資料】
- スコアリング・レポート (Scoring Report)
- 試験結果を点数を知らせるだけでなく、不得意点を指摘・指導する。
- 試験問題の利用目的 : 「評価(選抜)」から「教育」へ
- Rule Space Method : 一種の分類手法
  - Item, Attribute, Incidence Matrix, Item Response Pattern
Item Response Theory (IRT, 項目反応理論) : 項目応答理論 : Wikipedia
- 野口裕之先生(名古屋大学名誉教授)の講演資料を利用して説明する : 「CBTとIRTの光と影 -- 高大接続改革の夢か現か幻か --」の一部を使わせていただいて
- テスト項目(試験問題, Item)や受験者集団に依存せずに受験者の能力を算出することが出来るテスト理論のこと
- 特徴
  - 能力水準の1次元性(同一尺度): 受験者の能力、Itemの困難度
  - 項目特性曲線: Item Characteristic Curve(ICC, 正答確率)
  - 局所独立の仮定: Item間は無相関
  - 2パラメタの場合: aパラメタ＝識別力、bパラメタ＝困難度
  - 3パラメタの場合: aパラメタ＝識別力、bパラメタ＝困難度、cパラメタ＝類推
  - CBT(Computer Based Test), CAT(Computer Adaptive Test) の基礎技術(特に後者)
    - Item Pool, Item Bank(膨大な項目群の必要性)
- 複数回の試験が比較可能になる仕組み: 等化、Equating
  - IRTの適用条件を満たしている
  - 項目パラメータが把握できている <=== 過去の出題履歴から
    - 本番の問題冊子中の一部設問は調査のために掲載されている: 事前調査(プレテスト)
  - [懸念] 事前調査がアジア文化圏で成立するか?
【最終レポート(Q3)】
- A.【選択項目】
  　この講義「統計モデル解析特論Ⅰ」の7回の受講を踏まえた上で、以下の5つの項目から一つ以上を選んで自分の意見を論述せよ。
  1. 生活の中で目にする統計に対してどう接すると良いかを論じよ。
  2. 統計学の必要性について論じよ。
  3. 「統計の教育」はいつ、どこで、誰が行うべきなのかについて論じよ。
  4. 受験生側から見た、大学入試の必要要件や理想的な大学入試について論じよ。
  5. 「論理的思考力」を身に付ける方法や学校での教育方法について論じよ。
  6. (上記と同程度のテーマを自分で設定して論じてもかまわない)
- B.【必須項目】
  　本講義を受講することによって「統計」に抱くイメージが変化したかを述べよ。変化した場合 or しない場合の各々で、講義を聞き終えた現状でどのように感じているか、また今後自分として統計に対してどのように取り組みたい/取り組みたくないかを説明せよ。
- C.【任意項目(コメントがあれば嬉しいな)】講義方法、講義の進め方
  　リモート講義で不便も多かったのではないかと想像しています。講義内容の感想だけでなく、リモートでの講義受講で気になった点や感想、改善希望点をお聞かせください。
- 【期日】12月7日(火) 朝まで (それ以降は受け付けなくなるので要注意)
- 【提出について】単位取得を考えている者は期日までに提出すること。
11月30日(火): レポート作成に充ててください。
- 講義は行わないことにします。
- 講義内容全般に関して、ご質問があれば対面で対応しようと考えています。これまで同様に、講義時間帯は研究室に待機していますので、ご質問のある方は、お越しください。11号館 5階 516室。
- 他の日程でも対応しますので、その際は事前に日程を相談の上、研究室をお訪ねください。
Q4に向けて
　以前からお知らせしている通り、Q4では統計ソフトウェア「 SAS OnDemand for Academics 」を使った統計解析の実践を行おうと考えています。これはSAS(という名称の統計ソフトウェア)のサーバーにインターネットを通じて接続し、ご自身のパソコンを端末として機能させて利用するものです。よって、手元のパソコンの能力には依存せずに利用することができます。
　なお、本講義はパソコンの操作が伴うため、(少なくとも導入部分の数回は)対面授業が好ましいと考えています(導入につまずくと以後付いて来られなくなる可能性が高いため)。ただし、初回(12/07)はリモート講義で行いますが、各自のパソコンで作業をしてもらう事項を指示する予定です。
　受講希望人数を把握したいと思いますので、受講を希望される方は、「統計モデル解析特論Ⅱ」のコース内に設置した受講希望聴取に関するアンケートに期日(12月6日昼)までに回答ください。
Q3を終えるにあたって
　リモート講義ということで、毎回薄氷を踏む思いでした。何とかここまで辿り着けたという気持ちですが、まずはお付き合い下さり、ありがとうございました。
　この講義を通して、「データとの接し方」や「統計の考え方」が多少なりとも理解できたであろうか? 大量の数値群から内在する構造を見つけることが「解析」であり「統計の面白味」でもあると思う。そのためには、理論や目的を知っている必要があるのは勿論だが、対象とするデータの背景を知っておくことや、統計ソフトを"道具"として使いこなす必要もあろう。
　多変量解析と呼ばれる統計手法の幾つかについては、数式自身よりもその手法の考え方や利用目的に重点を置いて説明したつもりである。
　加えて統計学から見る大学入試にまつわる話題も織り込んでみた。
　今後、新聞や雑誌と言った生活では勿論のこと、研究やいろいろな場面で、種々の数値列に出会うことになると思うが、提示された数値にはどの様な意味(と意図)があり、どう理解して、個々人としてどうアクションを起すかの、判断の道具立ての一つとして統計学を活用してもらえれば幸いである。
　なお、今後、もし統計に関して何か疑問に出会い、私に相談してみたいと思った際は、遠慮無くご連絡下さい。
　皆さんの期待にどこまで応えられたか心許無い部分もありますが、7回(+1回)の講義、お付き合いくださり、どうもありがとうございました。お疲れさまでした。