学習進度を把握する分類法としての Rule Space Method ○ 林 篤裕 (大学入試センター 研究開発部) 1. はじめに 試験を行なうことによって、その時点での受験者の学力特性を把握すること ができる。しかし、受験者の行動としては、ややもすると得点と言う「数値の 大小」に関心が集中してしまい、次の学習ステップとして、どの単元を習得す るのが「より効果的」なのかと言ったところに、興味を持たれない場合が多い。 これは、採点結果が数値でしか受験者にフィードバックされないことも一因で あり、得点に加えて的確な助言を添付することによってかなり改善される事が 予想される。しかし、大規模な集団に対してこのようなきめ細かい指導を実施 することは現状では不可能であり、何らかの方策を立ててシステマティックに 助言を与える手段を講じる必要がある。 試験結果から受験者を学習進度に基づいてクラスタリングする手法として、 近年 Rule Space Method が注目されている。この手法は、教育評価の領域か ら提案されてきた手法で、試験内の個々の問題とそれらを構成する最小の単元 セットの関係を用いて、問題の解答パターンから学習進度の似ている受験者を 一つのクラスターに分類することを可能にする。 本報告ではこの手法について、その構成方法と特徴を紹介する。また、論理 思考を測定することに重点を置かれた試験に対して適用したので、この実例か らその有効性と問題点を検討する。 2. Rule Space Method 試験内の個々の問題(項目, Item)の解答思考過程をつぶさに吟味する「問題 分析(Task Analysis)」を通して、解答に必要な最小の単元セット(Attribute) を解明することができる。また、難易度の高い Item になると Attribute が 複雑に絡み合い、加えて「別解」に代表されるように、受験者の思考方法や習 得技量によって解答パターンが何通りか存在するのが一般的である。科目の担 当教員(Domain Expert)による「問題分析」を通して得られるこれら Attribute を整理することによって試験問題の構造を詳細に明らかにすること が可能となり、加えて、Attribute の組合せパターンによって当該科目におけ る学習達成の度合いを知ることができる。 Kikumi Tatsuoka らは、この Item と Attribute の関係(Q-Matrix) に注目 し、Item の解答パターンから学習達成度ごとのクラスター(Knowledge State) を二次元空間に付置(マッピング)する手法として Rule Space Method (RSM) を開発した。Attribute の数を k 個とすると、Attribute のパターン数は 2k 個となり、k が大きくなるに従ってパターン数が膨大になる。しかし、 Q-Matrix から Attribute 間の主従関係が判ることを利用して、全ての Attribute パターンの中から意味のあるものだけを取り出す仕組みを導入し、 計算時間やメモリースペースの縮約を実現した。アメリカの代表的なテスト実 施・研究機関である Educational Testing Service (ETS) では学習診断を実 現するために、この RSM の利用可能性を探求中である。 3. 科学的推論能力テスト アメリカの非営利法人 ACT, Inc. (American College Testing, Inc.) が提 供し、合衆国内で広く使用されている大学入学試験の 1つに ACT アセスメン ト・プログラム(ACT Assessment Program, AAP)がある。この試験は、大学水 準の教育を受講するに足るだけの能力を有しているかを査定することを目的と している。今回取り上げる科学的推論能力テスト(Science Reasoning Test, SR-Test)はこの中の一つであり、自然科学に必要な判断能力、分析能力、評価 能力、論理性を測るものである。個々の Passage(大問)は、科学的な情報を提 示する資料部分と、それに続く幾つかの多肢選択式の設問群とから構成されて いる。 SR-Testの Item は、受験者が科学的思考を用いて答えに辿り着くことを求 めている。受験者は提供された情報を基に、関連する概念を発見・把握し、理 解しなければならない。また、場合によっては、そこにある情報と各自で引き 出した結論や明らかになった現象との関係を、批判的に吟味しなければならな いこともある。そして、与えられた情報を一般化し、新たな情報を獲得し、結 論を引き出したり予測を立てたりしなければならない。 特定の科学領域についての事実を知っているかどうかということよりも、提 示された情報を用いて科学的論理思考を行う能力を有しているかどうかを測定 する方に重点が置かれているという点で、従来の学科試験とは異なると言える。 4. 実験方法と解析結果 今回、ACT の承諾を得て科学的推論能力テストの一つの版を利用する機会を 得た。そこで、このテストを 522名の大学 1年生に 45分間で解答してもらっ た。テストは全部で 7つの Passage (総 Item 数 40個)から構成されており、 オリジナルは英語で記述されている。一方、解答実験とは独立に各Passage の 解答思考過程を吟味して Attribute を抽出し、Q-Matrix を構成した。これら を RSM に適用して、Knowledge State を特定した。 なお、解析結果の詳細については当日報告する。 5. 今後の課題 RSM は、教育評価の領域から提案されてきた手法ではあるが、統計学的には Q-Matrix を用いて受験者を Knowledge State に分類する手法とも言える。こ の分類法は、Q-Matrix の構成、つまり具体的には Attribute の抽出が、導出 される Knowledge State の特性に強く影響することが知られている。一方、 この抽出の作業である問題分析は、複数存在する項目の解答思考パターンを含 めて丹念に洗い出す必要があり、大掛かりな作業となる。 今後「学習診断(Diagnosis)」や「スコアリング・レポート」が求められる ようになってくると、 RSM の利用局面も相当に増えてくると思われるが、そ のためには、この問題分析の作業の軽減に関する方策が是非とも必要と予想さ れる。 また、RSM によって得られる Knowledge State の関係木(グラフ)は、多次 元尺度解析法の一つであるPOSA(Partial Order Scalogram Analysis)のそれと 類似していることから、これらの関係を検討すると共に、計算アルゴリズムを より明確にしていくことを考えている。 参考文献 1) Atsuhiro Hayashi and Kikumi K. Tatsuoka(2000), A Comparison of Rule-space Method and Neural Network Model for Classifing Individuals, International Conference on Measurement and Multivariate Analysis and Dual Scaling Workshop(ICMMA), Volume two, PP 226-228。 2) 林 篤裕(2000)、「Rule Space Method を用いた教育支援システムに関する 研究開発動向について」、大学入試フォーラム、No.23、PP77-78。 3) 龍岡 菊美、林 篤裕(2001)、「個人の潜在的知識ステートを診断する統計 的方法論」、計測自動制御学会誌「計測と制御」、第40巻第8号、PP561-567。 4) 林 篤裕, 内田照久, 石塚智一、前川眞一(2002)、「科学的推論能力テスト と大学入試センター試験の比較分析」、大学入試研究ジャーナル、第12号、 PP1-5。