ニューラルネットワークを利用した入試データ解析の試み

A trial to analyze of entrance examination data using neural network

林 篤裕(大学入試センター)・馬場 康維(統計数理研究所)

1 はじめに

また、ニューラルネットワークは過去の事例からの学習により知識獲得が 可能であり、AI システム構築の際のウイークポイントである知識獲得という ボトルネックを解決する有力な手段としても期待されている。

一方、統計的な側面からニューラルネットワークを観察すると、 非線形多変量解析の一手法と見ることもできる。 加えて、ニューラルネットワークの学習と言う作業は、 観測データに基づく未知パラメータの推定問題ととらえることもできる。

そこで、階層型ニューラルネットワークモデルを 大量データの一つである入試データの解析に適用して 探索的データ解析を行うことを考え、その方策について議論する。

2 階層型ニューラルネットワーク

ニューロンの接続の仕方によって、ニューラルネットワークモデルは 階層型ニューラルネットワークと相互結合型ネットワークの2つに大別される。 前者は、ニューロンを層状に並べて、前の層から次の層へと一方向にのみ 信号が伝わっていくタイプのものであり、 後者は名前の通り相互に結合されて信号が双方向に伝えられるタイプのものである。

階層型ニューラルネットワークは、その数理的定式化がシンプルであるにも かかわらず、層の数やユニットの連結関数を調整することにより 表現能力の高い非線形関数を実現できるという特徴を持っている。 また、既存データを用いた学習と言う過程を実行することにより、 ユニット間の結合強度を探索させることができる。

そこで、今回我々は、この「豊かな表現力」と「学習」の2点に注目して 階層型ニューラルネットワークを利用することを考えた。 このモデルの特徴としては、

• 入力層、中間層(1つとは限らない)、出力層から構成される
• 信号は入力層から中間層を経て出力層に流れる
• 連結関数 f(x) (ロジスティック関数が使われることが多い)と ユニット間の結合の度合い w を変更することによって 種々の非線形モデルが構築できる
• 出力層からのデータと教師信号との差異を小さくするように繰り返し学習を行う
• 学習に用いたデータに対する再現性が高い
• 新規のデータへの予測性が高いことは期待できない
• ユニット数が増加すると学習に要する回数も多くなる

また、階層型ニューラルネットワークの学習アルゴリズムとしては、 誤差逆伝搬学習(BP、Back Propagation)法が広く用いられている。 これは最適化手法の一つである最急降下法をニューラルネットワークに 適応したものである。この手法には、局所解に収束してしまうという 最急降下法の欠点を緩和する方策が組み込まれている。

図1.模式図(epsファイル)

3 入試データ

4 ニューラルネットワークの適用

統計学にニューラルネットワークを持ち込んだ研究としては、田崎他(1993)、 佐藤(1995)、豊田(1996)等が挙げられ、ある程度の特性と可能性が報告されている。 しかし、取り扱われているデータは、いずれも、実験的なものや 小規模なものであり、実大量データのデータ構造を 明らかにできるかといったことにまでは踏み込んで適用されていない。

観測データによってニューラルネットワークの学習が完了した段階では、 中間層に位置するユニット間の結合度合いはデータ構造を表現していると言えるので、 この結合の度合いを評価することによって解釈を行う。

ニューラルネットワークは学習過程でパラメータを推定するが、 パラメータに対して観測データの数が十分でないとパラメータの推定が 不完全になってしまう。 このモデルは、従来の手法よりもパラメータ数が多いため、 要求するデータサイズも従来以上に多くなる。 この点が利用を敬遠させる一つの要因でもあると思われるが、 今回対象とするデータは大量データであるので、 学習を行うのには十分であると推測される。

また、ニューラルネットワークモデルの欠点の一つに、 予測に利用した場合の精度が期待できないことが挙げられる。 つまり、学習データに対しては再現するが、未学習データに対しては どのような予測値が出力されるか保証がないと言う問題である。 その意味では確かに汎可性にはまだ検討の余地が残っているので 配慮の必要があるが、今回は探索的データ解析ということで、 現在所有している観測データに内在するデータ構造を 非線形多変量解析という別の角度から表現することに 重点を置いているので、データ解析に影響はない。

ここでは2つのアプローチについて紹介する。

4.1 回帰分析的アプローチ

学習を完了したこのニューラルネットワークモデルは、 独立変数から従属変数に向けて総合的指標をまとめあげる過程が 構成されていると見ることができる。 よってユニット数が少なくなっているより後段層のところの関係を 解釈に使ってみようと考えた。 なお、中間層が1層でもあれば非線形関数を形成できるので、 3層モデルが最低規模のモデルとなる。

図2. 回帰分析的アプローチ(epsファイル)

図3. 主成分分析的アプローチ(epsファイル)

4.2 主成分分析的アプローチ

入力層に投入したデータと同じものが出力層に出現するように パラメータを推定した場合、中間層では入力情報を少ないユニットで 表現していることになり、データを縮約していることになる。 よって、この少ないユニットの意味付けを解釈に使ってみようというものである。 また、中間層が1層だと線形変換になってしまうので、 中間層まで、およびで、中間層からをそれぞれ3層とした計5層モデルが 最低規模のモデルとなる。

5 今後の課題

今回はモデルの提案だけであったが、 今後、これらを実際に計算機上に実現し数値実験を行って、 モデルの有効性とデータ解析に用いる場合の問題点を 明らかにしていきたいと考えている。

なお、その際に考慮すべき点として、以下のようなものが挙げられる。

• 層の数の吟味
• 各層、特に中間層のユニット数の吟味
• 連結関数の吟味
• 初期値の吟味
• 局所解に収束してしまう可能性への配慮
• 非線形での解釈可能性、各ユニットの解釈可能性

参考文献

1. 渡部 洋、池田 輝政、大塚 雄作、鈴木 規夫、山田 文康(1984)、昭和57年度共通第1次学力試験(国語・数学I・英語B)による尺度化の試み、大学入試センター研究紀要 No.10, PP1-167.
2. 前川 眞一、柳井 晴夫、大塚 雄作、池田 央(1988)、昭和54年度から59年度までの共通第1次学力試験(国語・数学I・英語B)に関する比較研究 --- 多変量解析の手法を用いて ---、大学入試センター研究紀要 No.17, PP273-353.
3. 栗田 多喜夫、本村 陽一(1993)、階層型ニューラルネットワークとその周辺、応用統計学 Vol.22, No.3, PP99-114.
4. 田崎 武信、財前 政美、後藤 昌司(1993)、計算機統計学の最前線、第7回計算機統計学会シンポジウム論文集、PP25-36.
5. 臼井 支朗、岩田 彰、久間 和生、浅川 和雄編(1995)、基礎と実践 ニューラルネットワーク、コロナ社.
6. 佐藤 義治(1995)、ニューラルネットワークと統計的モデル、応用統計学 Vol.24, No.2, PP77-88.
7. 豊田 秀樹(1996)、非線形多変量解析 --- ニューラルネットワークによるアプローチ ---、朝倉書店.