主成分分析

統計解析 06 クラス : 第12回 (01/13/05)

　いくつか(p個)の変量の値を情報の損失をできるだけ少なくして、少数変量(m個、m＜p)の総合的指標(主成分)で代表させる方法として主成分分析(Principal Component Analysis, PCA)がある。いくつかのテストの成績を総合した総合的成績、いろいろな症状を総合した総合的な重症度、種々の財務指標に基づく企業の評価等を求めたいといった場合に用いられる。
　p変量(p次元)の観測値をm個(m次元)の主成分に縮約させるという意味で、次元を減少させる方法ということもでき、多変量データを要約する一つの有力な方法である。

2変量の場合の主成分分析 : 理解を助けるため

定式化 : 配布資料 54ページ～
- 重み(係数) : a1、a2
- 合成変量(線形結合) : z
- よく代表するように、a1 と a2 を決める。
- より広がって測定できる軸に沿うと情報量が多い。
- 全測定値の分散を最大化する軸を決定する。

身長と体重の総合指標を求めよう : プログラム : les1201.sas

 /* Lesson 12-1 */
 /*    File Name = les1201.sas   01/13/05   */

data gakusei;
  infile 'all04b.prn'
    firstobs=2;
  input sex $ shintyou taijyuu kyoui
        jitaku $ kodukai carryer $ tsuuwa;

proc print data=gakusei(obs=10);
run;

proc plot data=gakusei;                        : 散布図
  plot shintyou*taijyuu;                       : 元の変量のプロット
run;                                           :
proc princomp cov data=gakusei out=outprin;    : 主成分分析(分散共分散行列)
  var shintyou taijyuu;                        : 2変量
run;                                           :
proc print data=outprin(obs=15);               : 結果の出力
run;                                           :
proc plot data=outprin;                        : 散布図
  plot prin2*prin1/vref=0 href=0;              : 主成分得点のプロット
run;                                           :
proc sort data=outprin;                        : 説明のためにソートしてみる
  by prin1;                                    : 第一主成分で
run;                                           :
proc print data=outprin;                       : 体重がややが効いていることの確認
run;                                           :

出力結果 : les1201.lst

身長と体重の散布図
各変量の平均、標準偏差、分散共分散行列
固有値、比率(寄与率)、累積寄与率 : 解釈に使う
固有ベクトル(係数a1とa2) : 解釈に使う
主成分得点 : 各個人の得点(z)、2つある
第1軸と第2軸の主成分得点の散布図

SAS システム 2 18:09 Tuesday, January 11, 2005 プロット : SHINTYOU*TAIJYUU. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 45 オブザベーションが欠損値です．) SHINTYOU | 200 + | | B A 180 + A BDCEDDBEA B B A A A | BAFDKHTNHGCFECB BA | AEAGIFFECBCEAA AA A A 160 + ADCEDHDDBABB | A EC ECDA A A | A BAA 140 + ---+-----------+-----------+-----------+-----------+-- 20 40 60 80 100 TAIJYUU SAS システム 3 18:09 Tuesday, January 11, 2005 Principal Component Analysis 272 Observations 2 Variables Simple Statistics SHINTYOU TAIJYUU Mean 168.5496324 58.70845588 StD 8.1312163 9.42776980 SAS システム 4 18:09 Tuesday, January 11, 2005 Principal Component Analysis Covariance Matrix SHINTYOU TAIJYUU SHINTYOU 66.11667883 54.16924666 TAIJYUU 54.16924666 88.88284336 Total Variance = 154.99952219 Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative PRIN1 132.852 110.705 0.857113 0.85711 PRIN2 22.147 . 0.142887 1.00000 SAS システム 5 18:09 Tuesday, January 11, 2005 Principal Component Analysis Eigenvectors PRIN1 PRIN2 SHINTYOU 0.630219 0.776417 TAIJYUU 0.776417 -.630219 SAS システム 6 18:09 Tuesday, January 11, 2005 S H T K C I A J O A T N I K I D R S P P T J Y T U R U R R O S Y Y O A K Y U I I B E O U U K A E W N N S X U U I U I R A 1 2 1 F 145.0 38.0 . J 10000 . -30.9198 -5.23348 2 F 146.7 41.0 85 J 10000 Vodafone 6000 -27.5192 -5.80423 3 F 148.0 42.0 . J 50000 . -25.9235 -5.42510 ＜中略＞ SAS システム 8 18:09 Tuesday, January 11, 2005 プロット : PRIN2*PRIN1. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 45 オブザベーションが欠損値です．) 20 + | | | PRIN2 | A | A | A BCABABBCBA B | A BC BDAGCAGGCGGFCADD A 0 +-------------BBBAAACCAI-CEDFEEDICACFBAE-AA-----A--------- | A AAAAABABCDAABCA C CB EDB FD A BA | AAA AA A A A B|BA A A AA A | A | AA | | A A -20 + | A A ---+------------+------------+------------+------------+-- -40 -20 0 20 40 PRIN1 SAS システム 9 18:09 Tuesday, January 11, 2005 S H T K C I A J O A T N I K I D R S P P T J Y T U R U R R O S Y Y O A K Y U I I B E O U U K A E W N N S X U U I U I R A 1 2 1 F 148.9 . . J 60000 . . . 2 F 153.0 . . G 120000 DoCoMo 200 . . 3 F 155.0 . . J 20000 . . . ＜中略＞ SAS システム 46 18:09 Tuesday, January 11, 2005 S H T K C I A J O A T N I K I D R S P P T J Y T U R U R R O S Y Y O A K Y U I I B E O U U K A E W N N S X U U I U I R A 1 2 297 M 175.0 74.0 . J 0 . 15.9378 -4.62885 298 M 180.0 70.0 94 G 70000 au 5000 15.9832 1.77412 299 M 180.0 70.0 . J 40000 au 4000 15.9832 1.77412 300 M 180.0 70.0 . . . 15.9832 1.77412 301 M 180.0 70.0 . J 40000 DoCoMo 6500 15.9832 1.77412 302 M 178.7 71.2 95 0 . 16.0956 0.00851 303 M 173.5 76.5 . G 100000 . 16.9335 -7.36902 304 M 184.0 68.0 85 30000 . 16.9512 6.14022 305 M 182.0 70.0 90 G 100000 . 17.2436 3.3270 306 M 185.0 68.0 93 J 0 . 17.5815 6.9166 307 M 175.0 77.0 95 G 130000 . 18.2670 -6.5195 308 M 179.1 74.2 . 0 au 4000 18.6769 -1.5716 309 M 176.5 78.0 96 J 10000 . 19.9888 -5.9851 310 M 177.0 78.0 . J 40000 . 20.3039 -5.5969 311 M 181.5 74.5 . G 120000 au 3000 20.4224 0.1028 312 M 178.0 78.0 110 G 50000 . 20.9341 -4.8205 313 M 169.3 88.5 94 J 0 . 23.6036 -18.1926 314 M 186.0 82.0 . J 0 . 29.0815 -1.1300 315 M 182.0 90.0 100 J 40000 . 32.7720 -9.2774 316 M 178.0 95.0 . 1000 No . 34.1332 -15.5342 317 M 178.0 100.0 112 G 60000 . 38.0153 -18.6853

解釈方法
- 寄与率 : その軸がどの程度説明力を持っているか : 第1軸だけで十分(85.7%)。第2軸に含まれる説明力は小さい(14.3%)。
- 固有ベクトル : その軸の特徴を示している : 身長と体重の重みはほぼ同等だが、体重がやや大きめに効いている(第1軸)
- 主成分得点と散布図 : 各個人がどこに付置されているか
- 第1軸 : 全体的な体格の指標。身長と体重を足したような指標。

3変量以上の主成分分析

定式化 : 資料 71ページ～
- 2変量の拡張
- 合成変量(線形結合) : z
- 合成変量の分散を最大化する軸を決定する。

身長、体重、胸囲での総合指標を求めてみよう : プログラム : les1202.sas

/* Lesson 12-2 */ /* File Name = les1202.sas 01/13/05 */ data gakusei; infile 'all04b.prn' firstobs=2; input sex $ shintyou taijyuu kyoui jitaku $ kodukai carryer $ tsuuwa; proc print data=gakusei(obs=10); run; proc princomp cov data=gakusei out=outprin; : 主成分分析(分散共分散行列) var shintyou taijyuu kyoui; : 3変量 run; : proc print data=outprin(obs=15); : 結果の出力 run; : proc plot data=outprin; : 散布図 plot prin2*prin1/vref=0 href=0; : 主成分得点のプロット plot prin3*prin2/vref=0 href=0; : plot prin3*prin1/vref=0 href=0; : run; :

出力結果 : les1202.lst

各変量の平均、標準偏差、共分散行列
固有値、比率(寄与率)、累積寄与率
固有ベクトル
主成分得点
第1軸～第3軸の散布図

                              SAS システム                             3
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis
     102 Observations
       3 Variables
                           Simple Statistics

                     SHINTYOU           TAIJYUU             KYOUI

       Mean       167.4078431       58.86666667       86.51960784
       StD          8.8461401       10.86787740        7.68273156

                              SAS システム                             4
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis
                           Covariance Matrix

                       SHINTYOU           TAIJYUU             KYOUI

     SHINTYOU        78.2541953        70.2814521        25.2028150
     TAIJYUU         70.2814521       118.1107591        54.8382838
     KYOUI           25.2028150        54.8382838        59.0243642

                              SAS システム                             5
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis

                     Total Variance = 255.38931858

                  Eigenvalues of the Covariance Matrix

            Eigenvalue      Difference      Proportion      Cumulative

 PRIN1         196.659         154.604        0.770037         0.77004
 PRIN2          42.055          25.380        0.164670         0.93471
 PRIN3          16.675            .           0.065292         1.00000

                              SAS システム                             6
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis
                              Eigenvectors

                            PRIN1         PRIN2         PRIN3

           SHINTYOU      0.529571      -.661425      0.531104
           TAIJYUU       0.750220      0.072997      -.657146
           KYOUI         0.395884      0.746450      0.534872

                              SAS システム                             7
                                         18:09 Tuesday, January 11, 2005
          S
          H     T            K C
          I     A     J      O A          T
          N     I   K I      D R          S      P       P        P
          T     J   Y T      U R          U      R       R        R
   O  S   Y     Y   O A      K Y          U      I       I        I
   B  E   O     U   U K      A E          W      N       N        N
   S  X   U     U   I U      I R          A      1       2        3

    1 F 145.0 38.0  . J  10000             .    .       .       .     
    2 F 146.7 41.0 85 J  10000 Vodafone 6000 -24.9718 11.2582 -0.06979
    3 F 148.0 42.0  . J  50000             .    .       .       .     
    4 F 148.0 43.0 80 J  50000 DoCoMo   4000 -24.7623  6.8120 -3.36800
    5 F 148.9   .   . J  60000             .    .       .       .     
    6 F 149.0 45.0  . G  60000             .    .       .       .     
    7 F 150.0 46.0 86    40000             . -19.0772 10.1869 -1.06801
    8 F 151.0 50.0  . G  60000 J-PHONE     .    .       .       .     
    9 F 151.7 41.5 80 J  35000             . -23.9283  4.2553 -0.41720
   10 F 152.0 35.0 77 J  60000 DoCoMo   2000 -29.8335  1.3430  2.40897
   11 F 152.0 43.0  . J  20000 au       3500    .       .       .     
   12 F 152.0 44.0  .    45000 DoCoMo   4000    .       .       .     
   13 F 153.0 41.0  . J 125000 No          .    .       .       .     
   14 F 153.0 42.0  . G      0 Vodafone 1000    .       .       .     
   15 F 153.0 46.5 87 G  10000             . -16.7175  8.9856  0.73160

                              SAS システム                             9
                                         18:09 Tuesday, January 11, 2005
        プロット : PRIN2*PRIN1.  凡例: A = 1 OBS, B = 2 OBS, ...
       (NOTE: 215 オブザベーションが欠損値です．)
PRIN2 |                          |
   20 +                          |
      |           A   A        A |  A   A          A         A
      |           AA A BABCA  AB | A AC    A     A
    0 +--------A---A---ABCBDCACA-CABFA-BBCA-B-AA-------A----------------
      |              A AA    AA  AB AABBC  AA
      |                     A    |B A     A
  -20 +                          |
      |                 A        |
      |                          |
  -40 +                          |
      ---+-----------+-----------+-----------+-----------+-----------+--
        -40         -20          0          20          40          60
                                     PRIN1

                              SAS システム                            10
                                         18:09 Tuesday, January 11, 2005
        プロット : PRIN3*PRIN2.  凡例: A = 1 OBS, B = 2 OBS, ...
       (NOTE: 215 オブザベーションが欠損値です．)
PRIN3 |                                      |
   10 +                                      |
      |                       A   A   AB    A| A           A A
      |                     A  A   A AA  CAEBCDA A BD A       A
    0 +----------------------A---A-A--B--A--EAAADBCBA-A-AA-A------------
      |                     A    A  A    AA CC  CBA AA
      |                           A   AA A   | AA        A     A
  -10 +                                      |  A
      |          A                           |       A
      |                                      |
  -20 +                                      |
      ---+-----------+-----------+-----------+-----------+-----------+--
        -30         -20         -10          0          10          20
                                     PRIN2

                              SAS システム                            11
                                         18:09 Tuesday, January 11, 2005
        プロット : PRIN3*PRIN1.  凡例: A = 1 OBS, B = 2 OBS, ...
       (NOTE: 215 オブザベーションが欠損値です．)
PRIN3 |                          |
   10 +                          |
      |                  A       AA   A C   A      A
      |        A     A  AAACA BA AACFABAA ABB
    0 +-----------AA--ACBBCBBAAA-AC-ABAA--A-----------------------------
      |           AA   AA A AAAA |  B  BBB    AA
      |              A        AA A    A  A             A     A
  -10 +                  A       |
      |                 A        |               A
      |                          |
  -20 +                          |
      ---+-----------+-----------+-----------+-----------+-----------+--
        -40         -20          0          20          40          60
                                     PRIN1

解釈方法
- 寄与率 : 2軸まで取れば十分のようだ(93.5%)。
- 第1軸 : 全体的な体格の因子。特に体重が効いている。
- 第2軸 : 太さの因子(?)。胸囲が正で身長が負。
- 第3軸 : 華奢さの因子(?)。無視しても良い軸であるが。(6.5%)。

相関行列を使う理由

変量によって測定単位が異なる
使う単位によって解析結果が異なる
分散の影響を受ける
各変量を標準化して用いる : 相関行列 <===> 分散共分散行列

相関行列を用いて体格の総合指標を求めてみよう : プログラム : les1203.sas

 /* Lesson 12-3 */
 /*    File Name = les1203.sas   01/13/05   */

data gakusei;
  infile 'all04b.prn'
    firstobs=2;
  input sex $ shintyou taijyuu kyoui
        jitaku $ kodukai carryer $ tsuuwa;

proc print data=gakusei(obs=10);

run;                                          :
proc princomp data=gakusei out=outprin;       : 相関係数を使って
  var shintyou taijyuu kyoui;                 :
run;                                          :
proc print data=outprin(obs=15);
run;
proc plot data=outprin;
  plot prin2*prin1/vref=0 href=0;
  plot prin3*prin2/vref=0 href=0;
  plot prin3*prin1/vref=0 href=0;
run;

出力結果 : les1203.lst

各変量の平均、標準偏差、相関行列
固有値、比率(寄与率)、累積寄与率
固有ベクトル
主成分得点
第1軸～第3軸の散布図

                              SAS システム                             3
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis

     102 Observations
       3 Variables
                           Simple Statistics

                     SHINTYOU           TAIJYUU             KYOUI

       Mean       167.4078431       58.86666667       86.51960784
       StD          8.8461401       10.86787740        7.68273156

                              SAS システム                             4
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis

                           Correlation Matrix

                         SHINTYOU       TAIJYUU         KYOUI

           SHINTYOU        1.0000        0.7310        0.3708
           TAIJYUU         0.7310        1.0000        0.6568
           KYOUI           0.3708        0.6568        1.0000

                              SAS システム                             5
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis

                 Eigenvalues of the Correlation Matrix

            Eigenvalue      Difference      Proportion      Cumulative

 PRIN1         2.18484         1.55273        0.728281         0.72828
 PRIN2         0.63211         0.44907        0.210704         0.93899
 PRIN3         0.18304          .             0.061015         1.00000

                              SAS システム                             6
                                         18:09 Tuesday, January 11, 2005
                      Principal Component Analysis

                              Eigenvectors

                            PRIN1         PRIN2         PRIN3

           SHINTYOU      0.559350      -.651569      0.512431
           TAIJYUU       0.638287      -.055869      -.767768
           KYOUI         0.528883      0.756530      0.384637

解釈方法
- 寄与率 : 2軸まで取れば十分のようだ(93.9%)。
- 第1軸 : 全体的な体格の因子。
- 第2軸 : 太さの因子。
- 分散共分散行列を使ったときよりも第1軸の固有ベクトル同士が近い値になった。しかし、軸の解釈に違いはない。その理由はこの例では 3変量のスケールや分散にそれほどの違いがないためと想像される。
- 分散共分散行列と相関行列を使ったときの違いを見てみたければ、 shintyou のみを mm 単位で測定したと考えて、 100倍したものをデータとして両者の出力を比較してみよ。
  プログラム : les1204.sas 、出力結果 : les1204.lst

主成分の数の決定基準 : 配布資料 80ページ
明確に決まっているわけではないが、以下のような基準が一般的に用いられている。また、結果の解釈の都合上、多少増減させることもある。
- 累積寄与率がある程度(例えば80%以上)以上大きくなること
- 相関行列を用いている場合、固有値が 1以上
- 固有値のギャップがある程度以上大きいこと
- ...
いろいろなデータを主成分分析に適用して、解釈してみよう
[演習1] 小遣いまでの 4変量のデータでは?
[演習2] 自分の収集したデータでは?
[注意] データによっては解釈が困難なことも有り得る。
また、自分の思い付かない結果を含んでいることもある。
[参考] 「J:\コンピュータによる統計解析02(林篤裕)\」に以下のデータを置いておく。
1. seiseki.dat
  
  中学2年生の成績データ。23名x5科目。国語、社会、数学、理科、英語。
  配布資料に掲載され、例題に使われていたデータ。
2. food.dat
  
  100 種類の食品の嗜好度データ。100食品x10グループ。
3. syumi.dat
  
  趣味に関するアンケート調査データ。30種類x6グループ。
因子分析 (イントロのみ)
　主成分分析は、p変量(p次元)の観測値をm個(m次元)の主成分に縮約させる方法であった。その意味では、因子分析(Factor Analysis, FA)も同じような方法であるのだが、主成分分析の場合は、データの散らばり方(分散)を捉えてデータ特性を把握する手法であった。因子分析は、変数間に(潜在的な)構造を持ち込んで関係を探る手法である (少し理解しにくいかもしれないが)。この手法は心理学の分野で広く利用されている。
定式化 : 配布資料 195ページ～
- 測定対象 zji : 成績、測定値、...。
- 共通因子 : fi : 因子得点(測定不能)、個体の特徴付け、i=1,2,...,n.
- 因子負荷量 : aj : 因子の特徴付け、j=1,2,...,p.
- 独自因子 : eji : 変動
- いくつかの仮定 : fi、aj、eji
- 因子の解釈
- 因子軸の回転 : 直交回転、斜交回転
- 因子数を決めるために行きつ戻りつの試行錯誤が必要になる
主成分分析(PCA)と因子分析(FA) : 解釈する際の考慮点と両手法の利用時の違い
- 潜在的な構造が仮定できるか? モデルが適用可能な問題か吟味する必要性。
- 単位系を変えて解析してみる。: 主成分分析
- 軸数、因子数を変えて解釈を行ってみる。行きつ戻りつして試行錯誤してみる。
- いろいろなデータで経験を積んでみる。
- どっちを使う? : やってみる。解釈してみる。今までの事例と比較してみる。
- 対象データを熟知している方が解釈しやすい(熟知の必要性)。
- 因子の特徴付けはデータのバックグラウンドに深く関係。
- 経験を積むとより納得する説明ができる。
- ...
- 是非各自で手を動かして解析してみる。経験してほしい。
- いろいろなデータを両手法に適用して、解釈してみよう
  [例1] 小遣いまでの 4変量のデータでは?
  [例2] 自分の収集したデータでは?
  [注意] データによっては解釈が困難なことも有り得る。
  また、自分の思い付かない結果を含んでいることもある。
最終レポート
半年を通して学んできた SAS の使い方、および統計手法を、自分が興味を持ったデータに適用してみて興味深い知見を得る体験をしてもらう。
1. 対象データ :
  - 自分で収集したデータ。
  - 一つである必要はない。複数でも良い。
2. 作業内容 :
  1. SAS を使って解析し、興味深い知見を引き出そう。
  2. 以下の点に注意しながらレポートを作成しよう。
  3. 利用するデータ解析手法については、特に制限や指定をしないが、「多変量解析の手法」を使うとより高度なデータ構造が把握できることがある。
  4. 前回のレポートの反省点を踏まえて作成すること。
  5. 興味を持った点や得られた知見に対する考察は人によって個々異なるものであるので、他人と相談することなく自分の力で解析しレポートを作成すること。
3. レポート : 以下に挙げるような項目を含めて作成すること。
  - 所属学部名、学籍番号、氏名
  - データ内容の説明
  - どのような点に興味を持ったか
  - 自分の解析目的
  - 何を知りたいためにどのような手法を使ったのか
  - 得られた知見と考察
  - その他、気付いたこと
  - 講義全体を通しての感想 : 今後の参考にしたいので
4. 提出期限 :
  2005年01月28日(金) 16:00まで
  
  注意 :
  
  紙で提出する場合は、事務所の受付終了時刻に注意すること。提出日は事務室の受領印で判断する。
  電子メールで提出する場合に、添付ファイルは使わないこと。また、提出日時はメールヘッダーから判断する。受領確認メールを必ず返すのでこれを受け取って提出完了となる。
  
  レポートを受領した者の学籍番号は、講義の連絡ページに掲載するので、確認すること。ただし、2回とも提出したからと言って単位が認定されるわけではない点には注意されたい。
データやプログラムのバックアップ
本年度を終えると(3月まで?)、stat システムにログインできなくなり、それと同時に stat システム内に保存してあるデータやプログラムも呼び出せなくなる(正確には消去されてしまう)。この半年間の勉強成果を残しておきたい人は、Windows 側に転送して、 FD や MO 等に早めにバックアップを取るようにして下さい。
最後に
この講義を通して、「統計」や「データ解析」という言葉に多少なりとも親しみを持っていただけただろうか? 統計手法については、数式よりもその手法の考え方や目的に重点をおいて説明したつもりである。また、それらを計算する"道具"として SAS を使った。
今後いろいろな場面で、種々の数値列に出会うことになると思うが、提示された数値にはどの様な意味(と意図)があり、どう理解して、個々人としてどうアクションを起すかの、一つの判断手段として活用してもらえれば幸いである。
なお、今まで紹介していた私のメールアドレスは実は講義用のものであった。今後、もし統計に関して何か疑問に出会い、私に連絡・相談してみたいと思った時は、以下のアドレスを使ってください。
メールアドレス : hayashi@rd.dnc.ac.jp
皆さんの期待に応えられたか心許無い部分もありますが、半年間お疲れ様でした。
今後は、... : 01月20日、27日

レポート作成に充ててください。

講義のホームページへ戻ります