二変量の関係、単回帰分析

統計解析 01 クラス : 第09回(06/12/03)

ここまで、SAS の使い方と，単変量(一変量)を取り扱う統計手法を主に紹介してきた。今後は、二変量以上、つまり、多変量解析を紹介していくことにする。まずは二変量の関係を説明する方法について紹介する。

複数変量の関係
- 身長と体重の関係 : どのように表現すれば良いのだろうか?
- 数値 : 相関係数、回帰分析 <=== 単変量の場合は基礎統計量であった。
- 図 : 散布図 <=== 単変量の場合はヒストグラムであった。
  [例] 「「インターネット人口」をどのように読んだらいいか(Impressの記事) 」内の図
  - 2002年7月発表(平成14年度版)の統計 : 国内のインターネット人口
    - 情報通信白書(我が国におけるインターネットの着実な普及) : ネット利用者は5593万人
    - 情報通信白書概要(PDF)

散布図と相関係数

どの様に分布しているのだろう?
分布の仕方を数値的に表現すると?

プログラム : les0901.sas

/* Lesson 09-1 */ /* File Name = les0901.sas 06/12/03 */ data gakusei; infile 'all03a.prn' firstobs=2; input sex $ height weight chest jitaku $ kodukai carrier $ tsuuwa; proc print data=gakusei(obs=10); run; : proc plot data=gakusei; : 散布図を描く plot height*weight; : 散布図の変量を指定(縦軸、横軸の順) plot weight*height; : run; : : proc corr data=gakusei; : 相関係数(相関行列)を計算 run; :

出力結果 : les0901.lst
SAS システム 2 17:20 Monday, June 9, 2003 プロット : HEIGHT*WEIGHT. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) HEIGHT | 200 + | | B A 180 + A ADCDDCACA A B A A | AABDJHQMGFCCDCB BA | AD GHEDDCBBDAA A A 160 + ADBCBGCCAABB | A D DCAA A A | A AAA 140 + ---+-----------+-----------+-----------+-----------+-- 20 40 60 80 100 WEIGHT SAS システム 3 17:20 Monday, June 9, 2003 プロット : WEIGHT*HEIGHT. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) 100 + A | A A WEIGHT | A A B A A | B CBDDC CBDAC BBD B AA | A AA C B CABBF GBMHKBHFFCC BADBB A 50 + AA CABBA BBF E EBBEF DAAAA A | A B B A BA | | | 0 + --+-----------+-----------+-----------+-----------+-----------+-- 140 150 160 170 180 190 HEIGHT SAS システム 4 17:20 Monday, June 9, 2003 Correlation Analysis 5 'VAR' Variables: HEIGHT WEIGHT CHEST KODUKAI TSUUWA Simple Statistics Variable N Mean Std Dev Sum Minimum Maximum HEIGHT 243 168.2 8.0126 40874.9 145.0 186.0 WEIGHT 219 58.9306 9.1418 12905.8 35.0000 100.0 CHEST 86 86.9651 8.0153 7479.0 56.0000 112.0 KODUKAI 230 51380.4 52427.6 11817500 0 300000 TSUUWA 39 8173.1 4820.9 318750 2000.0 30000.0 SAS システム 5 17:20 Monday, June 9, 2003 Correlation Analysis Pearson Correlation Coefficients / Prob > |R| under Ho: Rho=0 / Number of Observations HEIGHT WEIGHT CHEST KODUKAI TSUUWA HEIGHT 1.00000 0.70307 0.36019 0.03638 0.00375 0.0 0.0001 0.0007 0.5881 0.9819 243 219 86 224 39 WEIGHT 0.70307 1.00000 0.65937 -0.03117 0.10584 0.0001 0.0 0.0001 0.6588 0.5330 219 219 86 203 37 CHEST 0.36019 0.65937 1.00000 -0.11379 0.53589 0.0007 0.0001 0.0 0.3087 0.1103 86 86 86 82 10 KODUKAI 0.03638 -0.03117 -0.11379 1.00000 0.02468 0.5881 0.6588 0.3087 0.0 0.8847 224 203 82 230 37 TSUUWA 0.00375 0.10584 0.53589 0.02468 1.00000 0.9819 0.5330 0.1103 0.8847 0.0 39 37 10 37 39

結果の見方
- 縦軸と横軸の該当部分が交差したところにマークを付置
- データが1つなら「Aマーク」、2つなら「Bマーク」、...
- データ全体がどこに分布しているかが判る
- 縦軸と横軸を交換するだけで印象が異なる
- 各変量の平均値との比較
- 外れ値(Outlier)を見つける <===> 異常値
- サンプルサイズ、平均、標準偏差、最大値、最小値 <=== proc means だけでなく proc corr でも得られる。
- 相関係数(R) / 仮説「相関係数(R)=0」の起る確率 / サンプルサイズ
- -1 ≦ 相関係数(R)≦ 1
- R＝0 : 無相関。R＞0 : 正の相関、右肩上がり。R＜0 : 負の相関、右肩下がり。
- 相関係数(R)が 0 かの検定 : 値が小さいと有意(相関係数が 0 ではない)
  この例 : 身長と体重、身長と胸囲、体重と胸囲の間には有意な関係があると言える(5%, 1%)。
[注意] 相関行列は細切れに表示されるので、不要部分を削除することによって整形しレポート等に使うこと。

単回帰分析 : 予測等に使う、連続変量の関係

体重を身長で説明(回帰)したい : [体重]=a[身長]+b : 回帰係数
説明される変量と説明する変量 : 説明する変数が一つ＝「単」 <===>「重」
説明される変量 : 目的変数、従属変数、dependent variable
説明する変量 : 説明変数、独立変数、independent variable
どうやって直線を決める? : 予測誤差の2乗和を最小にする

プログラム : les0902.sas
/* Lesson 09-2 */ /* File Name = les0902.sas 06/12/03 */ data gakusei; infile 'all03a.prn' firstobs=2; input sex $ height weight chest jitaku $ kodukai carrier $ tsuuwa; proc print data=gakusei(obs=10); run; : proc reg data=gakusei; : 回帰分析 model weight=height; : 変量を指定 output out=outreg1 predicted=pred1 residual=resid1; : 結果項目の保存 run; : : proc print data=outreg1(obs=15); : まずは表示 run; : : proc plot data=outreg1; : 散布図を描く plot weight*height/vaxis=20 to 100 by 20; : 体重と身長(縦軸指定) plot pred1*weight; : 予測値と観測値 plot resid1*pred1/vref=0; : 残差と予測値(残差解析)(水平軸指定) plot resid1*height/vref=0; : 残差と説明変数(残差解析) plot resid1*weight/vref=0; : 残差と目的変数(残差解析) run;
[補足] proc plot の下に以下の行を追加した方がより正確ではある。欠損値を含むデータを解析対象から除外する事を指示する命令文である。「欠損値です」の表示が無くなるだけで、得られる図は同じ(欠損値は描画できないから)。試しに追加する/しないの両方で実行してみよ。
where weight^=. and height^=.;

出力結果 : les0902.lst
SAS システム 2 10:59 Thursday, June 12, 2003 Model: MODEL1 Dependent Variable: WEIGHT Analysis of Variance Sum of Mean Source DF Squares Square F Value Prob>F Model 1 9005.73624 9005.73624 212.117 0.0001 Error 217 9213.04878 42.45645 C Total 218 18218.78502 Root MSE 6.51586 R-square 0.4943 Dep Mean 58.93059 Adj R-sq 0.4920 C.V. 11.05684 SAS システム 3 10:59 Thursday, June 12, 2003 Parameter Estimates Parameter Standard T for H0: Variable DF Estimate Error Parameter=0 Prob > |T| INTERCEP 1 -78.449102 9.44294320 -8.308 0.0001 HEIGHT 1 0.813016 0.05582278 14.564 0.0001 SAS システム 4 10:59 Thursday, June 12, 2003 K C H W J O A T R E E C I D R S P E I I H T U R U R S O S G G E A K I U E I B E H H S K A E W D D S X T T T U I R A 1 1 1 F 145.0 38.0 . J 10000 . 39.4383 -1.4383 2 F 148.0 42.0 . J 50000 . 41.8773 0.1227 3 F 148.0 43.0 80 J 50000 DoCoMo 4000 41.8773 1.1227 4 F 148.9 . . J 60000 . 42.6090 . 5 F 149.0 45.0 . G 60000 . 42.6903 2.3097 6 F 150.0 46.0 86 40000 . 43.5033 2.4967 7 F 151.7 41.5 80 J 35000 . 44.8855 -3.3855 8 F 152.0 35.0 77 J 60000 DoCoMo 2000 45.1294 -10.1294 9 F 153.0 41.0 . J 125000 No . 45.9424 -4.9424 10 F 153.0 46.5 87 G 10000 . 45.9424 0.5576 11 F 153.0 50.0 . G 70000 DoCoMo 10000 45.9424 4.0576 12 F 153.0 55.0 78 J 30000 . 45.9424 9.0576 13 F 153.5 46.0 . J 30000 J-PHONE 8000 46.3489 -0.3489 14 F 154.0 46.0 . . . 46.7554 -0.7554 15 F 155.0 48.0 83 G 180000 . 47.5684 0.4316 SAS システム 6 10:59 Thursday, June 12, 2003 プロット : WEIGHT*HEIGHT. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) WEIGHT | 100 + A | A A 80 + A A B A A | B CBDDC CBDAC BBD B AA 60 + A AA C B CABBF GBMHKBHFFCC BADBB A | AA CABBA BBF E EBBEF DAAAA A 40 + A B B A BA | 20 + | --+-----------+-----------+-----------+-----------+-----------+-- 140 150 160 170 180 190 HEIGHT SAS システム 7 10:59 Thursday, June 12, 2003 プロット : PRED1*WEIGHT. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) 80 + | PRED1 | A B A | A ADAAFAA D A A A A | A BBBJFDD FAA A BB 60 + BDBHGGGJBGBAADAB A | AE DHBF BCAAC | BBBBBDAB AAA | BA BBAAA A A | A B AB A A 40 + A AA ---+------------+------------+------------+------------+-- 20 40 60 80 100 WEIGHT SAS システム 8 10:59 Thursday, June 12, 2003 プロット : RESID1*PRED1. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) | R 50 + e | s | A A i 25 + d | A A A A AAA A u | A A A BBAA BBBCDCCAA B A A a 0 +-------------A--BAA-ABBBBAABF-CEBBCGHBKHHGFGBDCF-A-AA------------ l | AA BAA B BA AEDCACCDB CD CABBA | A -25 + ---+-----------+-----------+-----------+-----------+-----------+-- 30 40 50 60 70 80 Predicted Value of WEIGHT SAS システム 9 10:59 Thursday, June 12, 2003 プロット : RESID1*HEIGHT. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) | R 50 + e | s | A A i 25 + d | A A A A A B A u | A A A B BAA B BBCDC BBA B A A a 0 +--------A---BAA-A-CABBA-ABF-C-EBBCG-HBKFIAGFGBD-ABF-A--AA-------- l | A A BA A B B A ADE CACCCAB CBB BABAB A | A -25 + ---+-----------+-----------+-----------+-----------+-----------+-- 140 150 160 170 180 190 HEIGHT SAS システム 10 10:59 Thursday, June 12, 2003 プロット : RESID1*WEIGHT. 凡例: A = 1 OBS, B = 2 OBS, ... (NOTE: 33 オブザベーションが欠損値です．) | R 50 + e | s | A A i 25 + d | A B BB A u | AAABBAHBCBFAB A A a 0 +--------------A-BAADCCHHDJFIROFKAG-C--------------------- l | A CABCF BJAHCCECAA | A -25 + ---+------------+------------+------------+------------+-- 20 40 60 80 100 WEIGHT

結果の見方
- 説明変量が予測に役立っているか?
  - 回帰に役立っているか : Prob>F : 小さいと有意(役立っている)
    [この例] 1% 未満(0.01%) なので役に立っていると言える。
- 決定係数 : R-Square ( 相関係数 : R )
  - 目的変量が説明変量でどの程度説明しているかの割合。
  - 1 に近いほど当てはまりが良いと言える。
    [この例] 50% 程(半分)を説明できている。
- 回帰係数 : Parameter Estimate
  [この例] a=0.813, b=-78.4
  説明変数が予測に役立っているか?
  回帰係数の検定(係数=0 か?) : Prob>|T| : 小さいと有意(ゼロではないと言える)
  [この例] 両者とも 1% 未満(0.01%) なので回帰係数はゼロではない(何らかの意味がある数字と言える)。
  残差の性質 ===> 正規性 : 残差プロット、残差解析
  
  残差(予測誤差)は正規分布をしていると仮定してモデルが構築されている。
  この仮定が覆ると、回帰分析として成立していないことになる。
  残差が正規分布をしているか確認する必要がある。
  均等に散らばっているか?
  傾向はないか?
  ...
  [この例] 残差には概ね傾向は見られない。ただし体重の大きい 3例程度は要確認。場合によっては外れ値として除外も。
[注意] 誤差は「説明変量」の軸と垂直に取ることに注意せよ。誤差は測定時に混入していると考えてモデルが構築されているから。

次回は、... : 6月19日 14:45
- 多変量解析 : 重回帰分析、...

おまけ : 単変量、二変量を視覚的に捉えると? by Mathematica

$1 dim. Normal Distribution$ [式(a)] 1次元正規分布 N(0,1)
$2 dim. Normal Distribution$ [式(b)] 2次元正規分布 N({0,0},{1,1}, ρ=0.0)
$2 dim. Normal Distribution$ [式(c)] 2次元正規分布 N({0,0},{1,1}, ρ=0.7)
$2 dim. Normal Distribution$ [式(d)] 2次元正規分布 N({0,0},{1,1}, ρ=0.7)、y=1 で切り出し
$2 dim. Normal Distribution$ [式(e)] 2次元正規分布 N({0,0},{1,1}, ρ=0.7)、x+y=2 で切り出し

講義のホームページへ戻ります