回帰分析(後編)

データサイエンス : 第4回 (10/29/18)

　前回は構造がシンプルな単回帰分析を例に、この分析方法の考え方や残差の取り方、および、なぜそのように取る必要があるか等を説明した。今回は、より実用場面で登場する重回帰分析まで拡張し、分析の進め方や利用時の注意点を含めて紹介する。いろいろな場面での応用が可能な手法なので、大いに利用していただきたい。
　なお、当初PC上の手慣れた統計ソフト使って演習をしながら講義を進めようと考えていたが、講義開設時間帯にPCを設置した教室に空きがなく、また、一部PCを持参できない学生がいることから、今期(Q3)において 教室ではPCを利用しないことにする。

　● 目次: 回帰分析 : 連続変量の予測
　　 4.　単回帰分析 : 予測等に使う、連続変量の関係 [第3回の資料へジャンプ]
　　 5.　幾つかのチェック項目 [第3回の資料へジャンプ]
　　 6.　有効桁数に注意せよ : どこまでが「意味ある桁」か? [第3回の資料へジャンプ]
　　 7.　「体重の大きい者を除外」して実行するには?
　　 8.　重回帰分析 : 2変量以上の説明する変量(説明変量)で 1変量(目的変量)を説明
　　 9.　特定グループでの解析
　　 10.　[回帰分析:要点] 解析する上での注意点
　　 11.　4つの尺度と回帰分析
　　 12.　誤用?! : 外挿

「体重の大きい者を除外」して実行するには?
　前節の正規確率プロットを見ると、体重の大きい 4例程度が正規性を乱していることが判った。そこで体重の大きい者を除外して再度回帰分析にかけてみよう。その際、除外すると言うよりは、「解析対象者を条件付けして絞る」と考えた方が解りやすいかもしれない。ここでは「80Kg 未満の者を対象として」解析を行なう例を示す。

[注意] 「正規性を乱している者は何でも除外してかまわない」というわけではない。今回の場合は、元データに戻ったところ、体育会系のずんぐりした者であったため、普通の大学生とは異なる性質を有していると判断し除外対象とした。除外する場合にはその根拠を明確にしないと、「恣意的な解析」と言われかねないことに注意せよ。

プログラム : DSles0401.sas
/* Lesson 04-1 */ /* File Name = les0401.sas 10/29/18 */ options linesize=72 pagesize=20; options nocenter linesize=78 pagesize=30; proc printto log = 'Kougi/les0401_log.txt' print = 'Kougi/les0401_Results.txt' new; ods listing gpath='Kougi/SAS_ODS99'; data gakusei; infile 'Kougi/all07au.txt' firstobs=2; input sex $ shintyou taijyuu kyoui jitaku $ kodukai carryer $ tsuuwa; if sex^='M' & sex^='F' then delete; if shintyou=. | taijyuu=. then delete; : 欠損値データを除外 proc print data=gakusei(obs=10); run; proc corr data=gakusei; where taijyuu<80; : 対象データを絞る run; proc reg data=gakusei; model taijyuu=shintyou; where taijyuu<80; : 対象データを絞る output out=outreg1 predicted=pred1 residual=resid1; run; proc print data=outreg1(obs=15); run; proc plot data=outreg1; where taijyuu<80; : 対象データを絞る plot taijyuu*shintyou/vaxis=20 to 100 by 20; plot pred1*taijyuu; plot resid1*pred1 /vref=0; plot resid1*shintyou/vref=0; plot resid1*taijyuu /vref=0; plot resid1*(pred1 shintyou taijyuu)/vref=0; : まとめて指定することも可 run; proc univariate data=outreg1 plot normal; var resid1; run;

出力結果 : DSles0401_Results.txt , DSles0401_out.pdf
2018年10月26日金曜日 20時38分36秒 69 CORR プロシジャ 5 変数 : shintyou taijyuu kyoui kodukai tsuuwa 単純統計量変数 N 平均標準偏差合計 shintyou 321 168.59346 8.02514 54119 taijyuu 321 58.34984 8.54729 18730 kyoui 111 85.74775 7.95609 9518 kodukai 303 49107 51751 14879500 tsuuwa 132 6742 4470 890002 単純統計量変数最小値最大値 shintyou 145.00000 186.00000 taijyuu 35.00000 84.00000 kyoui 46.00000 110.00000 kodukai 0 350000 tsuuwa 0 30000 2018年10月26日金曜日 20時38分36秒 70 CORR プロシジャ Pearson の相関係数 H0: Rho=0 に対する Prob > |r| オブザベーション数 shintyou taijyuu kyoui kodukai tsuuwa shintyou 1.00000 0.72880 0.28729 0.06533 -0.05960 <.0001 0.0022 0.2569 0.4972 321 321 111 303 132 taijyuu 0.72880 1.00000 0.38406 0.06408 -0.04543 <.0001 <.0001 0.2662 0.6050 321 321 111 303 132 kyoui 0.28729 0.38406 1.00000 -0.28125 -0.17722 0.0022 <.0001 0.0033 0.2940 111 111 111 107 37 kodukai 0.06533 0.06408 -0.28125 1.00000 0.26949 0.2569 0.2662 0.0033 0.0021 303 303 107 303 128 tsuuwa -0.05960 -0.04543 -0.17722 0.26949 1.00000 0.4972 0.6050 0.2940 0.0021 132 132 37 128 132 2018年10月26日金曜日 20時38分36秒 71 REG プロシジャモデル : MODEL1 従属変数 : taijyuu 読み込んだオブザベーション数 321 使用されたオブザベーション数 321 分散分析要因自由度平方和平均平方 F 値 Pr > F Model 1 12417 12417 361.39 <.0001 Error 319 10961 34.35989 Corrected Total 320 23378 Root MSE 5.86173 R2 乗 0.5311 従属変数の平均 58.34984 調整済み R2 乗 0.5297 変動係数 10.04584 2018年10月26日金曜日 20時38分36秒 72 REG プロシジャモデル : MODEL1 従属変数 : taijyuu パラメータの推定パラメータ変数自由度推定値標準誤差 t 値 Pr > |t| Intercept 1 -72.51537 6.89174 -10.52 <.0001 shintyou 1 0.77622 0.04083 19.01 <.0001 2018年10月26日金曜日 20時38分37秒 73 Obs sex shintyou taijyuu kyoui jitaku kodukai carryer tsuuwa pred1 resid1 1 F 145.0 38.0 . J 10000 . 40.0362 -2.0362 2 F 146.7 41.0 85 J 10000 Vodafone 6000 41.3558 -0.3558 3 F 148.0 42.0 . J 50000 . 42.3648 -0.3648 4 F 148.0 43.0 80 J 50000 DoCoMo 4000 42.3648 0.6352 5 F 149.0 45.0 . G 60000 . 43.1411 1.8589 6 F 150.0 46.0 86 40000 . 43.9173 2.0827 7 F 151.0 45.0 . J 20000 docomo 5000 44.6935 0.3065 8 F 151.0 50.0 . G 60000 J-PHONE . 44.6935 5.3065 9 F 151.7 41.5 80 J 35000 . 45.2368 -3.7368 10 F 152.0 35.0 77 J 60000 DoCoMo 2000 45.4697 -10.4697 11 F 152.0 43.0 . J 20000 au 3500 45.4697 -2.4697 12 F 152.0 44.0 . 45000 DoCoMo 4000 45.4697 -1.4697 13 F 153.0 41.0 . J 125000 No . 46.2459 -5.2459 14 F 153.0 42.0 . G 0 Vodafone 1000 46.2459 -4.2459 15 F 153.0 46.5 87 G 10000 . 46.2459 0.2541 2018年10月26日金曜日 20時38分37秒 74 : taijyuu*shintyou. A=1, B=2, ... taijyuu | 100 + | | | A 80 + A A AAAA A | B A A B A A | AAB EDB C AAA F A A B | B B BC AGC BBB DDCB CEA A A 60 + A AA BB AACCABIFBHIFACCDC AAA AA | A B EC AA ECHGACDF EBB DB A | A A CDAC DE DDB CFBAA AA A A | A AAA BABA BAB AB ABA A 40 + A AA A B B | A | | 20 + | --+------------+------------+------------+------------+------------+-- 140 150 160 170 180 190 shintyou 2018年10月26日金曜日 20時38分37秒 75 : pred1*taijyuu. A=1, B=2, ... | 予 80 + 測 | 値 | | A t 70 + AA A A B A A a | A BA CB CA F B i | AABAEAAAA ACCB A C j | A BB BABB JDBDA D AEABA A AA A A y 60 + B ACA CFBDAIBHDBACA B CAB A A u | AD A ECE GCDCBB CA DA A A A u | A C DBAA D A A AAB A A | C CB CACDA C A AA A 50 + A BA AEA AA A A | B A C CABA A | A ABAA AB B A | AAA A 40 + A | --+----------+----------+----------+----------+----------+----------+-- 30 40 50 60 70 80 90 taijyuu 2018年10月26日金曜日 20時38分37秒 76 : resid1*pred1. A=1, B=2, ... 40 + | | | | | A A 残 20 + A 差 | B A | A A A AAAA | A A A AB AABDA A A | A A AA ABA BCABAACAAA B A | AA A A A CA AAABAFEAB AEBBA F 0 +----AB---AABABDACAAB-DA-DBECCHCGD-DABBBB--A---A-------------- | A AAAA AABCF ADBACEECDDDHACCCC AEAA A A | A BA B ABA CAAAAABCA BB CAAA A | A DA AA BBA AA | A A | -20 + ---+-------------+-------------+-------------+-------------+-- 40 50 60 70 80 予測値 taijyuu 2018年10月26日金曜日 20時38分37秒 77 : resid1*shintyou. A=1, B=2, ... 40 + | | | | | A A 残 20 + A 差 | B A | A A A AAAA | A A A A B AAB DA A A | A A B ABA BC ABA ACB A AA A | AA A A A CA AAAB AFE BAA EBBA F 0 +----------AB---A-AAB-BDAC-AAB-DA--DBECBAHCAFDCAABBB-B---A---A-------- | A AAA A B B DE ADB ACEE CDDADGD CBD AEA A A A | A BA B ABA CAAAA AB CA BB C AAA A | A DA A A B BA AA | A A | -20 + --+------------+------------+------------+------------+------------+-- 140 150 160 170 180 190 shintyou 2018年10月26日金曜日 20時38分37秒 78 : resid1*taijyuu. A=1, B=2, ... 40 + | | | | | A A 残 20 + A 差 | A A A | A A AAC | A A A B A AACBB A A | A B AB AB FB DABA B | AA AA AA C A B GDCAEACD F 0 +-------------AAAA-AC-DCC-DDA-FBDFBIEFEA-BCA--A-A--------------------- | A BAA BBABCCEDDE GHCCANBACC B B | ABA CABC A DCA C BBACA A | A AD B BB A AA | A A | -20 + --+----------+----------+----------+----------+----------+----------+- 30 40 50 60 70 80 90 taijyuu

結果の見方 : 前節と本節の出力結果を比較して違いを明確にせよ
- 対象になったのは 321名。
- 当てはまりは良くなったか? : 異常値と外れ値の意味するもの
- 残差の正規性はどのように変化したか?
- 回帰係数はどのように変化したか?
- 説明力(決定係数)はどのように変化したか?
- 単に体重の重い者だけが正規性を乱している訳ではなさそうだ。

重回帰分析 : 2変量以上の説明する変量(説明変量)で 1変量(目的変量)を説明

説明変量が複数になる : 単 ===> 重
体重を身長と胸囲で説明したい。予測したい。
[体重]=a[身長]+b[胸囲]+c : 回帰係数を求めたい。
単回帰とアイディアは同じ
- 説明される変量(目的変量)と平行に残差を取る
- 残差には正規分布が仮定されている
- 残差の二乗和を最小にする(最小二乗法)

プログラム : DSles0402.sas

/* Lesson 04-2 */ /* File Name = les0402.sas 10/29/18 */ options linesize=72 pagesize=20; options nocenter linesize=78 pagesize=30; proc printto log = 'Kougi/les0402_log.txt' print = 'Kougi/les0402_Results.txt' new; ods listing gpath='Kougi/SAS_ODS99'; data gakusei; infile 'Kougi/all07au.txt' firstobs=2; input sex $ shintyou taijyuu kyoui jitaku $ kodukai carryer $ tsuuwa; if sex^='M' & sex^='F' then delete; if shintyou=. | taijyuu=. then delete; proc print data=gakusei(obs=10); run; proc reg data=gakusei; : 回帰分析 model taijyuu=shintyou kyoui; : 複数変量を指定 output out=outreg1 predicted=pred1 residual=resid1; : 結果項目の保存 run; : proc print data=outreg1(obs=15); run; : proc plot data=outreg1; : 散布図を描く where shintyou^=. and taijyuu^=. and kyoui^=.; : 解析に使ったデータのみ plot taijyuu*shintyou; : plot taijyuu*kyoui; : plot taijyuu*pred1; : 観測値と予測値 plot resid1*pred1 /vref=0; : 残差と予測値(残差解析) plot resid1*shintyou/vref=0; : 残差と説明変量(残差解析) plot resid1*kyoui /vref=0; : 残差と説明変量(残差解析) plot resid1*taijyuu /vref=0; : 残差と目的変量(残差解析) run; : : proc univariate data=outreg1 plot normal; : 残差を正規プロットして確かめる var resid1; : run; :

出力結果 : DSles0402_Results.txt , DSles0402_out.pdf
2018年10月26日金曜日 08時39分18秒 2 REG プロシジャモデル : MODEL1 従属変数 : taijyuu 読み込んだオブザベーション数 325 使用されたオブザベーション数 114 欠損値を含むオブザベーション数 211 分散分析要因自由度平方和平均平方 F 値 Pr > F Model 2 8070.70705 4035.35353 85.10 <.0001 Error 111 5263.40733 47.41808 Corrected Total 113 13334 Root MSE 6.88608 R2 乗 0.6053 従属変数の平均 58.79298 調整済み R2 乗 0.5982 変動係数 11.71242 2018年10月26日金曜日 08時39分18秒 3 REG プロシジャモデル : MODEL1 従属変数 : taijyuu パラメータの推定パラメータ変数自由度推定値標準誤差 t 値 Pr > |t| Intercept 1 -106.30023 12.75197 -8.34 <.0001 shintyou 1 0.80655 0.07854 10.27 <.0001 kyoui 1 0.34947 0.08192 4.27 <.0001 2018年10月26日金曜日 08時39分24秒 4 OBS sex shintyou taijyuu kyoui jitaku kodukai carryer tsuuwa pred1 resid1 1 F 145.0 38.0 . J 10000 . . . 2 F 146.7 41.0 85 J 10000 Vodafone 6000 41.7256 -0.72559 3 F 148.0 42.0 . J 50000 . . . 4 F 148.0 43.0 80 J 50000 DoCoMo 4000 41.0267 1.97328 5 F 149.0 45.0 . G 60000 . . . 6 F 150.0 46.0 86 40000 . 44.7367 1.26333 7 F 151.0 45.0 . J 20000 docomo 5000 . . 8 F 151.0 50.0 . G 60000 J-PHONE . . . 9 F 151.7 41.5 80 J 35000 . 44.0109 -2.51095 10 F 152.0 35.0 77 J 60000 DoCoMo 2000 43.2045 -8.20449 2018年10月26日金曜日 08時39分24秒 5 プロット : taijyuu*shintyou 凡例 : A = 1 obs, B = 2 obs, ... 100 + A | | A | A | A | A A 75 + A A | A A BAA A A A A | BB A A BAAA A A A taijyuu | A A A CA C AA B | B A AAAA C AA AA A A A A | A A AA A BABA AAA A 50 + AC B CD AAB B | A A A B A A BA A | AA A A | | A | 25 + --+------------+------------+------------+------------+------------+-- 140 150 160 170 180 190 shintyou 2018年10月26日金曜日 08時39分24秒 6 プロット : taijyuu*kyoui 凡例 : A = 1 obs, B = 2 obs, ... 100 + A | | A | A | A | A A 75 + A A | BD AB A | A A CAAAAB B A taijyuu | A A AGA B A | BB ADBDB A | A A A AAA CC AB 50 + A A DD G B | B DAA BA | B B | | A | 25 + ---+-------------+-------------+-------------+-------------+-- 40 60 80 100 120 kyoui 2018年10月26日金曜日 08時39分24秒 9 プロット : resid1*shintyou 凡例 : A = 1 obs, B = 2 obs, ... 40 + | | A | | A | A 残 20 + 差 | | A A | A A A AA | A A B A A A A | A BA A A BA A BA AA A 0 +----------A---A---A-AAA-A--BA--A--AAAA-AEA-A--AA-A-A----------------- | A B B DC AAB BA A B BAA A A B A A | A A AA CB A A A ABA A | A A A | A | -20 + --+------------+------------+------------+------------+------------+-- 140 150 160 170 180 190 shintyou 2018年10月26日金曜日 08時39分24秒 10 プロット : resid1*kyoui 凡例 : A = 1 obs, B = 2 obs, ... 40 + | | A | | A | A 残 20 + 差 | | A A | A AA B | A AA A BB | A BAAAB AAA B B A 0 +-----------------------A---C--A-ABFBBE--AB-----A------------- | EBCAGAEDA AB | AAABBA D AC A | BA | A | -20 + ---+-------------+-------------+-------------+-------------+-- 40 60 80 100 120 kyoui 2018年10月26日金曜日 08時39分24秒 11 プロット : resid1*taijyuu 凡例 : A = 1 obs, B = 2 obs, ... 40 + | | A | | A | A 残 20 + 差 | | A A | A A A AA | A AA A BB | A AA A A B CAABA A 0 +-----------------A-AAACA-B-C-ACBD-C---A---------------------- | A CADCD AB BCBA B AB | A A ABB B A AC B A | A A A | A | -20 + ---+-------------+-------------+-------------+-------------+-- 20 40 60 80 100 taijyuu

結果の見方
- 対象になったのは 114名。
- 説明変量群が予測に役立っているか?
  - 回帰に役立っているか : Prob>F : 小さいと有意
  - 「役立っている」と言える : 0.01% だから 1% で有意
- 決定係数 : R-Square ( 相関係数 : R )
  - 目的変量が説明変量でどの程度説明しているかの割合。
  - 1 に近いほど当てはまりが良いと言える。: 60.5%
  - 説明変量数が増えると大きくなるのが一般的。
- 回帰係数 : Parameter Estimate
  - 回帰式: a=0.807, b=0.349, c=-106
- ある特定の説明変量が予測に役立っているか?
  - 回帰係数の検定(帰無仮説:係数=0 か?) : Prob>|T| : 小さいと有意
  - 両方とも(身長も胸囲も)有意
  - 「各係数は 0ではない」と言える : 0.01% だから 1% で有意
- 残差の性質 ===> 正規性 : 残差プロット、残差解析
  - 残差(予測誤差)は正規分布をしていると仮定してモデルが構築されている。
  - この仮定が覆ると、回帰分析として成立していないことになる。
  - 残差が正規分布をしているか確認する必要がある。
  - 均等に散らばっているか?
  - 傾向はないか? : もし傾向があると言うことになれば正規性の仮定が崩れている
  - 体重の大きい 4名程度が外れ値と考えられるか要確認 ===> [演習1](第9節)
  - ...
- ...

特定グループでの解析

「男性のみ」と言う特定のグループに対して、同様の解析を行うには?

プログラム : DSles0403.sas

/* Lesson 04-3 */ /* File Name = les0403.sas 10/29/18 */ options linesize=72 pagesize=20; options nocenter linesize=78 pagesize=30; proc printto log = 'Kougi/les0403_log.txt' print = 'Kougi/les0403_Results.txt' new; ods listing gpath='Kougi/SAS_ODS99'; data gakusei; infile 'Kougi/all07au.txt' firstobs=2; input sex $ shintyou taijyuu kyoui jitaku $ kodukai carryer $ tsuuwa; if sex^='M' & sex^='F' then delete; : 性別不明は除外 if shintyou=. | taijyuu=. | kyoui=. then delete; : 欠損のあるデータは除外 proc print data=gakusei(obs=10); run; proc corr data=gakusei; : 相関係数 where sex='M'; : 男性について run; : : proc reg data=gakusei; : 回帰分析 model taijyuu=shintyou kyoui; : where sex='M'; : 男性について output out=outreg1 predicted=pred1 residual=resid1; : run; : proc print data=outreg1(obs=15); run; proc plot data=outreg1; where sex='M'; : 対象データについて plot taijyuu*shintyou; plot taijyuu*kyoui; plot taijyuu*pred1; plot resid1*(pred1 shintyou kyoui taijyuu)/vref=0; : まとめて記述 /* plot resid1*pred1 /vref=0; plot resid1*shintyou/vref=0; plot resid1*kyoui /vref=0; plot resid1*taijyuu /vref=0; */ run; proc univariate data=outreg1 plot normal; var resid1; run;

出力結果 : DSles0403_Results.txt , DSles0403_out.pdf
CORR プロシジャ単純統計量変数 N 平均標準偏差合計 taijyuu 242 62.23884 7.92774 15062 kyoui 71 88.09859 9.68527 6255 kodukai 229 48620 52677 11134000 tsuuwa 88 6422 4521 565098 単純統計量変数最小値最大値 taijyuu 46.00000 100.00000 kyoui 46.00000 112.00000 kodukai 0 350000 tsuuwa 0 30000 2018年10月26日金曜日 08時58分30秒 20 CORR プロシジャ Pearson の相関係数 H0: Rho=0 に対する Prob > |r| オブザベーション数 shintyou taijyuu kyoui kodukai tsuuwa shintyou 1.00000 0.43758 0.15872 0.07647 -0.03430 <.0001 0.1862 0.2491 0.7510 242 242 71 229 88 taijyuu 0.43758 1.00000 0.40227 0.04119 -0.01583 <.0001 0.0005 0.5352 0.8836 242 242 71 229 88 kyoui 0.15872 0.40227 1.00000 -0.37945 -0.38661 0.1862 0.0005 0.0015 0.1721 71 71 71 67 14 kodukai 0.07647 0.04119 -0.37945 1.00000 0.24685 0.2491 0.5352 0.0015 0.0219 229 229 67 229 86 tsuuwa -0.03430 -0.01583 -0.38661 0.24685 1.00000 0.7510 0.8836 0.1721 0.0219 88 88 14 86 88 2018年10月26日金曜日 08時58分30秒 23 REG プロシジャモデル : MODEL1 従属変数 : taijyuu 読み込んだオブザベーション数 242 使用されたオブザベーション数 71 欠損値を含むオブザベーション数 171 2018年10月26日金曜日 08時58分30秒 24 REG プロシジャモデル : MODEL1 従属変数 : taijyuu 分散分析要因自由度平方和平均平方 F 値 Pr > F Model 2 1596.38065 798.19033 13.06 <.0001 Error 68 4155.98301 61.11740 Corrected Total 70 5752.36366 Root MSE 7.81776 R2 乗 0.2775 従属変数の平均 64.72817 調整済み R2 乗 0.2563 変動係数 12.07784 2018年10月26日金曜日 08時58分30秒 25 REG プロシジャモデル : MODEL1 従属変数 : taijyuu パラメータの推定パラメータ変数自由度推定値標準誤差 t 値 Pr > |t| Intercept 1 -54.72134 27.50850 -1.99 0.0507 shintyou 1 0.52620 0.15946 3.30 0.0015 kyoui 1 0.32534 0.09772 3.33 0.0014 2018年10月26日金曜日 08時58分32秒 27 プロット : taijyuu*shintyou 凡例 : A = 1 obs, B = 2 obs, ... taijyuu | 100 + A | A A A | A A 75 + A B B A BAA C AAA B A A | B B BC B HAC DF D G D DC C K A B B A | A C BB C CAFGBD M JBKK FAE DBCC A BA AA 50 + A B A C A AACCAA A C C B C | | 25 + ---+--------+--------+--------+--------+--------+--------+--------+-- 155 160 165 170 175 180 185 190 shintyou 2018年10月26日金曜日 08時58分32秒 28 プロット : taijyuu*kyoui 凡例 : A = 1 obs, B = 2 obs, ... (NOTE: 171 obs が欠損値です。) taijyuu | 100 + A | A A | A 75 + AA C A A | A A CABIBBAD A | A A BCA ADBEF AA A 50 + A A AA | | 25 + ---+-------------+-------------+-------------+-------------+-- 40 60 80 100 120 kyoui 2018年10月26日金曜日 08時58分32秒 31 プロット : resid1*shintyou 凡例 : A = 1 obs, B = 2 obs, ... (NOTE: 171 obs が欠損値です。) | 50 + 残 | 差 | A 25 + A A | A | A A A A B B A 0 +---------------AA-----A-CD-A-G-A-BB-BAC-A-AB-A-B---A--A------------- | A B A A A A A AA A A A A BAA A A | -25 + ---+--------+--------+--------+--------+--------+--------+--------+-- 155 160 165 170 175 180 185 190 shintyou 2018年10月26日金曜日 08時58分32秒 32 プロット : resid1*kyoui 凡例 : A = 1 obs, B = 2 obs, ... (NOTE: 171 obs が欠損値です。) | 50 + 残 | 差 | A 25 + A A | A | A BD B 0 +-------------A---------A---A-AB-AADACHBABE--B--A---A--------- | A ABB CBCD A A | -25 + ---+-------------+-------------+-------------+-------------+-- 40 60 80 100 120 kyoui 2018年10月26日金曜日 08時58分32秒 33 プロット : resid1*taijyuu 凡例 : A = 1 obs, B = 2 obs, ... (NOTE: 171 obs が欠損値です。) | 50 + 残 | 差 | A 25 + A A | A | A AAB A A AA 0 +----------------A-AA---FADE--GBAB-DB-------A------------------------- | A A A CAABAE A B A | -25 + --+----------+----------+----------+----------+----------+----------+- 40 50 60 70 80 90 100 taijyuu

結果の見方
- 単変量毎の相関が有意なのは、身長と体重、体重と胸囲の間。
- 対象になったのは 71名。
- 回帰に役立っているか : 役立っている : 0.01% だから 1% で有意
- 決定係数(R-square)は 27.8%
- 個々の説明変量が予測に役立っているか?
  - 係数がゼロか? : 定数項も身長も胸囲も有意(1% で有意)
- 残差の性質 ===> 正規性 : 残差プロット、残差解析
  - 均等に散らばっているか?
  - 傾向はないか? : 傾向があると言うことは正規性の仮定が崩れていること
  - 外れ値? 80Kg より重い 4名程度が吟味対象?
[演習1] : 「男性のみ」で、かつ「体重の大きい 4名を除外」して実行してみよ。
- プログラム : DSles0404.sas、出力結果 : DSles0404_Results.txt , DSles0404_out.pdf
  where sex='M' and taijyuu<80;
- 当てはまりは良くなったか? : 異常値と外れ値の意味するもの
- 残差の正規性はどのように変化したか?

[回帰分析:要点] 解析する上での注意点
- 残差解析を行なう
  - 残差に傾向はないか? : 一様性、バナナカーブ、ラッパ状、... ===> 残差プロット
  - 残差の正規 : P-P plot
- 対象集団を単質のものに絞る : 男性だけ、18歳だけ、...
- 外れ値を持つ個体を除外する : 標準体型の者だけ、...
  - ただし、恣意的な除外は謹むべきである
- 「外れ値」と「異常値」は区別して取り扱う・識別する : 「外れて」いても「異常」かどうかは別
  - 外れ値 : 大多数のデータから大きく離れた値
  - 異常値 : 通常ではあり得ない入力ミス等の異常な値
- 上記以外に「多重共線性(multi-colinearity)」の問題もある。逆行列が取れなくなる(ランク落ち)。不安定な解。そのような場合は、組み込んでいる説明変数間の関係を見直す必要がある。
- また、本講義では取り扱わないが、変量数が多いデータを対象とした場合は、より影響力の大きい変量だけでモデルを構築する必要に迫られることも多い。そのような場合は「変数選択」の手法を用いると良い。一方、変量の組み合わせによって相関係数がどのように変化するかを観るために全組み合わせを順に発生させて振る舞いを眺める「総当たり法」を用いることもある。これらは実データを分析する際に試して欲しい。 _
- 「数値計算上の最適モデル」と「その分野の知識からの最適モデル」には違いがあることを知っておくこと。
4つの尺度と回帰分析
- 名義尺度(nominal scale) : 性別、職業、支持政党。分類の項目。
- 順序尺度(ordinal scale) : 成績の優・良・可・不可。順序関係あり。「優と良の差」が「可と不可の差」に等しいわけではない。
- 間隔尺度(interval scale) : セ氏やカ氏で測定された温度。原点は任意。
- 比率尺度(ratio scale) : 長さ、重さ。間隔尺度に加えて絶対原点が存在。
- 質的データ : 名義尺度、順序尺度。離散変量とも。
- 量的データ : 間隔尺度、比率尺度。連続変量とも。
- 離散変量を回帰分析で用いるには注意が必要である。線形関係と言えるのか? 割り当てた値を変更したら影響力が変化する。
誤用?! : 外挿
- 構造がシンプルで理解し易い分、"変な"利用も散見される
- 内挿(観測点の内側)はまだしも、外挿(観測点の外側)を予測するのは難しい or 無謀。
- 予測範囲でデータの構造が一定という"条件"が必要。
- 線形で表現できる関係なのか? 線形の関係式が有効なのか? 非線型?
- 自分で判断できる能力を持つこと。疑うこと。
　[例1] 人間の成長曲線
　[例2] 将来のプログラマ必要数予測 : 21世紀(?)には国民全員がプログラマ ('80s)
　[例3] オリンピック 100m 走の男女記録 : 2156年には女性の方が速い (2004.09.30) :
　　　　　　　 Japan Journal LTD の記事 , 朝日新聞の記事
　　　　　[究極の命題!] 100m に 0.00秒要する(!?)ようになるのは何時?
次回は、... : 11月05日 13:00-14:30
- 主成分分析
- ...

講義のホームページへ戻ります