回帰分析

能力測定法特論 : 第2回 (10/28/05)

 過去のデータからその構造を把握し、新規に測定されたデータに対する予測を 行ないたいと言うときに、回帰分析は有用である。 構造のシンプルな単回帰分析でこの手法の原理を理解し、 複数の説明変量を用いた重回帰分析に拡張する。 残差の取り方や、その二乗和を最少にするという考えは同じである。
 ここでは SAS プログラムとその出力を例示しながら説明するが、 手慣れたプログラム言語を使って各自実践してほしい。

 ● その前に

  1. 出席を取ることにします : 出席点のためではなく、全体としての欠席者を把握するため

  2. アンケートの回答

  3. 得点調整 ===> レポートにしようかなぁ?

  4. [類題] 法科大学院適性試験 (大学入試センター) と 統一適性試験 (日弁連法務研究財団)

 ● 目次

   1. 単回帰分析 : 予測等に使う、連続変量の関係
   2. 「体重の大きい者を除外」して実行するには?
   3. 重回帰分析 : 2変量以上の説明する変量(説明変量)で 1変量(目的変量)を説明
   4. 特定グループでの解析
   5. [要点] 解析する上での注意点
   6. 誤用?!
   7. 4つの尺度と回帰分析
   8. 有効桁数に注意せよ : どこまでが「意味ある桁」か?
   9. 回帰分析における変数選択
  10. 総当たり法
  11. 次回は、...


 ● 回帰分析 : 連続変量の予測

 過去のデータからその構造を把握し、新規に測定されたデータに対する予測を 行ないたいと言うときに、回帰分析は有用である。 構造のシンプルな単回帰分析でこの手法の原理を理解し、 複数の説明変量を用いた重回帰分析に拡張する。 残差の取り方や、その二乗和を最少にするという考えは同じである。

  1. 単回帰分析 : 予測等に使う、連続変量の関係

    1. プログラム : les1102.sas
       /* Lesson 11-2 */
       /*    File Name = les1102.sas   06/30/05   */
      
      data gakusei;
        infile 'all05a.prn'
          firstobs=2;
        input sex $ shintyou taijyuu kyoui 
              jitaku $ kodukai carryer $ tsuuwa;
      
      if sex^='M' & sex^='F' then delete;
      
      proc print data=gakusei(obs=10);
      run;
      
      proc reg data=gakusei;                                 : 回帰分析
        model taijyuu=shintyou;                              : 変量を指定
        output out=outreg1 predicted=pred1 residual=resid1;  : 結果項目の保存
      run;                                                   :
                                                             :
      proc print data=outreg1(obs=15);                       : 表示してみる
      run;                                                   :
                                                             :
      proc plot data=outreg1;                        : 散布図を描く
        plot taijyuu*shintyou/vaxis=20 to 100 by 20; : 体重と身長(縦軸指定)
        plot pred1*taijyuu;                          : 予測値と観測値
        plot resid1*pred1   /vref=0;                 : 残差と予測値(残差解析)(水平軸指定)
        plot resid1*shintyou/vref=0;                 : 残差と説明変数(残差解析)
        plot resid1*taijyuu /vref=0;                 : 残差と目的変数(残差解析)
      run;                                           :
                                                     :
      proc univariate data=outreg1 plot normal;      : 残差を正規プロットして確かめる
        var resid1;                                  :
      run;                                           :
      
      [備考] 上記のコロン以降は説明のためのものであり、 SAS のプログラムではありません。

      [補足] proc plot の下に以下の行を追加した方がより正確ではある。 欠損値を含むデータを解析対象から除外する事を指示する命令文である。 「欠損値です」の表示が無くなるだけで、得られる図は同じ(欠損値は描画できないから)。 試しに追加する/しないの両方で実行してみよ。

        where shintyou^=. and taijyuu^=.;
      
    2. 出力結果 : les1102.lst
                                    SAS システム                             1
                                                15:55 Wednesday, June 29, 2005
      
       OBS  SEX  SHINTYOU  TAIJYUU  KYOUI  JITAKU  KODUKAI  CARRYER   TSUUWA
      
         1   F     145.0     38.0      .     J      10000                 . 
         2   F     146.7     41.0     85     J      10000   Vodafone   6000 
         3   F     148.0     42.0      .     J      50000                 . 
         4   F     148.0     43.0     80     J      50000   DoCoMo     4000 
         5   F     148.9       .       .     J      60000                 . 
         6   F     149.0     45.0      .     G      60000                 . 
         7   F     150.0     46.0     86            40000                 . 
         8   F     151.0     50.0      .     G      60000   J-PHONE       . 
         9   F     151.7     41.5     80     J      35000                 . 
        10   F     152.0     35.0     77     J      60000   DoCoMo     2000 
      
                                    SAS システム                             2
                                                15:55 Wednesday, June 29, 2005
      Model: MODEL1  
      Dependent Variable: TAIJYUU                                            
                                Analysis of Variance
      
                                Sum of         Mean
       Source          DF      Squares       Square      F Value       Prob>F
      
       Model            1  12488.43725  12488.43725      286.788       0.0001
       Error          279  12149.30389     43.54589
       C Total        280  24637.74114
      
           Root MSE       6.59893     R-square       0.5069
           Dep Mean      58.55872     Adj R-sq       0.5051
           C.V.          11.26891
      
                                    SAS システム                             3
                                                15:55 Wednesday, June 29, 2005
                                Parameter Estimates
      
                         Parameter      Standard    T for H0:               
        Variable  DF      Estimate         Error   Parameter=0    Prob > |T|
      
        INTERCEP   1    -79.426466    8.15752248        -9.737        0.0001
        SHINTYOU   1      0.819164    0.04837162        16.935        0.0001
      
                                    SAS システム                             4
                                                15:55 Wednesday, June 29, 2005
                 S
                 H      T               K  C
                 I      A       J       O  A           T                R
                 N      I    K  I       D  R           S      P         E
                 T      J    Y  T       U  R           U      R         S
        O   S    Y      Y    O  A       K  Y           U      E         I
        B   E    O      U    U  K       A  E           W      D         D
        S   X    U      U    I  U       I  R           A      1         1
      
         1  F  145.0  38.0   .  J   10000               .  39.3524   -1.3524
         2  F  146.7  41.0  85  J   10000  Vodafone  6000  40.7450    0.2550
         3  F  148.0  42.0   .  J   50000               .  41.8099    0.1901
         4  F  148.0  43.0  80  J   50000  DoCoMo    4000  41.8099    1.1901
         5  F  148.9    .    .  J   60000               .  42.5471     .    
         6  F  149.0  45.0   .  G   60000               .  42.6290    2.3710
         7  F  150.0  46.0  86      40000               .  43.4482    2.5518
         8  F  151.0  50.0   .  G   60000  J-PHONE      .  44.2674    5.7326
         9  F  151.7  41.5  80  J   35000               .  44.8408   -3.3408
        10  F  152.0  35.0  77  J   60000  DoCoMo    2000  45.0865  -10.0865
        11  F  152.0  43.0   .  J   20000  au        3500  45.0865   -2.0865
        12  F  152.0  44.0   .      45000  DoCoMo    4000  45.0865   -1.0865
        13  F  153.0  41.0   .  J  125000  No           .  45.9057   -4.9057
        14  F  153.0  42.0   .  G       0  Vodafone  1000  45.9057   -3.9057
        15  F  153.0  46.5  87  G   10000               .  45.9057    0.5943
      
                                    SAS システム                             6
                                                15:55 Wednesday, June 29, 2005
           プロット : TAIJYUU*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
               (NOTE: 42 オブザベーションが欠損値です.)
      TAIJYUU |
          100 +                                               B
              |                                    A              A
           80 +                               A   A     A A B A        A
              |                               A B CBDDC DCGAD CCF B  AA
           60 +                 A  AA   E B CBDBG JBQHLBJFFDC CBDCB A
              |            AAA  CACEC DCI G EBCGF DAABB  BB
           40 +       A A B   D BA BA
              |
           20 +
              |
              --+-----------+-----------+-----------+-----------+-----------+-
               140         150         160         170         180         190
                                          SHINTYOU
      
                                    SAS システム                             7
                                                15:55 Wednesday, June 29, 2005
             プロット : PRED1*TAIJYUU.  凡例: A = 1 OBS, B = 2 OBS, ...
                 (NOTE: 42 オブザベーションが欠損値です.)
             80 +
                |
          PRED1 |                             A   B        A
                |                         A BDACFAB F B  A       A  A  A
                |                      AABBBBLGDDBHBB A BB
             60 +                      BECLHGGKBIBAADABA        A
                |                   AF EHCH CCAAE        A
                |                  BBDCEFACAAAA
                |                BABCDACA  A  A
                |            A   CABB  B  A
             40 +              A BA
                ---+------------+------------+------------+------------+--
                  20           40           60           80           100
                                          TAIJYUU
      
                                    SAS システム                             8
                                                15:55 Wednesday, June 29, 2005
             プロット : RESID1*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
             (NOTE: 42 オブザベーションが欠損値です.)
            |
      R  50 +
      e     |
      s     |                                     A        A
      i  25 +                                 A            A
      d     |                        A           B A  A AA     A
      u     |                   A A   A  B BBBB BBBDDCCBB ABA A    A
      a   0 +-------------A-ABAA-CCCCECCBJ-EEBECHJBNHIIGIBEBBH-A-AA-----------
      l     |                    AA  BAAAB BA AGDDACDEBBCE CBBBBA
            |                                           A    A
        -25 +
            ---+-----------+-----------+-----------+-----------+-----------+--
              30          40          50          60          70          80
                                Predicted Value of TAIJYUU
      
                                    SAS システム                             9
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
             (NOTE: 42 オブザベーションが欠損値です.)
            |
      R  50 +
      e     |
      s     |                                     A          A
      i  25 +                                A               A
      d     |                     A              B A   A A A     A
      u     |               A  A   A   B B BBB B BBDDC CBB A BA  A    A
      a   0 +--------A-A-BAA-C-DBCEC-CBJ-E-EBECH-JBNFJAIGIBE-BBH-A--AA--------
      l     |                A A  BA AAB B A AFE DACDDABBCCB CBBBB A
            |                                            A      A
        -25 +
            ---+-----------+-----------+-----------+-----------+-----------+--
              140         150         160         170         180         190
                                         SHINTYOU
      
                                    SAS システム                            10
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*TAIJYUU.  凡例: A = 1 OBS, B = 2 OBS, ...
                 (NOTE: 42 オブザベーションが欠損値です.)
                |
          R  50 +
          e     |
          s     |                                               A      A
          i  25 +                                        A          A
          d     |                             A       BABA       A
          u     |                      A  ABABBAKBCCGAC  B A
          a   0 +--------------A-DBDEFDMJDQGJSQFLCJ-E---------------------
          l     |            A   CABCH CKEHCDFCCA
                |                      A  A
            -25 +
                ---+------------+------------+------------+------------+--
                  20           40           60           80           100
                                          TAIJYUU
      
                                    SAS システム                            11
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                      Moments
      
                      N               281  Sum Wgts        281
                      Mean              0  Sum               0
                      Std Dev    6.587137  Variance   43.39037
                      Skewness   1.485699  Kurtosis   4.475282
                      USS         12149.3  CSS         12149.3
                      CV                .  Std Mean   0.392956
                      T:Mean=0          0  Pr>|T|       1.0000
                      Num ^= 0        281  Num > 0         121
                      M(Sign)       -19.5  Pr>=|M|      0.0232
                      Sgn Rank    -2455.5  Pr>=|S|      0.0716
                      W:Normal   0.913143  Pr<W         0.0001
      
                                    SAS システム                            12
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                  Quantiles(Def=5)
      
                       100% Max   33.6152       99%   28.6152
                        75% Q3   2.711022       95%  10.53019
                        50% Med  -1.19316       90%  8.168515
                        25% Q1   -4.02313       10%  -6.92731
                         0% Min  -13.9273        5%  -8.55483
                                                 1%  -10.9273
                       Range     47.54251                    
                       Q3-Q1     6.734151                    
                       Mode      -2.28898                    
      
                                    SAS システム                            13
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                      Extremes
      
                         Lowest    Obs     Highest    Obs
                       -13.9273(     247) 20.33854(     308)
                       -13.4327(     301) 22.26434(     111)
                       -10.9273(     248)  28.6152(     283)
                       -10.6506(     187) 29.24193(     162)
                       -10.0865(      10)  33.6152(     284)
      
                              Missing Value         .
                              Count                42
                              % Count/Nobs      13.00
      
                                    SAS システム                            15
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                            Histogram                     #            Boxplot
           35+*                                           1               *   
             .*                                           4               0   
             .***                                        12               0   
             .**************************                104            +--+--+
             .***************************************   155            *-----*
          -15+**                                          5               |   
              ----+----+----+----+----+----+----+----              
              * may represent up to 4 counts                       
      
                                    SAS システム                            16
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                   Normal Probability Plot              
                  35+                                                  *
                    |                                              ** **
                    |                                         ******++++
                    |                         ++**************          
                    |    ************************                       
                 -15+**+**+++++                                         
                     +----+----+----+----+----+----+----+----+----+----+
                         -2        -1         0        +1        +2     
      
    3. 結果の見方
      • 対象になったのは 281名。
      • 説明変量が予測に役立っているか?
        • 回帰に役立っているか : Prob>F : 小さいと有意(役立っている)
          [この例] 1% 未満(0.01%) なので役に立っていると言える。
      • 決定係数 : R-Square ( 相関係数 : R )
        • 目的変量が説明変量でどの程度説明しているかの割合。
        • 1 に近いほど当てはまりが良いと言える。
          [この例] 50% 程(半分, 50.7)を説明できている。
      • 回帰係数 : Parameter Estimate
        [この例] a=0.819, b=-79.4
      • 説明変数が予測に役立っているか?
        回帰係数の検定(係数=0 か?) : Prob>|T| : 小さいと有意(ゼロではないと言える)
        [この例] 両者とも 1% 未満(0.01%) なので回帰係数はゼロではない(何らかの意味がある数字と言える)。
      • 残差の性質 ===> 正規性 : 残差プロット、残差解析
        • 残差(予測誤差)は正規分布をしていると仮定してモデルが構築されている。
        • この仮定が覆ると、回帰分析として成立していないことになる。
        • 残差が正規分布をしているか確認する必要がある。
        • 均等に散らばっているか?
        • 傾向はないか?
        • ...
        [この例] 残差には概ね傾向は見られない。 ただし体重の大きい 3〜4例程度は要確認。場合によっては外れ値として除外も。 ===> 次節

      [注意] 誤差は「説明変量」の軸と垂直に取ることに注意せよ。 誤差は測定時に混入していると考えてモデルが構築されているから。

  2. 「体重の大きい者を除外」して実行するには?
     前節の正規確率プロットを見ると、体重の大きい 4例程度が正規性を乱していることが判った。 そこで体重の大きい者を除外して再度回帰分析にかけてみよう。 その際、除外すると言うよりは、「解析対象者を条件付けして絞る」と 考えた方が解りやすいかもしれない。 ここでは「85Kg 未満の者を対象として」解析を行なう例を示す。

    [注意] 「正規性を乱している者は何でも除外してかまわない」というわけではない。 今回の場合は、元データに戻ったところ、体育会系のずんぐりした者であったため、 普通の大学生とは異なる性質を有していると判断し除外対象とした。 除外する場合にはその根拠を明確にしないと、「恣意的な解析」と言われかねないことに注意せよ。

    1. プログラム : les1103.sas
       /* Lesson 11-3 */
       /*    File Name = les1103.sas   06/30/05   */
      
      data gakusei;
        infile 'all05a.prn'
          firstobs=2;
        input sex $ shintyou taijyuu kyoui 
              jitaku $ kodukai carryer $ tsuuwa;
      
      if sex^='M' & sex^='F' then delete;
      if shintyou=. | taijyuu=. then delete;                 : 欠損値データを除外
      
      proc print data=gakusei(obs=10);
      run;
      
      proc corr data=gakusei;
        where taijyuu<85;                                    : 対象データを絞る
      run;
      
      proc reg data=gakusei;
        model taijyuu=shintyou;
        where taijyuu<85;                                    : 対象データを絞る
        output out=outreg1 predicted=pred1 residual=resid1;
      run;
      
      proc print data=outreg1(obs=15);
      run;
      
      proc plot data=outreg1;
        where taijyuu<85;                                    : 対象データを絞る
        plot taijyuu*shintyou;
        plot taijyuu*pred1;
        plot resid1*(pred1 shintyou taijyuu)/vref=0;         : まとめて指定することも可
      run;
      
      proc univariate data=outreg1 plot normal;
        var resid1;
      run;
      
    2. 出力結果 : les1103.lst
                                    SAS システム                             2
                                                15:55 Wednesday, June 29, 2005
                                Correlation Analysis
      
            5 'VAR' Variables:  SHINTYOU TAIJYUU  KYOUI    KODUKAI  TSUUWA  
      
                                 Simple Statistics
       
        Variable         N      Mean   Std Dev       Sum   Minimum   Maximum
      
        SHINTYOU       277     168.3    8.1293   46626.1     145.0     186.0
        TAIJYUU        277   58.0560    8.4350   16081.5   35.0000   82.0000
        KYOUI          101   86.0297    7.1449    8689.0   56.0000     110.0
        KODUKAI        260   49142.3   50778.4  12777000         0    300000
        TSUUWA          92    7319.0    4605.3    673348     500.0   30000.0
      
                                    SAS システム                             3
                                                15:55 Wednesday, June 29, 2005
                                Correlation Analysis
      
           Pearson Correlation Coefficients / Prob > |R| under Ho: Rho=0
           / Number of Observations  
      
                    SHINTYOU     TAIJYUU       KYOUI     KODUKAI      TSUUWA
      
        SHINTYOU     1.00000     0.74146     0.33653     0.05755     0.04857
                      0.0         0.0001      0.0006      0.3554      0.6457
                         277         277         101         260          92
      
        TAIJYUU      0.74146     1.00000     0.58868     0.01740     0.05141
                      0.0001      0.0         0.0001      0.7800      0.6265
                         277         277         101         260          92
      
        KYOUI        0.33653     0.58868     1.00000    -0.07849     0.03612
                      0.0006      0.0001      0.0         0.4448      0.8552
                         101         101         101          97          28
      
        KODUKAI      0.05755     0.01740    -0.07849     1.00000     0.20416
                      0.3554      0.7800      0.4448      0.0         0.0550
                         260         260          97         260          89
      
        TSUUWA       0.04857     0.05141     0.03612     0.20416     1.00000
                      0.6457      0.6265      0.8552      0.0550      0.0   
                          92          92          28          89          92
      
                                    SAS システム                             6
                                                15:55 Wednesday, June 29, 2005
      Model: MODEL1  
      Dependent Variable: TAIJYUU                                            
                                Analysis of Variance
      
                                Sum of         Mean
       Source          DF      Squares       Square      F Value       Prob>F
      
       Model            1  10795.99934  10795.99934      335.797       0.0001
       Error          275   8841.34333     32.15034
       C Total        276  19637.34267
      
           Root MSE       5.67013     R-square       0.5498
           Dep Mean      58.05596     Adj R-sq       0.5481
           C.V.           9.76666
      
                                    SAS システム                             7
                                                15:55 Wednesday, June 29, 2005
                                Parameter Estimates
                         Parameter      Standard    T for H0:               
        Variable  DF      Estimate         Error   Parameter=0    Prob > |T|
      
        INTERCEP   1    -71.444313    7.07515732       -10.098        0.0001
        SHINTYOU   1      0.769345    0.04198389        18.325        0.0001
      
                                    SAS システム                            10
                                                15:55 Wednesday, June 29, 2005
           プロット : TAIJYUU*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
      TAIJYUU |
          100 +
              |
              |                                                        A
           75 +                               A   B AAA B B B BA  A
              |                              BB B BBGCCADCGBD BCIAB  AA
              |                 A  AA   E B C CBG JBMHKAIFECC CAABA A
           50 +             AA  CACEB CCG F EBCGF DAABB  BB
              |       A A BA  C BA BB A B A
              |               A
           25 +
              --+-----------+-----------+-----------+-----------+-----------+-
               140         150         160         170         180         190
                                          SHINTYOU
      
                                    SAS システム                            11
                                                15:55 Wednesday, June 29, 2005
             プロット : TAIJYUU*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
           TAIJYUU |
               100 +
                   |
                   |                                        A
                75 +                     A B AAAB BAABA A
                   |                    BBBBBFDCECGBDBLAB AA
                   |          A AA  E BC CIHDMHLHGEEACACAA
                50 +       AA DCEBCBH FEBCMCBABB BB
                   |  A ABA ABBABBA B A
                   |         A
                25 +
                   ---+-----------+-----------+-----------+-----------+--
                     40          50          60          70          80
                                 Predicted Value of TAIJYUU
      
                                    SAS システム                            12
                                                15:55 Wednesday, June 29, 2005
             プロット : RESID1*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
                |
          R  40 +
          e     |
          s     |
          i  20 +                      A  A
          d     |             A           AAAAA AB BA       A
          u     |        A B   B  E BBBBABDAFDBDBD   B  A
          a   0 +--A-ABAA-BABCEACBDAEE-EBHFDJEJIGFBEBCH-A-AA--------------
          l     |         AB ABBA E BABAFECBDDDBCBCBCABBBA
                |         A                  A   B     A
            -20 +
                ---+------------+------------+------------+------------+--
                  40           50           60           70           80
                                Predicted Value of TAIJYUU
      
                                    SAS システム                            13
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |
      i  20 +                                A   A
      d     |                     A              AAAAA A B B A        A
      u     |               A  B   B   E B BBBAB DAGCB DBD   AA  A
      a   0 +--------A-A-BAA-B-BACEA-CBE-E-E-EBH-HBJEJAHGFBE-BCH-A--AA--------
      l     |                A BA BB AAD B ABAFE DADDDABBBCB CABBB A
            |                A                      A    B      A
        -20 +
            ---+-----------+-----------+-----------+-----------+-----------+--
              140         150         160         170         180         190
                                         SHINTYOU
      
                                    SAS システム                            14
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*TAIJYUU.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |
      i  20 +                                               A  A
      d     |                                 A       A AA C  BC   A
      u     |                      B  A D B AC DCDIBAEAEB  AA
      a   0 +----------A--AABAADADDFDFCDIEDIBRFJDDFCCD-E----------------------
      l     |             ADAACCCG ABFEEDFCCAFC BA
            |       A              B  A A
        -20 +
            ---+---------+---------+---------+---------+---------+---------+--
              30        40        50        60        70        80        90
                                          TAIJYUU
      
                                    SAS システム                            15
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                      Moments
      
                      N               277  Sum Wgts        277
                      Mean              0  Sum               0
                      Std Dev    5.659846  Variance   32.03385
                      Skewness   0.722003  Kurtosis   0.805367
                      USS        8841.343  CSS        8841.343
                      CV                .  Std Mean   0.340067
                      T:Mean=0          0  Pr>|T|       1.0000
                      Num ^= 0        277  Num > 0         118
                      M(Sign)       -20.5  Pr>=|M|      0.0161
                      Sgn Rank    -1536.5  Pr>=|S|      0.2503
                      W:Normal   0.963203  Pr<W         0.0001
      
                                    SAS システム                            18
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                            Histogram                     #            Boxplot
         22.5+*                                           1               0   
             .*                                           2               0   
             .****                                       12               0   
             .************                               34               |   
             .***********************                    69            +--+--+
             .***************************************   116            *-----*
             .*************                              38               |   
        -12.5+**                                          5               |   
              ----+----+----+----+----+----+----+----              
              * may represent up to 3 counts                       
      
                                    SAS システム                            19
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                   Normal Probability Plot              
                22.5+                                                  *
                    |                                                * *
                    |                                         *******+++
                    |                                  ********+        
                    |                         ++********                
                    |               *************                       
                    |     ***********+                                  
               -12.5+*+***+++                                           
                     +----+----+----+----+----+----+----+----+----+----+
                         -2        -1         0        +1        +2     
      
    3. 結果の見方 : 前節と本節の出力結果を比較して違いを明確にせよ
      • 対象になったのは 277名。
      • 当てはまりは良くなったか? : 異常値と外れ値の意味するもの
      • 残差の正規性はどのように変化したか?
      • 回帰係数はどのように変化したか?
      • 説明力(決定係数)はどのように変化したか?

      • 単に体重の重い者だけが正規性を乱している訳ではなさそうだ。

  3. 重回帰分析 : 2変量以上の説明する変量(説明変量)で 1変量(目的変量)を説明

    1. プログラム : les1104.sas

       /* Lesson 11-4 */
       /*    File Name = les1104.sas   06/30/05   */
      
      data gakusei;
        infile 'all05a.prn'
          firstobs=2;
        input sex $ shintyou taijyuu kyoui 
              jitaku $ kodukai carryer $ tsuuwa;
      
      if sex^='M' & sex^='F' then delete;
      
      proc print data=gakusei(obs=10);
      run;
      
      proc reg data=gakusei;                                  : 回帰分析
        model taijyuu=shintyou kyoui;                         : 複数変量を指定
        output out=outreg1 predicted=pred1 residual=resid1;   : 結果項目の保存
      run;                                                    :
      
      proc print data=outreg1(obs=15);
      run;
                                                       :
      proc plot data=outreg1;                          : 散布図を描く
        where shintyou^=. and taijyuu^=. and kyoui^=.; : 解析に使ったデータのみ
        plot taijyuu*shintyou;                         :
        plot taijyuu*kyoui;                            :
        plot taijyuu*pred1;                            : 観測値と予測値
        plot resid1*pred1   /vref=0;                   : 残差と予測値(残差解析)
        plot resid1*shintyou/vref=0;                   : 残差と説明変量(残差解析)
        plot resid1*kyoui   /vref=0;                   : 残差と説明変量(残差解析)
        plot resid1*taijyuu /vref=0;                   : 残差と目的変量(残差解析)
      run;                                             :
                                                       :
      proc univariate data=outreg1 plot normal;        : 残差を正規プロットして確かめる
        var resid1;                                    :
      run;                                             :
      
    2. 出力結果 : les1104.lst
                                    SAS システム                             2
                                                15:55 Wednesday, June 29, 2005
      Model: MODEL1  
      Dependent Variable: TAIJYUU                                            
                                Analysis of Variance
      
                                Sum of         Mean
       Source          DF      Squares       Square      F Value       Prob>F
      
       Model            2   8613.47634   4306.73817      123.577       0.0001
       Error          101   3519.92213     34.85071
       C Total        103  12133.39846
      
           Root MSE       5.90345     R-square       0.7099
           Dep Mean      58.69615     Adj R-sq       0.7042
           C.V.          10.05764
      
                                    SAS システム                             3
                                                15:55 Wednesday, June 29, 2005
                                Parameter Estimates
      
                         Parameter      Standard    T for H0:               
        Variable  DF      Estimate         Error   Parameter=0    Prob > |T|
      
        INTERCEP   1   -112.792941   11.34884743        -9.939        0.0001
        SHINTYOU   1      0.699313    0.07108825         9.837        0.0001
        KYOUI      1      0.630221    0.08211341         7.675        0.0001
      
                                    SAS システム                             4
                                                15:55 Wednesday, June 29, 2005
                 S
                 H      T               K  C
                 I      A       J       O  A           T                R
                 N      I    K  I       D  R           S      P         E
                 T      J    Y  T       U  R           U      R         S
        O   S    Y      Y    O  A       K  Y           U      E         I
        B   E    O      U    U  K       A  E           W      D         D
        S   X    U      U    I  U       I  R           A      1         1
      
         1  F  145.0  38.0   .  J   10000               .    .        .     
         2  F  146.7  41.0  85  J   10000  Vodafone  6000  43.3651  -2.36515
         3  F  148.0  42.0   .  J   50000               .    .        .     
         4  F  148.0  43.0  80  J   50000  DoCoMo    4000  41.1231   1.87685
         5  F  148.9    .    .  J   60000               .    .        .     
         6  F  149.0  45.0   .  G   60000               .    .        .     
         7  F  150.0  46.0  86      40000               .  46.3031  -0.30310
         8  F  151.0  50.0   .  G   60000  J-PHONE      .    .        .     
         9  F  151.7  41.5  80  J   35000               .  43.7106  -2.21061
        10  F  152.0  35.0  77  J   60000  DoCoMo    2000  42.0297  -7.02974
        11  F  152.0  43.0   .  J   20000  au        3500    .        .     
        12  F  152.0  44.0   .      45000  DoCoMo    4000    .        .     
        13  F  153.0  41.0   .  J  125000  No           .    .        .     
        14  F  153.0  42.0   .  G       0  Vodafone  1000    .        .     
        15  F  153.0  46.5  87  G   10000               .  49.0313  -2.53126
      
                                    SAS システム                             6
                                                15:55 Wednesday, June 29, 2005
           プロット : TAIJYUU*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
          100 +                                               A
              |                                    A              A
      TAIJYUU |                                           A A A
              |                                 B BABAB AACAA A B A  AA
              |                 A  A    B A B BBA BAFBC ABA   AABBA
           50 +             A   A ADB BBE C BBACB A
              |         A A   B  A A
              |
              |
              |
            0 +
              --+-----------+-----------+-----------+-----------+-----------+-
               140         150         160         170         180         190
                                          SHINTYOU
      
                                    SAS システム                             7
                                                15:55 Wednesday, June 29, 2005
             プロット : TAIJYUU*KYOUI.  凡例: A = 1 OBS, B = 2 OBS, ...
           100 +                                                    A
               |                                     A    A
       TAIJYUU |                                      AA          A
               |                          A A C BBF BABA  A  A
               |                  A   A C C AAE FBJ  AAA  A
            50 +       A          A   AA  C ICHBBA
               |                      A A B   B
               |
               |
               |
             0 +
               ---+-------+-------+-------+-------+-------+-------+-------+--
                 50      60      70      80      90      100     110     120
                                            KYOUI
      
                                    SAS システム                             8
                                                15:55 Wednesday, June 29, 2005
             プロット : TAIJYUU*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
          100 +                                                    A
              |                               A              A
      TAIJYUU |                                    A A           A
              |                       A B ADAB BA ABABAA  A
              |     A       B  BAAAAAA CBAADEBABAA AB
           50 + B       CABBBAEC CDB B
              |  AAAB       A
              |
              |
              |
            0 +
              --+-----------+-----------+-----------+-----------+-----------+-
               40          50          60          70          80          90
                                 Predicted Value of TAIJYUU
      
                                    SAS システム                             9
                                                15:55 Wednesday, June 29, 2005
             プロット : RESID1*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |                                A
      i  20 +                                                     A
      d     |  A   A                      A                 A
      u     |  A           B  BAAA   A B  CAA A   A A
      a   0 +---A-AB---CABBB-DB-AABAA-BBAACEB-AA--B-BAA---------A-------------
      l     |    A         AAAA BCA B A  AA A BAAAAC     A
            |                                A
        -20 +
            ---+-----------+-----------+-----------+-----------+-----------+--
              40          50          60          70          80          90
                                Predicted Value of TAIJYUU
      
                                    SAS システム                            10
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |                                     A
      i  20 +                                                A
      d     |                  A                 A A             A
      u     |                     B    B   A     BBBAB  ABAA
      a   0 +----------A-A-A-A-AAACB-BAD-B-BABBC-A-CAB-BAC-A-C-A-A--A---------
      l     |                A    A   AA B AAACB A BAA  A     ACAA   A
            |                                                   A
        -20 +
            ---+-----------+-----------+-----------+-----------+-----------+--
              140         150         160         170         180         190
                                         SHINTYOU
      
                                    SAS システム                            11
                                                15:55 Wednesday, June 29, 2005
             プロット : RESID1*KYOUI.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |                                        A
      i  20 +                                                        A
      d     |     A                   A          A        A
      u     |                  B    A A B  A C ABD    B
      a   0 +-----------------------B-A-E-CCDKCBAG-A-BC---B--------A----------
      l     |                       AA  B BA FACBD  A B       A
            |                             A
        -20 +
            -+--------+--------+--------+--------+--------+--------+--------+-
            50       60       70       80       90       100      110      120
                                           KYOUI
      
                                    SAS システム                            12
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*TAIJYUU.  凡例: A = 1 OBS, B = 2 OBS, ...
                |
          R  40 +
          e     |
          s     |                                               A
          i  20 +                                                      A
          d     |                        AA           A          A
          u     |                    A    BAAAB B BBBA  AA
          a   0 +----------------BABCCBFCAB-CFDBCAA-E----A----------------
          l     |            A   A  BDABB B ADAAD A
                |                         A
            -20 +
                ---+------------+------------+------------+------------+--
                  20           40           60           80           100
                                          TAIJYUU
      
                                    SAS システム                            17
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
         Stem Leaf                                            #        Boxplot
            2 4                                               1           *   
            1 8                                               1           0   
            1 01224                                           5           0   
            0 5567777788888                                  13           |   
            0 00011111122223334444                           20        +--+--+
           -0 4444444333333333322222222222222211111110000    43        *-----*
           -0 99877777666666555555                           20           |   
           -1 0                                               1           |   
              ----+----+----+----+----+----+----+----+---              
          Multiply Stem.Leaf by 10**+1                                 
      
                                    SAS システム                            18
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                   Normal Probability Plot              
                22.5+                                                  *
                    |                                               *   
                    |                                         ***+*+++++
                    |                                  *******++        
                    |                         +++*******                
                    |                *************                      
                    |   * * *********+                                  
               -12.5+*+++++++                                           
                     +----+----+----+----+----+----+----+----+----+----+
                         -2        -1         0        +1        +2     
      
    3. 結果の見方
      • 対象になったのは 104名。
      • 説明変量群が予測に役立っているか?
        • 回帰に役立っているか : Prob>F : 小さいと有意
        • 「役立っている」と言える : 0.01% だから 1% で有意
      • 決定係数 : R-Square ( 相関係数 : R )
        • 目的変量が説明変量でどの程度説明しているかの割合。
        • 1 に近いほど当てはまりが良いと言える。: 71.0%
        • 説明変量数が増えると大きくなるのが一般的。
      • 回帰係数 : Parameter Estimate
        • 回帰式: a=0.699, b=0.630, c=-112.8
      • ある特定の説明変量が予測に役立っているか?
        • 回帰係数の検定(帰無仮説:係数=0 か?) : Prob>|T| : 小さいと有意
        • 両方とも(身長も胸囲も)有意
        • 「各係数は 0ではない」と言える : 0.01% だから 1% で有意
      • 残差の性質 ===> 正規性 : 残差プロット、残差解析
        • 残差(予測誤差)は正規分布をしていると仮定してモデルが構築されている。
        • この仮定が覆ると、回帰分析として成立していないことになる。
        • 残差が正規分布をしているか確認する必要がある。
        • 均等に散らばっているか?
        • 傾向はないか? : もし傾向があると言うことになれば正規性の仮定が崩れている
        • 体重の大きい 3例程度が外れ値と考えられるか要確認 ===> [演習](第8節)
        • ...
      • ...

  4. 特定グループでの解析

    1. プログラム : les1105.sas

       /* Lesson 11-5 */
       /*    File Name = les1105.sas   06/30/05   */
      
      data gakusei;
        infile 'all05a.prn'
          firstobs=2;
        input sex $ shintyou taijyuu kyoui 
              jitaku $ kodukai carryer $ tsuuwa;
      
      if sex^='M' & sex^='F' then delete;                    : 性別不明は除外
      if shintyou=. | taijyuu=. | kyoui=. then delete;       : 欠損のあるデータは除外
      
      proc print data=gakusei(obs=10);
      run;
      
      proc corr data=gakusei;                                : 相関係数
        where sex='M';                                       : 男性について
      run;                                                   :
                                                             :
      proc reg data=gakusei;                                 : 回帰分析
        model taijyuu=shintyou kyoui;                        :
        where sex='M';                                       : 男性について
        output out=outreg1 predicted=pred1 residual=resid1;  :
      run;                                                   :
      
      proc print data=outreg1(obs=15);
      run;
      
      proc plot data=outreg1;
        where sex='M';                                       : 対象データについて
        plot taijyuu*shintyou;
        plot taijyuu*kyoui;
        plot taijyuu*pred1;
        plot resid1*(pred1 shintyou kyoui taijyuu)/vref=0;          : まとめて記述
      /*
        plot resid1*pred1   /vref=0;
        plot resid1*shintyou/vref=0;
        plot resid1*kyoui   /vref=0;
        plot resid1*taijyuu /vref=0;
      */
      run;
      
      proc univariate data=outreg1 plot normal;
        var resid1;
      run;
      
    2. 出力結果 : les1105.lst
      
                                    SAS システム                             2
                                                15:55 Wednesday, June 29, 2005
                                Correlation Analysis
      
            5 'VAR' Variables:  SHINTYOU TAIJYUU  KYOUI    KODUKAI  TSUUWA  
      
                                 Simple Statistics
       
        Variable         N      Mean   Std Dev       Sum   Minimum   Maximum
      
        SHINTYOU        65     172.4    6.1412   11206.1     156.0     185.0
        TAIJYUU         65   64.5338    9.1006    4194.7   46.0000     100.0
        KYOUI           65   88.5231    8.5533    5754.0   56.0000     112.0
        KODUKAI         61   54360.7   57528.0   3316000         0    300000
        TSUUWA           9    9000.0    3316.6   81000.0    5000.0   15000.0
      
                                    SAS システム                             3
                                                15:55 Wednesday, June 29, 2005
                                Correlation Analysis
           Pearson Correlation Coefficients / Prob > |R| under Ho: Rho=0
           / Number of Observations  
      
                    SHINTYOU     TAIJYUU       KYOUI     KODUKAI      TSUUWA
      
        SHINTYOU     1.00000     0.42245     0.18792     0.11868     0.05579
                      0.0         0.0005      0.1339      0.3623      0.8866
                          65          65          65          61           9
      
        TAIJYUU      0.42245     1.00000     0.65243    -0.04587     0.25053
                      0.0005      0.0         0.0001      0.7256      0.5156
                          65          65          65          61           9
      
        KYOUI        0.18792     0.65243     1.00000    -0.12281    -0.20000
                      0.1339      0.0001      0.0         0.3457      0.6059
                          65          65          65          61           9
      
        KODUKAI      0.11868    -0.04587    -0.12281     1.00000     0.44259
                      0.3623      0.7256      0.3457      0.0         0.2329
                          61          61          61          61           9
      
        TSUUWA       0.05579     0.25053    -0.20000     0.44259     1.00000
                      0.8866      0.5156      0.6059      0.2329      0.0   
                           9           9           9           9           9
      
                                    SAS システム                             6
                                                15:55 Wednesday, June 29, 2005
      Model: MODEL1  
      Dependent Variable: TAIJYUU                                            
                                Analysis of Variance
      
                                Sum of         Mean
       Source          DF      Squares       Square      F Value       Prob>F
      
       Model            2   2750.23021   1375.11510       33.431       0.0001
       Error           62   2550.25533     41.13315
       C Total         64   5300.48554
      
           Root MSE       6.41351     R-square       0.5189
           Dep Mean      64.53385     Adj R-sq       0.5033
           C.V.           9.93822
      
                                    SAS システム                             7
                                                15:55 Wednesday, June 29, 2005
                                Parameter Estimates
      
                         Parameter      Standard    T for H0:               
        Variable  DF      Estimate         Error   Parameter=0    Prob > |T|
      
        INTERCEP   1    -70.823844   22.89744419        -3.093        0.0030
        SHINTYOU   1      0.460606    0.13291031         3.466        0.0010
        KYOUI      1      0.632022    0.09542833         6.623        0.0001
      
                                    SAS システム                            10
                                                15:55 Wednesday, June 29, 2005
           プロット : TAIJYUU*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
      TAIJYUU |
          100 +                                               A
              |                              A                        A
              |
           75 +                               A   A A   A  A  AA
              |                         B B A C A A   A C A A     D   A   A A
              |   A           A A   A B A B A D B C A AAA     A A  AA A
           50 +           A     B         A
              |
              |
           25 +
              --+---------+---------+---------+---------+---------+---------+-
               155       160       165       170       175       180       185
                                          SHINTYOU
      
                                    SAS システム                            11
                                                15:55 Wednesday, June 29, 2005
             プロット : TAIJYUU*KYOUI.  凡例: A = 1 OBS, B = 2 OBS, ...
       TAIJYUU |
           100 +                                                    A
               |                                     A    A
               |
            75 +                                 AA   BA  A       A
               |                          A A C BAH BAAB     A
               |                  A   A B C AAC EBF  AA   A
            50 +       A               A  A A
               |
               |
            25 +
               ---+-------+-------+-------+-------+-------+-------+-------+--
                 50      60      70      80      90      100     110     120
                                            KYOUI
      
                                    SAS システム                            12
                                                15:55 Wednesday, June 29, 2005
             プロット : TAIJYUU*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
      TAIJYUU |
          100 +                                                   A
              |                                 A          A
              |
           75 +                              AA     AAB          A
              |                         BA A DABBBABB AAA
              |               A AA   B AABBACDDBA B
           50 +   A          A    AA
              |
              |
           25 +
              --+-----------+-----------+-----------+-----------+-----------+-
               40          50          60          70          80          90
                                 Predicted Value of TAIJYUU
      
                                    SAS システム                            13
                                                15:55 Wednesday, June 29, 2005
             プロット : RESID1*PRED1.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |
      i  20 +                                  A                 A
      d     |    A                                        A
      u     |                  A    A  BA A CBA    AA
      a   0 +---------------AA--A---A--ABA-BBBABB--B-C----------A-------------
      l     |                    AA   A  AAADBBA CB   AA
            |
        -20 +
            ---+-----------+-----------+-----------+-----------+-----------+--
              40          50          60          70          80          90
                                Predicted Value of TAIJYUU
      
                                    SAS システム                            14
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*SHINTYOU.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |
      i  20 +                               A                A
      d     |                            A                           A
      u     |                  A         B A B A B   A B AA
      a   0 +----A-------A-----------A-B---A-C-A-A-A--AC---A-BA--B-A-A---A----
      l     |                A B   A A A B   C A B A A         A BA  A     A
            |
        -20 +
            ---+---------+---------+---------+---------+---------+---------+--
              155       160       165       170       175       180       185
                                         SHINTYOU
      
                                    SAS システム                            15
                                                15:55 Wednesday, June 29, 2005
             プロット : RESID1*KYOUI.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |
      i  20 +                                        A               A
      d     |     A                                       A
      u     |                         A B  A B  BD    B
      a   0 +------------------A----B-A-B---ABABAE-A-AC---A--------A----------
      l     |                           A B  BBBAF  AAB   A   A
            |
        -20 +
            -+--------+--------+--------+--------+--------+--------+--------+-
            50       60       70       80       90       100      110      120
                                           KYOUI
      
                                    SAS システム                            16
                                                15:55 Wednesday, June 29, 2005
            プロット : RESID1*TAIJYUU.  凡例: A = 1 OBS, B = 2 OBS, ...
            |
      R  40 +
      e     |
      s     |
      i  20 +                                                   A          A
      d     |                A                                   A
      u     |                      A A  B AAAC A A  AA
      a   0 +----------A------AA--ADACA-DA-A-CB------A------------------------
      l     |        A    A   CA B FABABA  A
            |
        -20 +
            ---+---------+---------+---------+---------+---------+---------+--
              40        50        60        70        80        90        100
                                          TAIJYUU
      
                                    SAS システム                            17
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                      Moments
      
                      N                65  Sum Wgts         65
                      Mean              0  Sum               0
                      Std Dev    6.312507  Variance   39.84774
                      Skewness   1.210762  Kurtosis   1.816118
                      USS        2550.255  CSS        2550.255
                      CV                .  Std Mean    0.78297
                      T:Mean=0          0  Pr>|T|       1.0000
                      Num ^= 0         65  Num > 0          26
                      M(Sign)        -6.5  Pr>=|M|      0.1360
                      Sgn Rank     -131.5  Pr>=|S|      0.3943
                      W:Normal    0.91253  Pr<W         0.0001
      
                                    SAS システム                            20
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                 Stem Leaf                       #             Boxplot
                    2 2                          1                0   
                    1 8                          1                0   
                    1 024                        3                |   
                    0 5555667778                10                |   
                    0 00001233344               11             +--+--+
                   -0 4444433333322111111100    22             *-----*
                   -0 99887766655555555         17             +-----+
                      ----+----+----+----+--              
                  Multiply Stem.Leaf by 10**+1            
      
                                    SAS システム                            21
                                                15:55 Wednesday, June 29, 2005
                                Univariate Procedure
      Variable=RESID1        Residual
                                   Normal Probability Plot              
                22.5+                                                *  
                    |                                             *   ++
                    |                                         **++++++  
                 7.5+                                 +*******          
                    |                         +++*******                
                    |                 ***********                       
                -7.5+  *  *  **********                                 
                     +----+----+----+----+----+----+----+----+----+----+
                         -2        -1         0        +1        +2     
      
    3. 結果の見方
      • 単変量毎の相関が有意なのは、身長と体重、体重と胸囲の間。

      • 対象になったのは 65名。
      • 回帰に役立っているか : 役立っている : 0.01% だから 1% で有意
      • 決定係数(R-square)は 0.519
      • 個々の説明変量が予測に役立っているか?
        • 係数がゼロか? : 定数項も身長も胸囲も有意(1% で有意)
      • 残差の性質 ===> 正規性 : 残差プロット、残差解析
        • 均等に散らばっているか?
        • 傾向はないか? : 傾向があると言うことは正規性の仮定が崩れていること
        • 外れ値? 85Kg より重い 3名程度が吟味対象?

    4. [演習] : 「男性のみ」で、かつ「体重の大きい 3名を除外」して実行してみよ。
      • プログラム : les1106.sas、 出力結果 : les1106.lst
          where sex='M' and taijyuu<85;
        
      • 当てはまりは良くなったか? : 異常値と外れ値の意味するもの
      • 残差の正規性はどのように変化したか?


  5. [要点] 解析する上での注意点

  6. 誤用?!  [例1] 人間の成長曲線
     [例2] 将来のプログラマ必要数予測 : 21世紀(?)には国民全員がプログラマ ('80s)
     [例3] オリンピック 100m 走の男女記録 : 2156年には女性の方が速い (2004.09.30) :
           Japan Journal LTD の記事 , Japan Journal LTD の記事 , 朝日新聞 の記事
         [究極の命題!] 100m に 0.00秒 要する(!?)ようになるのは何時?
     [例4] 父大卒階層と父非大卒階層の、子供の「努力」と「学力」の関係

  7. 4つの尺度と回帰分析

  8. 有効桁数に注意せよ : どこまでが「意味ある桁」か?
    測定精度上回る計算結果は出せても、意味はない。
    [重要な注意] 統計ソフトは単なる道具。使いこなすのは各自。
     [例1] 大学入試センター : 志願者数 57万人、受験者数 52.5万人 (平成17年度)
     [例2] 日本の観測史上の 最高気温は、1933(昭和8)年7月25日に山形市で観測された40.8度であり、 最低気温は、1902(明治35)年1月25日に北海道旭川市の-41度であった。
     [例3] 2001年のイチロー選手の打率は3割5分であった。


  9. 回帰分析における変数選択 :
     回帰分析では回帰係数や重相関係数を知ることだけでなく 残差解析も重要であることを強調したつもりである。 次に説明変数の取捨選択(変数選択)について説明する。

    1. プログラム : les1201.sas

       /* Lesson 12-1 */
       /*    File Name = les1201.sas   06/26/03   */
      
      data air;
        infile 'usair2.prn';
        input id $ y x1 x2 x3 x4 x5 x6;
      /*
        label id='Cities (都市名)'
               y='SO2 of air in micrograms per cubic metre (SO2 濃度)'
              x1='Average annual temperature in F (気温)'
              x2='Number of manufacturing enterprises employing 20 or more workers (製造業数)'
              x3='Population size (1970 census); in thousands (人口)'
              x4='Average annual wind speed in miles per hour (風速)'
              x5='Average annual precipitation in inches (降雨量)'
              x6='Average number of days with precipitation per year (降雨日数)'
      ;
      */
      
      proc print data=air(obs=10);
      run;
      
      proc corr data=air;
      run;
      
      proc reg data=air;                                     :
        model y=x1 x2 x3 x4 x5 x6;                           : フルモデル
        output out=outreg1 predicted=pred1 residual=resid1;  :
      run;                                                   :
      
      proc print data=outreg1(obs=15);
      run;
      
      proc plot data=outreg1;                                : 残差解析用
        plot resid1*pred1 /vref=0;                           :
        plot resid1*x1    /vref=0;                           : ズラズラと列記
        plot resid1*x2    /vref=0;                           :
        plot resid1*x3    /vref=0;                           :
        plot resid1*x4    /vref=0;                           :
        plot resid1*x5    /vref=0;                           :
        plot resid1*x6    /vref=0;                           :
        plot resid1*y     /vref=0;                           :
      run;                                                   :
      
      proc univariate data=outreg1 plot normal;              : 残差解析
        var resid1;                                          :
      run;                                                   :
      
      proc reg data=air;                                     :
        model y=x1--x6 / selection=stepwise;                 : 逐次増減法
        output out=outreg2 predicted=pred2 residual=resid2;  : 連続した変数の指定方法(簡略形)
      run;                                                   :
      
      proc print data=outreg2(obs=15);
      run;
      
      proc plot data=outreg2;                                : 残差解析用
        plot resid2*pred2               /vref=0;             :
      /*                                                     :
        plot resid2*(x1 x2 x3 x4 x5 x6) /vref=0;             : 簡略形(上と比較せよ)
      */                                                     :
        plot resid2*(x1--x6)            /vref=0;             : 簡略形(これも同じ意味)
        plot resid2*y                   /vref=0;             :
      run;                                                   :
      
      proc univariate data=outreg2 plot normal;              : 残差解析
        var resid2;                                          :
      run;                                                   : 
      
    2. SAS の簡略表記法 : ズラズラと書くのは面倒だから
      • 変数名が連続形式になってた場合の指定 : x1--x6
      • plot をまとめて指定 : plot resid1*(x1--x6);

    3. 出力結果 : les1201.lst
      
                                       SAS システム                                 1
                                                    08:33 Thursday, December 18, 2003
      
            OBS    ID           Y     X1      X2     X3     X4      X5      X6
      
              1    Phoenix     10    70.3    213    582    6.0     7.05     36
              2    Little_R    13    61.0     91    132    8.2    48.52    100
              3    San_Fran    12    56.7    453    716    8.7    20.66     67
              4    Denver      17    51.9    454    515    9.0    12.95     86
              5    Hartford    56    49.1    412    158    9.0    43.37    127
              6    Wilmingt    36    54.0     80     80    9.0    40.25    114
              7    Washingt    29    57.3    434    757    9.3    38.89    111
              8    Jacksonv    14    68.4    136    529    8.8    54.47    116
              9    Miami       10    75.5    207    335    9.0    59.80    128
             10    Atlanta     24    61.5    368    497    9.1    48.34    115
      
                                       SAS システム                                 2
                                                    08:33 Thursday, December 18, 2003
                                   Correlation Analysis
      
         7 'VAR' Variables:  Y        X1       X2       X3       X4       X5      
                             X6      
      
                                    Simple Statistics
       
        Variable          N       Mean    Std Dev        Sum    Minimum    Maximum
      
        Y                41    30.0488    23.4723       1232     8.0000   110.0000
        X1               41    55.7634     7.2277       2286    43.5000    75.5000
        X2               41   463.0976   563.4739      18987    35.0000       3344
        X3               41   608.6098   579.1130      24953    71.0000       3369
        X4               41     9.4439     1.4286   387.2000     6.0000    12.7000
        X5               41    36.7690    11.7715       1508     7.0500    59.8000
        X6               41   113.9024    26.5064       4670    36.0000   166.0000
      
                                       SAS システム                                 3
                                                    08:33 Thursday, December 18, 2003
                                   Correlation Analysis
      
         Pearson Correlation Coefficients / Prob > |R| under Ho: Rho=0 / N = 41  
      
                  Y         X1         X2         X3         X4         X5         X6
      
      Y     1.00000   -0.43360    0.64477    0.49378    0.09469    0.05429    0.36956
             0.0        0.0046     0.0001     0.0010     0.5559     0.7360     0.0174
      
      X1   -0.43360    1.00000   -0.19004   -0.06268   -0.34974    0.38625   -0.43024
             0.0046     0.0        0.2340     0.6970     0.0250     0.0126     0.0050
      
      X2    0.64477   -0.19004    1.00000    0.95527    0.23795   -0.03242    0.13183
             0.0001     0.2340     0.0        0.0001     0.1341     0.8405     0.4113
      
      X3    0.49378   -0.06268    0.95527    1.00000    0.21264   -0.02612    0.04208
             0.0010     0.6970     0.0001     0.0        0.1819     0.8712     0.7939
      
      X4    0.09469   -0.34974    0.23795    0.21264    1.00000   -0.01299    0.16411
             0.5559     0.0250     0.1341     0.1819     0.0        0.9357     0.3052
      
      X5    0.05429    0.38625   -0.03242   -0.02612   -0.01299    1.00000    0.49610
             0.7360     0.0126     0.8405     0.8712     0.9357     0.0        0.0010
      
      X6    0.36956   -0.43024    0.13183    0.04208    0.16411    0.49610    1.00000
             0.0174     0.0050     0.4113     0.7939     0.3052     0.0010     0.0   
      
                                       SAS システム                                 5
                                                    08:33 Thursday, December 18, 2003
      Model: MODEL1  
      Dependent Variable: Y                                                  
                                   Analysis of Variance
      
                                      Sum of         Mean
             Source          DF      Squares       Square      F Value       Prob>F
      
             Model            6  14754.63603   2459.10601       11.480       0.0001
             Error           34   7283.26641    214.21372
             C Total         40  22037.90244
      
                 Root MSE      14.63604     R-square       0.6695
                 Dep Mean      30.04878     Adj R-sq       0.6112
                 C.V.          48.70761
      
                                       SAS システム                                 6
                                                    08:33 Thursday, December 18, 2003
                                    Parameter Estimates
      
                            Parameter      Standard    T for H0:               
           Variable  DF      Estimate         Error   Parameter=0    Prob > |T|
      
           INTERCEP   1    111.728481   47.31810073         2.361        0.0241
           X1         1     -1.267941    0.62117952        -2.041        0.0491
           X2         1      0.064918    0.01574825         4.122        0.0002
           X3         1     -0.039277    0.01513274        -2.595        0.0138
           X4         1     -3.181366    1.81501910        -1.753        0.0887
           X5         1      0.512359    0.36275507         1.412        0.1669
           X6         1     -0.052050    0.16201386        -0.321        0.7500
      
                                       SAS システム                                 7
                                                    08:33 Thursday, December 18, 2003
      
        OBS  ID          Y   X1    X2    X3    X4     X5    X6     PRED1    RESID1
      
          1  Phoenix    10  70.3   213   582   6.0   7.05   36    -3.789   13.7891
          2  Little_R   13  61.0    91   132   8.2  48.52  100    28.675  -15.6745
          3  San_Fran   12  56.7   453   716   8.7  20.66   67    20.542   -8.5421
          4  Denver     17  51.9   454   515   9.0  12.95   86    28.694  -11.6941
          5  Hartford   56  49.1   412   158   9.0  43.37  127    56.991   -0.9915
          6  Wilmingt   36  54.0    80    80   9.0  40.25  114    31.367    4.6326
          7  Washingt   29  57.3   434   757   9.3  38.89  111    22.079    6.9212
      
                                       SAS システム                                15
                                                    08:33 Thursday, December 18, 2003
                   プロット : RESID1*Y.  凡例: A = 1 OBS, B = 2 OBS, ...
               |
         R  50 +                                                 A
         e     |
         s     |                                 A
         i  25 +
         d     |       A          A      AA
         u     |        AA      AA  A         A    A A
         a   0 +------AB------AAABA-A---------A--------------------------A-------
         l     |       CAA C   A
               |        ABA      A
           -25 +              A
               ---+---------+---------+---------+---------+---------+---------+--
                  0        20        40        60        80        100       120
                                                Y
      
                                       SAS システム                                19
                                                    08:33 Thursday, December 18, 2003
                                   Univariate Procedure
      Variable=RESID1        Residual
      
                     Stem Leaf                     #             Boxplot
                        4 9                        1                *   
                        3 0                        1                0   
                        2                                               
                        1 4457                     4                |   
                        0 23455567779             11             +--+--+
                       -0 97665433211100          14             *-----*
                       -1 986652211                9                |   
                       -2 3                        1                |   
                          ----+----+----+----+              
                      Multiply Stem.Leaf by 10**+1          
      
                                       SAS システム                                20
                                                    08:33 Thursday, December 18, 2003
                                   Univariate Procedure
      Variable=RESID1        Residual
                                      Normal Probability Plot              
                     45+                                               *   
                       |                                           *    +++
                       |                                        ++++++++   
                       |                                 +++**+**          
                       |                         ++*********               
                       |                  **********                       
                       |       *  **+******                                
                    -25+   *+++++++                                        
                        +----+----+----+----+----+----+----+----+----+----+
                            -2        -1         0        +1        +2     
      
                                       SAS システム                                21
                                                    08:33 Thursday, December 18, 2003
      
                    Stepwise Procedure for Dependent Variable Y       
      
      Step 1   Variable X2 Entered        R-square = 0.41572671   C(p) = 23.10893175
      
                      DF         Sum of Squares      Mean Square          F   Prob>F
      
      Regression       1          9161.74469120    9161.74469120      27.75   0.0001
      Error           39         12876.15774782     330.15789097
      Total           40         22037.90243902
      
                      Parameter        Standard          Type II
      Variable         Estimate           Error   Sum of Squares          F   Prob>F
      
      INTERCEP      17.61057438      3.69158676    7513.50474182      22.76   0.0001
      X2             0.02685872      0.00509867    9161.74469120      27.75   0.0001
      
      Bounds on condition number:            1,            1
      
                                       SAS システム                                22
                                                    08:33 Thursday, December 18, 2003
      
      -------------------------------------------------------------------------------
      
      Step 2   Variable X3 Entered        R-square = 0.58632019   C(p) =  7.55859687
      
                      DF         Sum of Squares      Mean Square          F   Prob>F
      
      Regression       2         12921.26717485    6460.63358743      26.93   0.0001
      Error           38          9116.63526417     239.91145432
      Total           40         22037.90243902
      
                      Parameter        Standard          Type II
      Variable         Estimate           Error   Sum of Squares          F   Prob>F
      
      INTERCEP      26.32508332      3.84043919   11272.71964000      46.99   0.0001
      X2             0.08243410      0.01469656    7548.02378137      31.46   0.0001
      X3            -0.05660660      0.01429968    3759.52248365      15.67   0.0003
      
                                       SAS システム                                23
                                                    08:33 Thursday, December 18, 2003
      
      Bounds on condition number:     11.43374,     45.73494
      -------------------------------------------------------------------------------
      
      Step 3   Variable X6 Entered        R-square = 0.61740155   C(p) =  6.36100514
      
                      DF         Sum of Squares      Mean Square          F   Prob>F
      
      Regression       3         13606.23518823    4535.41172941      19.90   0.0001
      Error           37          8431.66725079     227.88289867
      Total           40         22037.90243902
      
                      Parameter        Standard          Type II
      Variable         Estimate           Error   Sum of Squares          F   Prob>F
      
      INTERCEP       6.96584888     11.77690656      79.72552238       0.35   0.5578
      X2             0.07433399      0.01506613    5547.32153619      24.34   0.0001
      X3            -0.04939437      0.01454421    2628.36952166      11.53   0.0016
      X6             0.16435940      0.09480151     684.96801338       3.01   0.0913
      
      Bounds on condition number:     12.65025,     78.63322
      -------------------------------------------------------------------------------
      
      All variables left in the model are significant at the 0.1500 level.
      No other variable met the 0.1500 significance level for entry into the model.
      
               Summary of Stepwise Procedure for Dependent Variable Y       
      
             Variable        Number   Partial    Model
      Step   Entered Removed     In      R**2     R**2      C(p)          F   Prob>F
      
         1   X2                   1    0.4157   0.4157   23.1089    27.7496   0.0001
         2   X3                   2    0.1706   0.5863    7.5586    15.6705   0.0003
         3   X6                   3    0.0311   0.6174    6.3610     3.0058   0.0913
      
                                       SAS システム                                25
                                                    08:33 Thursday, December 18, 2003
      
        OBS  ID          Y   X1    X2    X3    X4     X5    X6     PRED2    RESID2
      
          1  Phoenix    10  70.3   213   582   6.0   7.05   36    -0.032   10.0316
          2  Little_R   13  61.0    91   132   8.2  48.52  100    23.646  -10.6461
          3  San_Fran   12  56.7   453   716   8.7  20.66   67    16.285   -4.2849
          4  Denver     17  51.9   454   515   9.0  12.95   86    29.410  -12.4103
          5  Hartford   56  49.1   412   158   9.0  43.37  127    50.661    5.3392
          6  Wilmingt   36  54.0    80    80   9.0  40.25  114    27.698    8.3020
          7  Washingt   29  57.3   434   757   9.3  38.89  111    20.079    8.9208
          8  Jacksonv   14  68.4   136   529   8.8  54.47  116    10.011    3.9887
          9  Miami      10  75.5   207   335   9.0  59.80  128    26.844  -16.8439
         10  Atlanta    24  61.5   368   497   9.1  48.34  115    28.673   -4.6731
         11  Chicago   110  50.6  3344  3369  10.4  34.44  122   109.181    0.8191
         12  Indianap   28  52.3   361   746   9.7  38.74  121    16.840   11.1603
         13  Des_Moin   17  49.0   104   201  11.2  30.85  103    21.697   -4.6973
         14  Wichita     8  56.6   125   277  12.7  30.58   82    16.053   -8.0528
         15  Louisvil   30  55.6   291   593   8.3  43.11  123    19.522   10.4776
      
                                       SAS システム                                33
                                                    08:33 Thursday, December 18, 2003
                   プロット : RESID2*Y.  凡例: A = 1 OBS, B = 2 OBS, ...
            50 +                                                 A
         R     |
         e     |                                 A
         s     |                         AA
         i     |       A        ABA A         A      A
         d   0 +--------BA-A--ABA-A-A---------A--------------------------A-------
         u     |      AC C B     A                 A
         a     |       B  A   A  A
         l     |        A
               |
           -50 +
               ---+---------+---------+---------+---------+---------+---------+--
                  0        20        40        60        80        100       120
                                                Y
      
                                       SAS システム                                37
                                                    08:33 Thursday, December 18, 2003
                                   Univariate Procedure
      Variable=RESID2        Residual
                     Stem Leaf                     #             Boxplot
                        5 0                        1                0   
                        4                                               
                        3 0                        1                |   
                        2 0                        1                |   
                        1 001349                   6                |   
                        0 011234455589            12             +--+--+
                       -0 8877755554              10             +-----+
                       -1 887764321                9                |   
                       -2 9                        1                |   
                          ----+----+----+----+              
                      Multiply Stem.Leaf by 10**+1          
      
                                       SAS システム                                38
                                                    08:33 Thursday, December 18, 2003
                                   Univariate Procedure
      Variable=RESID2        Residual
                                      Normal Probability Plot              
                     55+                                                   
                       |                                               *   
                       |                                              +++++
                       |                                       +*++*++     
                     15+                                +*****+*           
                       |                         ********                  
                       |                  *******                          
                       |       *  **+******                                
                    -25+   * +++++++                                       
                        +----+----+----+----+----+----+----+----+----+----+
                            -2        -1         0        +1        +2     
      

    4. 結果の見方
      • フルモデル : 指定した全変量をモデルに取り込む
      • 逐次変数選択法(stepwise)
        • 変数増減法 : 変数を逐次(1つずつ)追加/削除していく
        • 一度取り込まれても、組合わせによっては削除される
      • その他の選択法 :
        • 前進選択法(forward) : 空のモデルから 1変量ずつ追加していく
        • 後退選択法(backward) : フルモデルから 1変量ずつ削減していく
      • 「数値計算上の最適モデル」と「その分野の知識からの最適モデル」には違いがあることを知っておくこと
      • 残差解析はいつの場合でも必要
      • 決定係数 : R-Square : 1 に近いほど当てはまりが良いと言える
        説明変数が増えると大きくなるのが一般的
      • 残差の性質 ===> 正規性 : 残差プロット、残差解析
        • 均等に散らばっているか?
        • 傾向はないか? : 傾向があると言うことは正規性の仮定が崩れていること
      • ...

  10. 総当たり法

    1. プログラム : les1202.sas

       /* Lesson 12-2 */
       /*    File Name = les1202.sas   01/08/04   */
      
      data air;
        infile 'usair2.prn';
        input id $ y x1 x2 x3 x4 x5 x6;
      
      proc print data=air(obs=10);
      run;
      
      proc corr data=air;
      run;
      
      proc reg data=air;                                     :
        model y=x1--x6 / selection=rsquare;                  : 総当り法
      run;                                                   :
      

    2. 出力結果 : les1202.lst
                                       SAS システム                                 5
                                                    08:33 Thursday, December 18, 2003
      
                          N = 41     Regression Models for Dependent Variable: Y     
                            
                        Number in     R-square   Variables in Model
                          Model                   
      
                              1     0.41572671   X2 
                              1     0.24381828   X3 
                              1     0.18800913   X1 
                              1     0.13657727   X6 
                              1     0.00896628   X4 
                              1     0.00294788   X5 
                         --------------------------
                              2     0.58632019   X2 X3 
                              2     0.51611499   X1 X2 
                              2     0.49813569   X2 X6 
                              2     0.42138706   X2 X5 
                              2     0.41938296   X2 X4 
                              2     0.40658556   X1 X3 
                    (中略)
                              2     0.01204980   X4 X5 
                         -----------------------------
                              3     0.61740155   X2 X3 X6 
                              3     0.61254683   X1 X2 X3 
                              3     0.59304760   X2 X3 X5 
                              3     0.59298732   X2 X3 X4 
                              3     0.56222293   X1 X2 X5 
                              3     0.54523587   X1 X2 X6 
                    (中略)
                              3     0.15899893   X4 X5 X6 
                         --------------------------------
                              4     0.63964257   X1 X2 X3 X5 
                              4     0.63287070   X1 X2 X3 X4 
                              4     0.62909408   X1 X2 X3 X6 
                              4     0.62847667   X2 X3 X4 X6 
                              4     0.61759495   X2 X3 X5 X6 
                              4     0.60282531   X1 X2 X4 X5 
                    (中略)
                              4     0.25499437   X1 X4 X5 X6 
                         -----------------------------------
                              5     0.66850854   X1 X2 X3 X4 X5 
                              5     0.65012088   X1 X2 X3 X4 X6 
                              5     0.63964824   X1 X2 X3 X5 X6 
                              5     0.62901313   X2 X3 X4 X5 X6 
                              5     0.60403117   X1 X2 X4 X5 X6 
                              5     0.50433666   X1 X3 X4 X5 X6 
                         --------------------------------------
                              6     0.66951181   X1 X2 X3 X4 X5 X6 
                         -----------------------------------------
      

    3. 結果の見方
      • 総当り法(rsquare)
        • 説明変数の組合わせ毎の決定係数(R^2)が表示される : 大きい順に
          • 決定係数 : R-Square : 1 に近いほど当てはまりが良いと言える
          • 説明変数が増えると大きくなるのが一般的
          • 興味のある組合わせを見つけ出して、このあと計算させる。残差解析も行うこと。
        • モデルの探索用
      • 「数値計算上の最適モデル」と「その分野の知識からの最適モデル」には違いがあることを知っておくこと。
      • ...

  11. 次回は、... : 11月04日
[DIR]講義のホームページへ戻ります