補足説明と変数変換

統計処理 01 クラス : 第15回(07/26/01)

最近寄せられた質問の中から、3項目程補足説明をしておく。また、読み込んだ変量を加工して新しい変量を生成する変数変換についても紹介する。

[補足説明] : 正規性の確認 : 第9回、第11回、第12回、第13回

正規確率紙 : 視覚的に判断する
正規確率プロット中で「+」マークに重なるように「*」マークがあれば正規分布をしていると判断できる(proc univariate の plot オプション)
proc univariate に normal オプションを付けることによって以下の統計指標が得られる。
- W:normal：Shapiro-Wilk の W 検定統計量(サンプルサイズが 2000以下)
  順序統計量の線形結合によって求められる標準偏差の線形最良推定量の2乗と、標本分散との比(W は 0 と 1 の間の値で、小さいほど正規性からのずれが大きい)。
- Pr<W となる確率 : 小さいと有意＝正規分布とは言えない
- D:normal：Kilmogorov-Smirnov の D 検定統計量(サンプルサイズが 2000以上)
  データの累積分布関数と，そのデータから得られた平均及び標準偏差を持つ正規分布の累積分布関数の差を求め，差の絶対値の最大値を検定統計量とする。
- Pr>D となる確率 : 小さいと有意＝正規分布とは言えない

プログラム : les1501.sas : les1302.sas に対して 85Kg より重い人を除外


proc reg data=gakusei;
  model weight=height chest;
  where seibetsu='M' and weight<85;
  output out=outreg1 predicted=pred1 residual=resid1;
run;

proc print data=outreg1(obs=15);
run;

proc plot data=outreg1;
  where seibetsu='M' and weight^=. and height^=. and chest^=. and weight<85;
  plot weight*chest;
  plot weight*pred1;
  plot resid1*pred1;
  plot resid1*height;
  plot resid1*chest;
  plot resid1*weight;
run;

proc univariate data=outreg1 plot normal;
  where seibetsu='M' and weight^=. and height^=. and chest^=. and weight<85;
  var resid1;
  var weight height chest;
run;

出力結果 : les1501.lst


                              SAS システム                            14
                                          22:01 Wednesday, July 25, 2001
                          Univariate Procedure

Variable=RESID1        Residual
                                Moments

                N                50  Sum Wgts         50
                Mean              0  Sum               0
                Std Dev     4.87017  Variance   23.71856
                Skewness     0.2674  Kurtosis   -0.43989
                USS        1162.209  CSS        1162.209
                CV                .  Std Mean   0.688746
                T:Mean=0          0  Pr>|T|       1.0000
                Num ^= 0         50  Num > 0          20
                M(Sign)          -5  Pr>=|M|      0.2026
                Sgn Rank      -23.5  Pr>=|S|      0.8232
                W:Normal   0.973067  Pr< W        0.4749

                              SAS システム                            15
                                          22:01 Wednesday, July 25, 2001
                          Univariate Procedure

Variable=RESID1        Residual
                            Quantiles(Def=5)

                 100% Max  10.52045       99%  10.52045
                  75% Q3   3.839371       95%  9.379677
                  50% Med  -0.56758       90%   6.81807
                  25% Q1   -3.26226       10%  -5.58025
                   0% Min  -10.3023        5%  -7.37855
                                           1%  -10.3023
                 Range      20.8227                    
                 Q3-Q1     7.101633                    
                 Mode      -10.3023                    

                              SAS システム                            16
                                          22:01 Wednesday, July 25, 2001
                          Univariate Procedure

Variable=RESID1        Residual
                                Extremes

                   Lowest    Obs     Highest    Obs
                 -10.3023(       3) 7.014686(      11)
                 -8.57845(      45) 8.258674(      31)
                 -7.37855(      24) 9.379677(      40)
                 -6.44154(      47)  9.38763(      38)
                 -6.22982(       4) 10.52045(      23)

                              SAS システム                            17
                                          22:01 Wednesday, July 25, 2001
                          Univariate Procedure

Variable=RESID1        Residual
           Stem Leaf                      #             Boxplot
              1 1                         1                |   
              0 5556677899               10                |   
              0 222222344                 9             +--+--+
             -0 443333333222111100000    21             *-----*
             -0 97665555                  8                |   
             -1 0                         1                |   
                ----+----+----+----+-              
            Multiply Stem.Leaf by 10**+1           

                              SAS システム                            18
                                          22:01 Wednesday, July 25, 2001
                          Univariate Procedure

Variable=RESID1        Residual
                             Normal Probability Plot              
          12.5+                                              +*+++
              |                                   ****+**+*++     
              |                         +++*******+               
              |             ***************                       
              |     ++*+**+*++                                    
         -12.5++++*+                                              
               +----+----+----+----+----+----+----+----+----+----+
                   -2        -1         0        +1        +2

結果の見方
- W:Normal(0.973) が 1.0 に近く、Pr<W が 0.475 と 5% を越えているので、RESID1(Residual)は正規分布をしていると言える。

[補足説明] : 標準偏差の意味 : 第9回
- バラツキの指標です。データがどのあたりに散らばっているかを予想することができます。
- 散らばりの中心は平均値です。
- 分布を描くときに、山の形を描きますが、尖った山となだらかな山では、データの散らばり具合い(バラツキ)が異なることが解ると思います。
  つまり、尖った山では、データが平均の周りに集中しており、つまり、散らばりが小さく、逆に、なだらかな山では、散らばりが大きい。
- と言うことで、分布が正規分布をしていた場合には、
  [平均]±[標準偏差] の範囲に 68.3% のデータが、
  [平均]± 2x[標準偏差] の範囲に 95.5% のデータが、
  [平均]± 3x[標準偏差] の範囲に 99.7% のデータが、含まれるようになっています。
  つまり、極端な言い方をすれば、
  [平均」─ 3x[標準偏差] ～ [平均]＋ 3x[標準偏差] の範囲にほとんどのデータが存在しているということが言えるのです。ただし、この前提条件も、「分布が正規分布なら」です。
  標準偏差が判れば、データがおおよそどの範囲に散らばっているかが判るので、データの形状を把握する上で重宝する指標であると言えます。
[補足説明] : パラメトリック検定とノンパラメトリック検定 : 第11回
- ノンパラメトリック検定は分布を仮定しない
- パラメトリック検定は正規分布を仮定している
- つまり、パラメトリック検定は適用不可の場合が有り得る
- 分布が正規分布をしていなければ、仮定条件を逸脱していますので、パラメトリック検定にかけても、正しい検定結果は得られないと言うことです。
- 逆に、ノンパラメトリック検定なら、そのような仮定がないので、どんな場合にでも使えるじゃないか? とお考えになるかもしれません。はい、その通りです。
- 分布の形状を比較するときに、分布形状を考慮した方が、より厳密に比較ができることや、実験等のデータは正規分布をしていることが多いので、わざわざ厳密性を欠くような手法を使わなくても良いと言うような理由から、パラメトリック検定の出番も多いのです。
変数変換 : 新しい変量の算出 : [注意] 以下はあくまでも計算できることの例です。
以下に示したような演算子や関数を使って、新しい変量を生成することができる。利用可能なものの一部を掲載しておく。
[例1]
```
data gakusei;
  infile 'all01.prn';
  input seibetsu $ height weight chest jitaku $ kodukai;
  dekasa=height+weight+chest;                             : 変量間の加減乗除
  ch_2=chest**2;                                          : 二乗
  ch_sr=sqrt(chest);                                      : ルート
```
[算術演算子]
+ : 足し算を算出します。
- : 引き算を算出します。
* : 掛け算を算出します。
/ : 割り算を算出します。
** : 巾乗を算出します。
sqrt : 平方根(ルート)を算出します。
[数値関数]
arcos : 逆余弦(アークコサイン)を算出します。
arsin : 逆正弦(アークサイン)を算出します。
atan : 逆正接(アークタンジェント)を算出します。
cos : 三角関数の余弦(コサイン)を求めます。
cosh : 双曲線の余弦（コサイン）を求めます。
sin : 正弦（サイン）を算出します。
sinh : 双曲線正弦を算出します。
tan : 正接（タンジェント）を算出します。
tanh : 双曲線正接の値を算出します。

ceil : 引数より大きいかまたは等しい整数のう最小の値を戻します。
floor : 引数値より小さいかまたは等しい整数値のうち最大のものを戻します。
fuzz : 引数と最も近い整数との差が10^-12以内のときに、その整数を戻します。
int : 小数部を切り捨てて、整数値を戻します。
round : 四捨五入します。
tranc : 指定された長さに切り捨てた数値を戻します。
if 文 : ある条件に合致した場合に、特定の処理をさせる。
[例2]
```
data rei02;
  infile 'seito.prn';
  input id $ sex $ kesseki $ 
        koku $ suu1 $ suu2 $ tireki $ koumin $ rika $;

  if sex^='M'     then delete;        /* male only */
  if kesseki^='0' then delete;        /* syusseki-sya only */

  if tireki="世界史-0" then tireki="世界史";
  if tireki="世界史-2" then tireki="世界史";

  if tireki="日本史-2" then tireki="日本史";
  if tireki="日本史-3" then tireki="日本史";
...
```
[例3] 複数の処理をさせたい場合
```
  if tireki="世界史-0" then do;
    tireki="世界史";
    koumin=.;
  end;
...
```
[比較演算子]
= : 等しい
^= : 等しくない
> : より大きい
< : より小さい
>= : 以上
<= : 以下
[論理演算子]
& : 論理和(AND)
| : 論理積(OR)
^ : 否定(NOT)
次回は、... : 10月04日 14:45

後期のプラン : 必ず出席のこと
夏休み中に、新たにデータを収集しておくこと。電子化して保存。今後のレポート作成に活用。

講義のホームページへ戻ります

補足説明と変数変換

統計処理 01 クラス : 第15回(07/26/01)

data gakusei; infile 'all01.prn'; input seibetsu $ height weight chest jitaku $ kodukai; dekasa=height+weight+chest; : 変量間の加減乗除 ch_2=chest**2; : 二乗 ch_sr=sqrt(chest); : ルート

if tireki="世界史-0" then do; tireki="世界史"; koumin=.; end; ...