Q3で扱った統計手法のプロシジャー、お役立ち情報、まとめ

統計モデル解析特論I/II : 第15回 (01/28/20)

　最終回の今回は、Q3 で紹介した多変量解析の手法について、SASでの実行方法を示すと共に、その他 SAS を利用する上で参考になるサイトを紹介し、最後にまとめを行う。

回帰分析: proc reg
- 単回帰分析: 第04回
- 重回帰分析: 第05回
- 過去のデータからその構造を把握し、新規に測定されたデータに対する予測を行ないたい。
- 説明変量の線形結合で目的変量を推定する。
- 残差は測定誤差であるという考え方に基づいており、目的変量に対して平行に取る。
- 残差は正規分布をしていると仮定して理論が成り立っている。
- 体重を、身長と胸囲から予測する等。
  - 残差の正規性の確認が必要。
  proc reg data=gakusei; : 回帰分析 model taijyuu=shintyou kyoui; : 複数変量を指定 output out=outreg1 predicted=pred1 residual=resid1; : 結果項目の保存 run; : proc print data=outreg1(obs=15); run;
主成分分析: proc princomp
- 主成分分析: 第06回
- いくつか(p個)の変量の値を情報の損失をできるだけ少なくして、少数変量(m個、m＜p)の総合的指標(主成分)で代表させる方法。
- いくつかのテストの成績を総合した総合的成績、いろいろな症状を総合した総合的な重症度、種々の財務指標に基づく企業の評価等を求めたい。
- 多次元のデータを少ない次元で表現したい。
- 測定された変量の分散を最大となる軸を見つける。
  proc princomp data=gakusei out=outprin; : 相関係数を使って var shintyou taijyuu kyoui; : run; : proc print data=outprin(obs=15); run;
因子分析: proc factor
- 因子分析: 第07回
- いくつか(p個)の変量の値を情報の損失をできるだけ少なくして、少数変量(m個、m＜p)の総合的指標(主成分)で代表させる方法。
- いくつかのテストの成績を総合した総合的成績、いろいろな症状を総合した総合的な重症度、種々の財務指標に基づく企業の評価等を求めたい。
- 多次元のデータを少ない次元で表現したい。
- 測定された変量が潜在変量の積として表現できるとのモデルを導入して構成されている。
- 回転の不定性が存在する。
- 主成分分析と因子分析は背景としている構造が異なる。
  proc factor data=food; : オプションを付けないと主成分分析 var X01-X10; : 解析に使う変量リスト run; :
実験計画法: proc glm
- 実験計画法: 第08回
- 多くの因子がある実験を行う際に、どの因子が効いているかを効率的に見つける手法。
- 製品開発や工程管理ではより良い条件を探索するために種々の実験を行う。その際に
- 幾つか条件(因子)を変えて実験を行う際に、どの条件が一番目的に適している(収量が多い等)かを判断する手法。
- 要因間のばらつきと、外乱(誤差)のばらつきを比較して、要因間のばらつきの方が大きいければ成果物(の量)の違いは「要因による意味のある差(有意)」が存在すると判断する。
- 全体のばらつきを、要因間のばらつきと外乱(誤差)のばらつきに算術的に分解出来ることである。 S_T=S_A+S_e
- ばらつきの指標が分散なので、「分散分析」を行い判断することになる。大きさの比較として比を用い、分散の比はF分布に従うことを利用して検定を行う。
- 全体のばらつきを、要因間のばらつきと外乱(誤差)のばらつきに算術的に分解。
  proc glm data=polymer; class A; model Y = A; means A / tukey; run;

基礎統計量、頻度集計、ヒストグラム、相関係数: proc means, univariate, freq, chart, corr

基礎統計量、頻度集計、ヒストグラム: 第11回
グループごとの集計、if文: 第12回
対象変量の概観をつかむ。分布形状を把握する。

データが電子化されたらまず行う手法。入力ミスを発見するにも有効。
proc means data=dragons; : 平均値等を算出 run; proc freq data=dragons; : 頻度を算出。個々＆クロス集計 table DoBY DoBM tou da tou*da; run; proc chart data=dragons; : ヒストグラムを描く hbar shintyou; : 水平棒グラフ。変量を指定(複数指定も可)。 vbar shintyou; : 垂直棒グラフ。変量を指定(複数指定も可)。 hbar DoBY; vbar DoBY; run; proc univariate data=dragons plot; : 基礎統計量の算出。plot オプションを指定。 var shintyou; : 指定した変量について run; ods listing; : グラフをキャラクタープロットで出力する場合 ods graphics off; : proc univariate data=dragons plot; var shintyou; run; proc corr data=dragons; : 相関係数の算出 var shintyou taijyuu; run;

全体を通してのデータ分析の手順
　統計手法と、それを計算する道具立てであるSASを習得した今、データを分析する際の、問題設定から報告までの全体的な流れについて紹介しておく。
1. 取り組む問題の理解
2. データ採取計画の立案 <=== 設計は重要
3. データ収集
  - 試しに採ってみる
  - 正式に大規模に採取
4. データクリーニング
5. 基礎統計量
6. 各種分析: 多変量解析等
7. 考察
8. 報告
- 考慮する点: 一連の行動を行う際に考慮する点は以下のようなものがある。
  - 素データ・電子化データに間違いがないかの確認。「人間は間違う動物である」。
  - データの生成背景を知る。自分で測定してみると判ることも多い。
  - 他人が採取したデータは要注意。熟知する必要がある。
  - 自分の経験と照らし合わせて矛盾はないか。

お役立ちサイト: サンプルデータ

いくつかのサンプルデータがSASシステム内に保存されている
データの説明やその使い方、プログラムも
- Sashelp Data Sets - SAS Support (PDF ファイル)
- SAS/STAT 9.3 User's Guide
  - 左側の項目: Sashelp Data Sets
いろいろと経験を積む際のサンプルとして役立つ

利用例 : Lesson 15-01 : les1501.sas

Fisher's Iris Data (1936): 多変量解析では非常に有名なデータ
Fisher, R. A. が判別分析の例示データとして提示
Iris flower data set : by Wikipedia
アイリス(あやめ)のデータ。3品種(Setosa, Versicolor, Virginica)。 150サンプル(各品種50サンプル)。萼(がく, Sepal)の幅と長さ、花弁(Petal)の幅と長さの4変量から品種を分類する例。

/* Lesson 15-01 */ /* File Name = les1501.sas 01/28/20 */ options nocenter linesize=78 pagesize=30; options locale='en_US'; /* options locale='ja_JP'; */ proc printto print = 'Kougi19/les1501-Results.txt' new; title "Sashelp.iris --- Fisher's Iris Data (1936)"; proc contents data=sashelp.iris varnum; : データの変量情報を表示する ods select position; : データの指定方法にも注目 run; title "The First Five Observations Out of 150"; proc print data=sashelp.iris(obs=5) noobs; : 先頭5サンプルを表示 run; title "The Species Variable"; proc freq data=sashelp.iris; : 頻度集計 tables Species; run; proc fastclus data=sashelp.iris out=outclust maxclusters=3; : クラスター分析 var SepalLength SepalWidth PetalLength PetalWidth; run; proc plot data=outclust; plot SepalLength*SepalWidth=cluster; plot SepalLength*PetalLength=cluster; plot SepalLength*PetalWidth=cluster; plot SepalWidth*PetalLength=cluster; plot SepalWidth*PetalWidth=cluster; plot PetalLength*PetalWidth=cluster; run; title "Scatterplot Matrix for Iris Data"; proc sgscatter data=sashelp.iris; : [おまけ1] 散布図行列 matrix SepalLength SepalWidth PetalLength PetalWidth / group=Species; run; title "Scatterplot Matrix with histogram for Iris Data"; proc sgscatter data=sashelp.iris; : [おまけ2] ヒストグラム付き散布図行列 matrix SepalLength SepalWidth PetalLength PetalWidth / group=Species diagonal=(kernel histogram); run; title;

出力

html 形式: les1501-Results.html
pdf 形式: les1501-Results.pdf
テキストファイル: les1501-Results.txt
SAS Graph: 散布図行列の図(SGScatter1.png), ヒストグラム付き散布図行列の図(SGScatter5.png)
- [蛇足] SAS システムの左側のディレクトリ sasuser.v94 の下に図として格納されている。末尾の数字は実行するごとに大きいものが割り当てられるようだ。

Sashelp.iris --- Fisher's Iris Data (1936) 62 Thursday, January 16, 2020 05:45:10 PM The CONTENTS Procedure Variables in Creation Order # Variable Type Len Label 1 Species Char 10 Iris Species 2 SepalLength Num 8 Sepal Length (mm) 3 SepalWidth Num 8 Sepal Width (mm) 4 PetalLength Num 8 Petal Length (mm) 5 PetalWidth Num 8 Petal Width (mm) The First Five Observations Out of 150 63 Thursday, January 16, 2020 05:45:10 PM Sepal Sepal Petal Petal Species Length Width Length Width Setosa 50 33 14 2 Setosa 46 34 14 3 Setosa 46 36 10 2 Setosa 51 33 17 5 Setosa 55 35 13 2 The Species Variable Thursday, January 16, 2020 05:45:10 PM 64 The FREQ Procedure Iris Species Cumulative Cumulative Species Frequency Percent Frequency Percent --------------------------------------------------------------- Setosa 50 33.33 50 33.33 Versicolor 50 33.33 100 66.67 Virginica 50 33.33 150 100.00 The Species Variable Thursday, January 16, 2020 05:45:10 PM 65 The FASTCLUS Procedure Replace=FULL Radius=0 Maxclusters=3 Maxiter=1 Initial Seeds Cluster SepalLength SepalWidth PetalLength PetalWidth --------------------------------------------------------------------------- 1 77.00000000 38.00000000 67.00000000 22.00000000 2 57.00000000 44.00000000 15.00000000 4.00000000 3 49.00000000 25.00000000 45.00000000 17.00000000 Criterion Based on Final Seeds = 3.7097 Cluster Summary Maximum Distance RMS Std from Seed Radius Nearest Cluster Frequency Deviation to Observation Exceeded Cluster ----------------------------------------------------------------------------- 1 33 3.8831 12.9226 3 2 50 2.7803 12.4803 3 3 67 4.1797 18.5320 1 The Species Variable Thursday, January 16, 2020 05:45:10 PM 66 The FASTCLUS Procedure Replace=FULL Radius=0 Maxclusters=3 Maxiter=1 Cluster Summary Distance Between Cluster Cluster Centroids ----------------------------- 1 18.3409 2 34.2516 3 18.3409 Statistics for Variables Variable Total STD Within STD R-Square RSQ/(1-RSQ) --------------------------------------------------------------------- SepalLength 8.28066 4.48242 0.710915 2.459187 SepalWidth 4.35866 3.24819 0.452092 0.825123 PetalLength 17.65298 4.29764 0.941527 16.101961 PetalWidth 7.62238 2.38707 0.903243 9.335201 OVER-ALL 10.69224 3.70171 0.881751 7.456709 Pseudo F Statistic = 548.07 The Species Variable Thursday, January 16, 2020 05:45:10 PM 67 The FASTCLUS Procedure Replace=FULL Radius=0 Maxclusters=3 Maxiter=1 Approximate Expected Over-All R-Squared = 0.62728 Cubic Clustering Criterion = 24.559 WARNING: The two values above are invalid for correlated variables. Cluster Means Cluster SepalLength SepalWidth PetalLength PetalWidth --------------------------------------------------------------------------- 1 69.00000000 30.96969697 58.27272727 21.27272727 2 50.06000000 34.28000000 14.62000000 2.46000000 3 59.47761194 27.61194030 44.52238806 14.53731343 Cluster Standard Deviations Cluster SepalLength SepalWidth PetalLength PetalWidth --------------------------------------------------------------------------- 1 5.012484414 2.909948974 4.577613511 2.401467354 2 3.524896872 3.790643691 1.736639965 1.053855894 3 4.831582365 2.953966126 5.360795421 3.011736428 The Species Variable Thursday, January 16, 2020 05:45:10 PM 68 Plot of SepalLength*SepalWidth. Symbol is value of CLUSTER. | S | e 84 + p | a | 1 1 1 1 l | 1 1 72 + 1 1 1 1 L | 3 1 3 3 e | 1 3 3 3 3 3 1 n | 3 3 3 3 1 3 1 3 3 1 g 60 + 3 3 3 3 3 3 3 3 t | 3 3 3 3 3 3 2 2 2 h | 3 3 3 3 3 2 2 2 2 2 |3 3 3 3 2 2 2 2 2 2 2 2 2 ( 48 + 3 3 2 2 2 2 2 m | 2 2 2 2 2 2 2 m | 2 ) | 36 + | -+-------------+-------------+-------------+-------------+-------------+- 20 25 30 35 40 45 Sepal Width (mm) NOTE: 64 obs hidden. The Species Variable Thursday, January 16, 2020 05:45:10 PM 69 Plot of SepalLength*PetalLength. Symbol is value of CLUSTER. | S | e 84 + p | a | 1 1 1 1 l | 1 1 72 + 1111 1 L | 333 1 11 1 1 e | 3 33 331 1111 n | 333 33333 1111 1 g 60 + 3 3 3333333 3 t | 2 2 2 33 3333 3 333 h | 222 2 33 3 33 | 222222 2 3 3 3 3 ( 48 + 2222 2 3 3 m | 2 222 m | 2 ) | 36 + | ---+---------+---------+---------+---------+---------+---------+-- 10 20 30 40 50 60 70 Petal Length (mm) NOTE: 53 obs hidden. The Species Variable Thursday, January 16, 2020 05:45:10 PM 70 Plot of SepalLength*PetalWidth. Symbol is value of CLUSTER. | S | e 84 + p | a | 1 1 1 l | 1 1 72 + 1 1 1 1 L | 3 3 1 1 e | 3 3 3 3 1 1 1 1 1 1 1 n | 3 3 3 3 3 1 1 1 1 1 g 60 + 3 3 3 3 3 3 3 t | 2 2 2 3 3 3 3 3 3 3 3 h | 2 2 3 3 3 3 3 | 2 2 2 2 2 2 3 3 3 ( 48 + 2 2 2 3 3 m | 2 2 m | 2 ) | 36 + | ---+---------+---------+---------+---------+---------+-- 0 5 10 15 20 25 Petal Width (mm) NOTE: 74 obs hidden. The Species Variable Thursday, January 16, 2020 05:45:10 PM 71 Plot of SepalWidth*PetalLength. Symbol is value of CLUSTER. | 50 + S | e | p | a | 2 l | 22 40 + 2 W | 2 222 2 1 1 i | 2 22 1 d | 2222 t | 2222 2 3 3 1 11 1 h | 22222 33 333 1 11111 11 30 + 2 22 2 33 333 33331 1 11 1 1 ( | 2 3 3333 33333 3 1 1 1 1 m | 3 3333 3 3 3 3 3 1 m | 3 33 3 33 1 ) | 2 3 33 3 3 | 3 3 3 20 + 3 ---+---------+---------+---------+---------+---------+---------+-- 10 20 30 40 50 60 70 Petal Length (mm) NOTE: 39 obs hidden. The Species Variable Thursday, January 16, 2020 05:45:10 PM 72 Plot of SepalWidth*PetalWidth. Symbol is value of CLUSTER. | 50 + S | e | p | a | 2 l | 2 2 40 + 2 W | 2 2 2 1 1 i | 2 2 2 1 d | 2 2 2 t | 2 2 2 2 3 1 1 1 1 h | 2 2 3 3 3 3 1 1 1 30 + 2 2 2 3 3 3 3 1 3 1 1 1 1 1 ( | 2 3 3 3 3 3 1 1 1 1 3 m | 3 3 3 3 3 3 3 1 m | 3 3 3 3 1 3 3 ) | 2 3 3 3 | 3 3 20 + 3 ---+---------+---------+---------+---------+---------+-- 0 5 10 15 20 25 Petal Width (mm) NOTE: 69 obs hidden. The Species Variable Thursday, January 16, 2020 05:45:10 PM 73 Plot of PetalLength*PetalWidth. Symbol is value of CLUSTER. | P 72 + e | 1 1 1 1 t | 1 1 a 60 + 1 1 1 1 1 1 1 l | 3 1 1 1 1 1 1 | 3 3 3 3 3 1 1 3 L 48 + 3 3 3 3 3 3 3 e | 3 3 3 3 3 3 n | 3 3 3 3 3 g 36 + 3 3 t | 3 3 h | 24 + ( | 2 2 m | 2 2 2 2 2 2 m 12 + 2 2 2 2 ) | | 0 + ---+---------+---------+---------+---------+---------+-- 0 5 10 15 20 25 Petal Width (mm) NOTE: 88 obs hidden.

お役立ちサイト: マニュアル
- Base SAS 9.2 Procedures Guide
  - 左側のProcedures: 各種手法(主に基礎的手法)の使い方やExampleが掲載されている。
    - [例] means, univariate, freq, plot, sort
- SAS/STAT 9.2 User's Guide, Second Edition
  - 左側のProcedures: 各種手法(上記以外)の使い方やExampleが掲載されている。
    - [例] reg, princomp, factor, fastclus, sgscatter
- Base SAS
- SAS/STAT
- Programming: SAS 9.4 and Viya
- Popular Documentation
  
  SAS_Graphに関して
- SAS University Editionでグラフを描く
- もしも，SASのsgplotとRのggplot2 を比較したら…
課題提出(レポート): 詳細は第13回第6節を参照下さい。
提出期限は「02月12日(水)」です。厳守。
まとめ: 講義を終えるにあたって
　この講義を通して、「データとの接し方」や「統計の考え方」が多少なりとも理解できたであろうか? 大量の数値群からその中に内在する構造を見つけることが「解析」であり「統計の面白味」でもあると思う。近年はビッグデータへの注目もあって統計学が脚光を浴びているが、どのような時代であっても、「データに内在する構造」を明らかにする学問として今後もいろいろな分野で応用されていくと考えている。そのためには、統計理論や解析目的を知っている必要があるのは勿論だが、対象とするデータの背景を知っておくことや、統計ソフトを"道具"として使いこなす技術も習得する必要がある。
　そうした中でSASは長年の歴史を有した信頼できる統計ソフトであり、研究での利用に関してフルスペックの機能が無料で使えるという魅力もあり、知っておいて損のない統計環境だと感じているので、今回講義で利用することにした次第だ。
　今後、各自の実験や修論をまとめる際だけでなく、日頃目にする新聞や雑誌と言った生活等のいろいろな場面で、種々のデータに出会うことになると思うが、提示された数値にはどの様な意味(と意図)があり、どう理解して、個々人としてどうアクションを起すかの、一つの判断手段として活用してもらえれば幸いである。
　今後、もし統計に関して何か疑問に出会い、私に連絡・相談してみたいと思った時は、遠慮無くご連絡ください。
　皆さんのご期待にどこまで応えられか心許無い部分もありますが、 Q3、Q4を通して15回の講義、お疲れ様でした。ご健康には留意されてお過ごしください。お元気で。
連絡したければ
- 電子メールアドレス : hayashi.atsuhiro@nitech.ac.jp
- 研究室 : 11号館 5階 516室
- 電話 : 内線 5119, 052-735-5119

講義のホームページへ戻ります