内閣の閣僚資産データを対象に算出してみよう。
- プログラム : les0501.sas : les0402.sas や les0403.sas を活用してもよい
/* Lesson 5-01 */
/* File Name = les0501.sas 11/01/06 */
data naikaku;
infile 'naikaku0512.prn'
firstobs=2;
input name $10. posit $ sex $ tochi
yotyokin total honnin kasituke kariire
;
proc print data=naikaku(obs=5);
run;
proc means data=naikaku;
var tochi yotyokin total;
run;
proc univariate data=naikaku plot; : 基礎統計量の算出、plot オプション
var tochi yotyokin total; : 指定した変量について計算
run; :
- 出力結果 : les0501.lst
SAS システム 1 19:07 Tuesday, October 31, 2006 OBS NAME POSIT SEX TOCHI YOTYOKIN TOTAL HONNIN KASITUKE KARIIRE 1 Koizumi Kakuryou M 10743 2360 13103 13103 0 0 2 Takenaka Kakuryou M 3002 1071 4073 1213 6065 1681 3 Sugiura Kakuryou M 1755 796 2551 2071 0 0 4 Aso Kakuryou M 37779 7850 45629 40379 20100 2000 5 Kosaka Kakuryou M 5596 1300 6896 5224 0 0 SAS システム 2 19:07 Tuesday, October 31, 2006 Variable N Mean Std Dev Minimum Maximum -------------------------------------------------------------------- TOCHI 60 4053.98 5987.72 0 37779.00 YOTYOKIN 60 2483.67 3671.17 0 22298.00 TOTAL 60 6537.67 7631.23 0 45629.00 -------------------------------------------------------------------- SAS システム 8 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=YOTYOKIN Moments N 60 Sum Wgts 60 Mean 2483.667 Sum 149020 Std Dev 3671.173 Variance 13477511 Skewness 3.124504 Kurtosis 13.74865 USS 1.1653E9 CSS 7.9517E8 CV 147.8126 Std Mean 473.9464 T:Mean=0 5.240396 Pr>|T| 0.0001 Num ^= 0 50 Num > 0 50 M(Sign) 25 Pr>=|M| 0.0001 Sgn Rank 637.5 Pr>=|S| 0.0001 SAS システム 9 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=YOTYOKIN Quantiles(Def=5) 100% Max 22298 99% 22298 75% Q3 3550 95% 9137 50% Med 1058.5 90% 7111.5 25% Q1 100 10% 0 0% Min 0 5% 0 1% 0 Range 22298 Q3-Q1 3450 Mode 0 SAS システム 10 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=YOTYOKIN Extremes Lowest Obs Highest Obs 0( 51) 7850( 4) 0( 47) 8983( 23) 0( 45) 9291( 37) 0( 35) 9803( 15) 0( 34) 22298( 57) SAS システム 11 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=YOTYOKIN Histogram # Boxplot 22500+* 1 * . 12500+ .**** 8 0 2500+************************** 51 +--+--+ ----+----+----+----+----+- * may represent up to 2 counts SAS システム 12 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=YOTYOKIN Normal Probability Plot 22500+ * | 12500+ +++++ | ++++****+**+*+ 2500+ * * ** ******* ***************** +----+----+----+----+----+----+----+----+----+----+ -2 -1 0 +1 +2 SAS システム 13 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=TOTAL Moments N 60 Sum Wgts 60 Mean 6537.667 Sum 392260 Std Dev 7631.234 Variance 58235739 Skewness 3.039733 Kurtosis 12.09356 USS 6.0004E9 CSS 3.4359E9 CV 116.7272 Std Mean 985.1881 T:Mean=0 6.635958 Pr>|T| 0.0001 Num ^= 0 59 Num > 0 59 M(Sign) 29.5 Pr>=|M| 0.0001 Sgn Rank 885 Pr>=|S| 0.0001 SAS システム 14 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=TOTAL Quantiles(Def=5) 100% Max 45629 99% 45629 75% Q3 7797 95% 20505.5 50% Med 4705.5 90% 13395 25% Q1 1849 10% 582 0% Min 0 5% 101 1% 0 Range 45629 Q3-Q1 5948 Mode 0 SAS システム 15 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=TOTAL Extremes Lowest Obs Highest Obs 0( 30) 14826( 12) 40( 49) 16631( 15) 50( 53) 24380( 57) 152( 34) 29513( 36) 260( 58) 45629( 4) SAS システム 16 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=TOTAL Stem Leaf # Boxplot 4 6 1 * 3 0 1 * 2 4 1 0 1 011223457 9 | 0 000000111111112233333444444444555555555667777899 48 +--+--+ ----+----+----+----+----+----+----+----+----+--- Multiply Stem.Leaf by 10**+4 SAS システム 17 19:07 Tuesday, October 31, 2006 Univariate Procedure Variable=TOTAL Normal Probability Plot 45000+ * | 25000+ *+*++++++ | ++++******+*+ 5000+ * * ** *********************** +----+----+----+----+----+----+----+----+----+----+ -2 -1 0 +1 +2 - 算出統計量の説明 : 分布形状を把握するのに利用
- Variable : 変量名
- N : サンプルサイズ、測定個数
- Mean : 平均、μで示すことが多い
- 加重和をサンプル数で割ったもの
- Std Dev : 標準偏差(Standard Deviation)、σで示すことが多い
- ばらつきを示す指標、正規分布の場合、3σにほぼ全数が含まれる(99.7%)。
- Variance : 分散、標準偏差の二乗
- σとならんで、ばらつきを示す指標
- Minimum & Maximum : 最小値(Min)と最大値(Max)
- Quantiles : 四分位数
- 下位から、0%点(Q0、最小値)、25%点(Q1)、
- 50%点(Q2、Median、中央値、中位数)、75%点(Q3)、100%点(Q4 最大値)
- 範囲(Range) : 最大値(Max)-最小値(Min)
- 四分偏差 : Q3-Q1
- Mode : 最頻値(SAS では、複数の最頻値がある場合はその中の最小値が表示される)
- Extremes : 最上位と最下位の数サンプル
- 端点、異常値の検出に使う
- Stem Leaf : 樹葉図、Stem and Leaf
- 頻度分布、樹木になぞらえて。頻度だけでなく構成値も解る
- 時刻表にも似ている
- Histogram : 度数分布。頻度が少ない場合は、樹葉図が描かれる
- Box Plot : 箱髭図
- 分布形状を見る。異常値の検出に。
- 箱 : 下端、中央線、上端は、それぞれ 25%点(Q1)、
- 50%点(Q2、Median、中央値、中位数)、75%点(Q3)。
- プラス(+) は平均値。* は最頻値。
- 髭 : 箱からの距離が、
- 1.5x[四分偏差] の範囲内にあるサンプルまで伸ばされる。
- 髭の外側にサンプルがある場合、
- 0(3.0x[四分偏差] の範囲内) や
- *(それより外側) で表示。異常値の可能性。
- Normal Probability Plot : 正規確率プロット
- 分布が正規分布かどうかを確かめる
- + が基準線、* が対象データ。ずれていると正規性が疑われる。
- 加重和をサンプル数で割ったもの
- [Lesson 5-2] Stem and Leaf や Histogram 上における各統計量の位置を確認せよ。
- 知見 : 解析によって判ったこと & 解ったこと
- 内閣の閣僚資産データにおける「総資産」について観てみると、
- 公開した閣僚は 60名である。
- 0万円から 45629万円の間に散らばっており、幅は 45629万円である。
- 四分位偏差でみると 5948万円である。
- 平均値は 6538万円、中央値は 4706万円、最頻値は 0万円である。
- 頻度分布を見ると少額の方に大幅に偏っていることが判る。
- そのことは箱髭図からも判る。
- (総資産の分布は正規分布からはかけ離れていると言える。)
- Mode(最頻値) の表示は少し注意が必要 (SAS の場合)
[参考] 例えば 1000万円の単位に四捨五入して最頻値を調べる方法もある。 そのためには「round」と言う関数を用いればよい。 このようにして求めた最頻値は 4000万円であった。
- プログラム例(以下は部分) : les0501round.sas、
出力結果 : les0501round.lst
data naikaku; infile 'naikaku0512.prn' firstobs=2; input name $10. posit $ sex $ tochi yotyokin total honnin kasituke kariire ; tot1000=round(total,1000);
- 内閣の閣僚資産データにおける「総資産」について観てみると、
- 内閣の閣僚資産データにおける、総資産の平均値(6538万円)は感覚に合う?
- 身長の平均値(167.9cm)は感覚に合うか? では、小遣いの平均値(48000円)は?
- 「真ん中」を代表する 3つの指標 :
- 平均値、最頻値(Mode)、中央値(中位数, Median)
- 平成17年における「一世帯当りの貯蓄額」を例に三者の関係を把握しよう。 総務省 統計局 が公表している「 家計調査 」の中に 家計調査(貯蓄・負債編) というのがあり、この中の「 平成17年 貯蓄・負債の概況 ─ Ｉ 貯蓄の状況/１ 概要 」には、全世帯の貯蓄高を例に、2つの指標が図示されているので、 これらの関係が理解しやすいであろう。 ここでは一つの図だけを引用しておくが、詳しくは本文を参照されたい。
- なお、これら資料を読む際には、「 家計調査のしくみと見方 」の中の 「 第３ 家計調査の貯蓄・負債編の見方 」が参考になるであろう。
- 平均値、最頻値(Mode)、中央値(中位数, Median)
貯蓄現在高 階級別世帯分布 (全世帯)
分布形状と統計量
- 「平均値」の意味するもの : 期待値。一つの指標に過ぎない。
- 分布形状 : 対称分布の場合だけ「印象」と合致する。
- 非対称の場合は裾の長い方にずれ、特に外れ値があると間違った「印象」を与えかねない。
- 分布の偏り : 常にあると思っておいた方がよい。
- 非対称の場合には、最頻値や中央値(中位数)も吟味する必要がある。
- 少数例では、分布形状が明確にならない。
- (「平均値」の恣意的・意図的利用が目立つ。)
- 解析対象として皆さんから集めたデータを使うと より身近に感じられて理解が早まるのではないかと思う。 また、今後のことを考えると(グループ分けする事によって 各グループ内には少数のサンプルしか無くなってしまうことがある)、 今期だけのデータ(14名分)では少ない。 より解析の面白味を知ってもらいたいためにも、大きなデータを用いて実習をする。
- '96, '97, '99, '00, '01, '02, '03前期/後期, '04前期/後期,
'05前期/後期, '06前期/後期 の 14回の講義で得られた学生のアンケートデータ。
- 14回分をマージ。8変量、368ケース。
- 性別(M/F)、身長、体重、胸囲、仕送り/小遣いの別(G/J)、仕送り/小遣い額、携帯電話会社名、月平均通話料
- 1行目は、各変量の説明が入っているので、計算時には読み飛ばす必要がある。
- 「J:\コンピュータによる統計解析6(林 篤裕)\all06b.prn」に置いておく。 J ドライブは講義の教材を配布するためのドライブ。 各自、ファイルを stat システムに転送して利用せよ。 なお、教室ごとに J ドライブの内容は異なるので、 転送だけは C ルームで行っておく必要がある。
- ファイル転送ソフト WinSCP で転送する。転送モードや漢字コードに注意(第5節, 第6節参照のこと)。
- プログラム例 : les0588.sas、
出力結果 : les0588.lst
/* Lesson 5-88 */ /* File Name = les0588.sas 11/01/06 */ data gakusei; infile 'all06be.prn' firstobs=2; input sex $ shintyou taijyuu kyoui jitaku $ kodukai carryer $ tsuuwa; proc print data=gakusei(obs=5); run;
- 対象データ : 以下の 1〜3 の中から 最低、2つ。
- 皆さんから収集したアンケートデータ(all06b.prn)
- 各自で収集した興味あるデータ(個人ごとに異なる) : 複数あるかも
- その他
- 提出期限 : 11月20日(月) 18:00 まで :
電子メールかワープロ(or エディタ)で。手書きは不可。
注意1: 電子メールでの場合は、添付ファイルは使わないこと。 提出用メールアドレスは「hayashi@peter.rd.dnc.ac.jp」である。 また、提出日時はメールヘッダーから判断する。私からは受領確認メールを出すので、それを受け取った段階で提出作業完了とする。
注意2: 紙で提出する場合は、事務所の受付終了時刻に注意すること。提出日は事務室の受領印で判断する。
注意3: 連絡ページ に受領した者の学籍番号を掲載するので、確認に使ってほしい。
- 作業内容 : 以下の点に注意しながらレポートを作成しよう。
- 解析対象とするデータの数は、最低 2つであるが上限は設けない。 1つだけではダメ。
- 解析結果だけでなく、データ自身の説明やどういうところに興味を持って 解析対象に選んだかの理由等も報告する事。 加えて、特に得られた知見からの考察は大事。
- レポートは他人への、もの事の説明のための文書である!!
- 手入力を少なくして SAS の出力を最大限有効利用せよ。 しかし、不要な部分はカットせよ。だらだらと引用しないこと。
- 興味を持つ点や得られた知見に対する考察は人によって個々異なるもので あるので、他人と相談することなく自分の力で解析しレポートを作成すること。
- 必要事項 : 以下に挙げるような項目を含めて作成すること。
- 所属学部名、学籍番号、氏名
- 使ったデータ内容の説明
- どのような点に興味を持ったか
- 自分の解析目的
- 何を知りたいためにどのような手法を使ったのか
- 得られた知見と考察
- その他、気付いたこと
- 講義の進め方や内容等について、感想や意見も。
- Windows から stat システム(UNIX) に転送したテキストファイル :
データファイル(*.prn)等
- EUC に変換しなければいけない
- UNIX に転送後に変換を行う
- UNIX 上で漢字コードの変換(nkf)。-e オプションは「EUC」への変換を 指示しているもの
- [入力例] nkf △ -e △ all06a.prn △ > △ all06ae.prn
- stat システム(UNIX) から Windows に転送しようと思うテキストファイル : SAS の出力ファイル(*.lst)等
- Shift-JIS に変換しなければいけない
- Windows に転送前に変換を行う
- UNIX 上で漢字コードの変換(nkf)。-s オプションは「Shift-JIS」への変換を 指示しているもの
- [入力例] nkf △ -s △ les0599.lst △ > △ les0599s.lst
- ファイル名は自分で指定する。 上記の例では、変換元(出力保存ファイル)が les0599.lst で、 変換先が les0599s.lst である。les0599s.lst を Windows に転送して利用する。
- WinSCP を使って Windows <===> stat システム間でファイルを転送する。
- 転送モードには気を付けること
- テキストモード: データファイル(*.prn)、SAS の出力ファイル(*.lst)等
- バイナリーモード: Excel 標準形式ファイル(*.xls)等
報告書を作成するような場合、いちいち書き移すようなことはせず、 SAS の「計算結果(Output エリアの内容)」を流用すると 簡単でかつ間違いが減り好都合である。 そのためには、「計算結果」をファイルに保存(file コマンド)後、 漢字コードの変換を行ない(nkf)、そして Windows マシンに転送して(WinSCP)、編集するのが良いであろう。
ただし、報告書には計算結果は全部を引用するのではなく、 必要部分だけを切り出し、それぞれに説明を付与する事によって完成するのが、 受け取った人に無駄な労力を払わせずに好印象を持たれると思う。
なお、UNIX マシン上で報告書を作成することも不可能ではないが、 日本語の入力方法の問題や、プリンタが接続されていない事等があるので、 現実的には教室の Windows マシン(や個人所有のパソコン)で 処理することをお奨めする。
- データの電子化とstat システム側への転送
- プログラムの作成、デバッグ ===> 完成
- 解析結果の保存 : Outputエリアの内容をファイルに保存
- プログラムを実行(SUBmit)する前に、 Outputエリアの過去の記録を消去しておく。 この処理をしておかないと、過去の全ての(不要な、多大な)記録が 全部保存されてしまう : [入力] clear
- プログラムを実行 : [入力] SUBmit
- 出力結果の保存 :
Outputエリアのコマンド行で : [入力例] file 'les0599.lst'
プログラムの保存と同じコマンドだが、保存対象が異なる。
- SAS を終了 : [入力] bye
- UNIX 上で漢字コードの変換(nkf)。-s オプションは「Shift-JIS」への変換を 指示しているもの : [入力例] nkf △ -s △ les0599.lst △ > △ les0599s.lst
- 保存した解析結果を Windows 側に転送(WinSCP)。
- ワープロやエディタを使って、報告書を作成。 出力の必要部分だけを切り出して、報告書に引用する。 その際に、有効桁数等には注意して利用せよ。
- (本講義では) 紙に印刷するか、電子メール(メール本文に挿入。添付ファイルは避ける)で提出。
- 講義は行なわない(不登校?)
- 講義の復習やレポートの作成に使ってください
- グループ分けと外れ値の処理
- 分布の把握
- 興味あるデータの特性を明らかにしていこう
Excel 等で入力したデータを SAS に読み込ませる場合、 講義の中では「スペース区切り(*.prn)」を紹介した。 これ以外の形式のファイルも読み込めるものがあり、 その場合には以下のような SAS のプログラムを用いる。
「スペース区切り」の場合、セル幅を上手く調節しないと意図通りに読み込ませる ことができないことを経験したかもしれないが、以下の区切り記号の場合は、 そのような心配は生じないので便利だと思われる。
- カンマ区切り(csv 形式)のファイルを読む場合 : *.csv
[コメント] CSV 形式のファイルを読み込む場合、文字列の長さを指定しないと、 8文字(8バイト)しか読み込んでくれない。しかし、かと言って、input 文に 単に文字数を指定すると、カンマを超えて読み込もうとする。 また、欠損値が続くとそれ等を一つの欠損値として読み込んでしまう。 それらの欠点を一挙に解決するには以下の様式のプログラムを用いる。 続く欠損値を個々にバラして読ませ(infile 中の dsd)、 デリミタが出現するところまでの任意の長さの文字列を読み込む(input 中の : )ように指定する。data mon2006; infile 'd:\home\mon05d.csv' dlm=',' firstobs=2 truncover; missover dsd ; input No $ Univ : $30. SName : $40. Faculty : $50. Dept : $50. Center1 : $8. Center2 : $8. Sel1 : $8. Sel2 : $8. Book1 : $10. Book2 : $10. Vol0 VolS VolT ZenKou $ ScoreS ScoreT KoKouSi ; - タブ区切りのファイルを読む場合 : *.txt
data mon2006; infile 'd:\home\mon05e.txt' dlm='09'x firstobs=2 truncover;