2013年04月04日

統計学が最強の学問である

本日は西内啓 氏の
統計学が最強の学問である
です。
統計学が最強の学問である

本書は統計学のトレンドを知りたくて購入しました。


現在はコンピュータの高速化で、
多量のデータでも、十分実用的に解析できるようになりました。

それにつれて「ビッグデータ」という言葉が流行ってきています。

これは、コンビニの購買データといった膨大なデータを
一気に統計処理をしまおうというものです。

最近、例えばTポイントカードのように、
様々なところで使えるポイントカードが多くなっています。

この動きにはデータを統計解析する際の
データの属性をはっきりさせようという意図があるのです。


そして、そのデータを解析するために統計の専門家が
求められています。

例えばgoogleなどは、統計の専門家を多数集めた
統計専属のチームを作っているといいます。

これからの時代は統計家が
ますますホットな職業になっていくでしょう。
そして、英語、会計などに変わって、
統計がビジネスパーソン必須の素養となるでしょう。

本書はそんな時代の到来を前に、
時代の半歩先を行くための知識を与えてくれます。


統計学を本気で学びたい人にお勧めの一冊です。
少し難しいところもあるでしょうが、乗り越えられれば、
現在の職場で、統計学利用のパイオニアとなれるでしょう。



自分が病気になったときに、まず長生きしているだけの老人に
長寿の秘訣を聞きに行く人はいないのに、子どもの成績に悩む親が、
子どもを全員東大に入れた老婆の体験記を買う、
という現象が起こるのは奇妙な事態だとは思わないだろうか。


フィッシャーたちの時代とそれ以前の統計学の大きな違いは、
誤差の取り扱い方にあると言っていい。


クロス集計表について「意味のある偏り」なのか、
それとも「誤差でもこれぐらいの差は生じるのか」
といったことを確かめる解析手法に「カイ二乗検定」というものがある。


「適切な比較を行うこと」、そして
「ただの集計ではなくその誤差とp値についても明らかにすること」。
この2点を意識しさえすれば、経験と勘を超えて
裏ワザを見つけることが容易になる。


統計学をある程度マスターすれば
「どのようにデータを解析するか」ということはわかる。
だが、実際に研究や調査をしようとすれば、
「どのようなデータを収集し解析するか」
という点のほうが重要になる。


ランダム比較実験という枠組みは、
「実験とは何か」という考え方を一歩先へ進めたのだ。


科学とは白衣を着て怪しげな機械や薬品をいじくることではなく、
正しいことを最大限謙虚に、そして大胆に掘り下げようとする姿勢である


統計学的な裏付けもないのにそれが絶対正しいと決め付けることと同じくらい、
統計的な裏付けもないのにそれが絶対誤りだと決めつけることも愚かである。


ある会社が大規模な企業買収を仕掛けるべきか、とか、
ある人が今の恋人と結婚すべきか、といった
一世一代の決断をランダム化することはできないのだ。


全集団同士での単純比較は、
その内訳となる小集団同士との比較の結果と矛盾することもある。


何をもって適切なモデルが得られたとするかという点については、
統計家だけでなくその結果に関わるステークホルダーたちによって
慎重な議論を経なければならないのだ。


ニューラルネットワークやサポートベクターマシンとう手法を用いれば、
曲線的な関係性や相互作用も含め、
最も識別力が高いと考えられる分類を行うことができる。


「途中の計算はよくわかりませんが
顧客の購買金額を予測できるプログラムが書けました」
というのではどうしようもないのである。


予測それ自体がゴールなのであればデータマイニングは有効である


予測モデルから今後何をすべきかを議論したいのであれば、
回帰モデルのほうが役に立つ。


たとえば営業日誌をテキストマイニングし、
成功事例と失敗事例との間にどのような単語頻度の違いがあるかを分析し、
機会損失を減らすという研究がある。
有価証券報告書に登場する単語を分析して、
その後倒産する企業と倒産しない企業の間に
どのような単語出現頻度の違いがあるかを分析した者もいる。


「間違いが許されない」という保守的な判断が求められる分野ほど
頻度論に基づく傾向にある。


ベイズ的な考え方であれば、「事前確率」という仮定を置くと
データからどういったことが言えるか、という演繹が可能になる。


迷惑メールから1秒でも早く解放されたければベイズ的に考えたほうがいい。
どうせ使い続けるうちに事後確率は少しずつ修正されて、
間違った分類も減っていくのである。





engineer_takafumi at 14:44│Comments(0)TrackBack(0) ★理系本の書評 |  ⇒ 数学

トラックバックURL

コメントする

名前
 
  絵文字