t検定の話に入る前に、基本的な確率のことについてここで触れておきます。
「コインを二回投げて、少なくとも一回表が出る確率は?」
これは、全部の事象から二回とも裏が出る確率をひいたものになります。
答えは、
= 0.75 です。
「サイコロを二回振って、少なくとも一回は3の目がでる確率は?」
これは、全部の事象から二回とも3以外の目が出る確率をひいたものになります。
式は、
= 約0.306 です。
このように、同じことを繰り返すと、全体として一回以上コインが表になる確率やサイコロに3の目が出る確率が、上がるということが分かります。
そこで、A条件、B条件、C条件があったとし、AとB、BとC、AとCの、この三つにおいてt検定を行った場合、「少なくとも一つの組み合わせに、たまたま差がでる確率」は、1から「3つの組み合わせ全てが差がないとなる確率」をひいたものになることが分かります。
「差がないとなる確率」は、全体の確率からたまたま起こる確率をひいたものになるので、ここでは、1から出現確率5%(100回につき5回起こり得るとする確率)をひいたものにします。
式は、
=1 - 0.857= 約0.14
となります。
「少なくとも一つの組み合わせに、たまたま差がでる確率は、0.14になり、一回だけのときに比べて、たまたま差が出る確率があがってしまいます。
つまり、比較する群が増えれば増えるほど、実際は差がないのにたまたま差があるとされる確率が増えてしまうのです。
そこで