「3た論法」とは、以下のような「理屈」である療育法の有効性を主張する、誤った論理構成パターンのことを指します。
「ナントカ療育を試した・良くなった・ナントカ療法は効く!」
前回は、
(1)そもそも「3た論法」は、因果関係を示しているものではないこと
をご説明しました。
私たちの認知は、時系列に並んだある事象と別の事象とのあいだに「因果関係」を見出そうという非常に強い傾向があるので、特定の療育法の効果とは無関係な「自然な変化・発達」であっても、その療育法の「効果」であるように錯覚してしまうことがある、ということを書きました。
「3た論法」による結論を誤らせる理由は他にもあります。
「3た論法」のもう1つの大きな問題、それは、こういった形で何らかの療育法の効能を主張する人間が、一般的には「その療育法を多くの人に提供している人物・組織」であるがゆえに起こる、
(2)脱落効果
です。
例えば私が、ネット越しにお子さんに「気」を毎週1回、3回注入するという「e気功療法」というのを開発して、施術を希望した1000人のお子さんに「施術」を開始したとします。でも実際には、「気を送る」という儀式的行為すらせず、まったく何もしなかった(つまり、完全なインチキ)としましょう。
当然、そんな療法に効果があるわけはありませんから、この「施術」がお子さんに与える効果はゼロだと言えます(プラセボ効果等はここでは無視します)。
でも、その「施術」とは無関係にお子さんの状態は日々変化しますし、その「自然な変化」のなかには、突然発語が始まったり、トイレトレに成功したりといった「驚くべき成長」も含まれます。
そして、1回目の「施術」の直後に、こういった「驚くべき成長」を経験したお子さんの家族は、この「e気功療法」のファンになるでしょう。
一方、何の改善も感じられなかった家族は、馬鹿馬鹿しくなってどんどんやめていってしまうでしょう。
そうすると、仮に3回の施術が終わった時点で残っている人「全員」にアンケートをとって、「全員から」回答をもらったとしても、恐らく「改善があった」と答える人が「なかった」と答える人より圧倒的に多くなるはずです。あとは、
「e気功療法を試した、ほとんどの人が改善した、e気功療法は効く!」
という、「3た論法」に仕上げるだけです。
このケースの場合、施術を行なった1000人全員という「最初の集団」がそのまま残らずに、「改善のあった」ごく一部のグループだけが残り、それ以外の人たちが「脱落」していることがポイントです。
これによって、「残った人」のなかで効果を測定すると、本来の効果とはまったく異なる「強い改善傾向」が現われてしまい、施術の効果に対する判断を誤らせる結果となります。
もし最初の1000人全員を追跡調査すれば、単に時間の経過による自然な状態の変化、発達が一部のお子さんに起こっただけであって、施術自体の有効性はなさそうだという結論が出る可能性が高いわけですが、当然、そのような「真実」は表に出てはきません。
この「脱落効果」を活用した、こんなインチキ商売の話もあります。
株相場の予測で、電話帳を使って大量の人に電話をかけ、そのうち半分の人には「今日は上がる」と予測し、残り半分の人には「下がる」と予測します。
翌日、前日の予測が「当たった」グループをさらに2つに分け、一方に「上がる」、一方に「下がる」と予測します。
これを何日か続けていって、最後に残った「連戦連勝となったグループ」に、最後に「私が運用する投資信託に投資しませんか?」と持ちかけるのです。
持ちかけられた人は、実際にそれまでのすべての日の株式相場を当てている人物からの誘いなので、とても魅力的に感じるでしょう。
でも実際には、その背後に「当たらなかった大量の人」がいることが隠されており、脱落効果による「偽りの結果」によってだまされているわけです。
この投資話が実話かどうかは分かりませんが、現実のネット投資における「バーチャル取引」というのは、実は上記とまったく同じ「脱落効果」を巧妙に使った勧誘になっているらしい、という話題を先日見かけました。(こちら)
このように、現実場面での「脱落効果」は、あまり露骨ではなくマイルドに現れるので、つい私たちも「自然にだまされて」しまいそうになります。
例えば、あるセラピストのもとに現在通っている50人のお子さんのうち40人が「1年前よりも改善している」とします。
でも、この場合も、「そのセラピーは80%のお子さんに効果がある」という結論をすぐに導いてはいけません。
なぜなら、いま仮に50人のお子さんが通っているとしても、過去1年間でそのセラピストの門をたたいたお子さんは200人いたかもしれず、いま残っていない150人は、そのセラピーで効果を実感できずに脱落しているかもしれないからです。
そして、その当初の全サンプル(200人)のなかで、そのセラピーと無関係な「自然な発達のばらつき」から「改善したことが実感できる」ようなお子さんが全体の20%程度存在すると仮定すると、200人中の20%=40人で、同じ数字になります。
つまり、このケースの場合、「(自然な発達によって、たまたま)良くなったお子さんばかりがそのセラピーを続けている(そうでないお子さんは、高額なセラピー料や通う手間に見合うだけの効果がないと感じて、そのセラピーをやめてしまった)」と考えると、「一見、80%ものお子さんに改善が見られるようなセラピーが、実はまったくそれ自体として効果がないかもしれない」という、驚くべき可能性が示唆されるわけです。
(もちろん「効果がある」かもしれません。でも、この結果からは「有効かどうかは分からない」というのが、最も誠実な判断になります。大切なことは、「3た論法」的な主張から「真の有効性」を判定するのがいかに難しいか、ということを知っておくことです。)
このように、「効果が見られない人は脱落したり、アンケートに答えなかったり、発言しなかったりする」ことによってサンプルが偏り、実際よりもはるかに高く「効果がある」ように見えてしまうことは、「脱落効果」と呼ぶことができるでしょう。
この「脱落効果」を無視してしまうと、例えばこのケースで、いまセラピーに残っているお子さんに対して「発達検査」で計測して統計的検定をかけると、「効果がある」ことが「証明」できてしまうので、「EBM的に効果がある」ように仕立て上げてしまうことも可能になってしまいます(もちろん、実際のEBMのガイドラインでは、こういう脱落効果をちゃんと見なければならないことが指摘されます)。
さて、業者が主張するような「3た論法」を批判的に検証する際にまず考えなければいけないことは、これまでにご説明した2点ですが、これら以外にも、「3た論法」で示されるさまざまな「効能」が、実は錯覚にすぎないようなパターンが多数存在します。
次回以降、それらについてもまとめていきたいと思います。
※おまけ
サッカーW杯で話題になった予想タコのパウル君についても、世界中で行なわれていたであろう「予想占い」のなかで、たった1件これだけが話題になったという点を考えれば、相当程度、この「脱落効果」が働いていることが推測されます。
もちろん、ほのぼのとした占いの話題に目くじらを立てる必要はありませんし、話題になった後の数回の予測が当たったのは、ニュースとしては面白かったですね。
(次回に続きます。)
※2010/7/26追記:「母集団」という表現が間違っているという指摘を受けましたので、表現を修正しました。ご指摘ありがとうございます。
「この売り場から1億円当たりました」
という宣伝も
この「分母を公開しないで成果だけ見せる」手法ですね。
そういう宣伝によって
特定の売り場利用者が増え
当たる人が出る可能性が高まる
という図式なのでしょう。
でもその可能性の「分母」を知ると
売り場利用者に対して
当たった人数が少なければ
実は「可能性が低い」という結果になる
ということを
あまり認識しない人が多い気がします。
数ヶ月前に話題になった「オキシトシン」も
金沢大学で1例だけ
「効果が見られた(ように見える)」という報告があったのがきっかけで
大騒ぎになりましたね。
何事にも「脱落していった分母」が存在すると思います。
その分母を見極めることがクリシンに繋がっていくのでしょうね。
いつも勉強になります。
コメントありがとうございます。
宝くじについては、実際の当選確率を考えれば、なかなか買う気にはなれないですよね。
もちろん「この売り場から出ました」の確率は、売れた枚数に比例して高くなりますから、「よく売れる売り場ではよく当たりが出る」が正しいわけで、その因果関係が逆転して「よく当たりが出る売り場でよく売れる」になるのは、ある種のヒトの認知の面白さでもあると思います。
オキシトシンについては静かになりましたね。その後どうなったのでしょう。