2010年08月02日

3た論法から療育リテラシーを考える(3)

インチキ療法にだまされないための基礎的な論理武装としての「療育リテラシー」について、「3た論法」という観点からまとめているシリーズ記事の、第3回です。

「3た論法」とは、以下のような「理屈」で、ある療育法の有効性を主張する、誤った論理構成パターンのことを指します。

「ナントカ療育を試した・良くなった・ナントカ療法は効く!」

前回は、

(1)そもそも「3た論法」は、因果関係を示しているものではないこと、

(2)「脱落効果」によるサンプリングの偏りが、効果のない療育法を効果があるように見誤らせることがあること、


から、「3た論法」では、たとえ具体的な数値を事前・事後で比較して「良くなっている」ことを示したとしても、それがその療法の有効性を示すものにはならないということをお話ししました。

今回からは、「3た論法」のうち、真ん中の「良くなった」という「効果の判断」そのものを誤らせるような、いくつかの計測上あるいは心理的な効果・影響についてまとめていきたいと思います。
これらの効果・影響によって、本来は「効果がないもの」を、あたかも「効果がある」ように「計測」してしまうことがあるのです。

まずその1つめとしてあげられるのが、

(3)発表バイアス

です。

3た論法で「効果があった」例として私たちが知ることができるのは、一般に、「効果があった」ケースだけが選択的にピックアップされて紹介されたものです。
仮に、その背後に10倍の「効果がなかった」あるいは「かえって悪くなった」人がいて、実際にそういう情報が入ってきたとしても、それらについて紹介され表に出てくることがなければ、誰にも知られずに消えていってしまうでしょう。

このような、「うまくいった例だけが表に出てくる」というのは、もちろん発表者、あるいは「業者」が、意図的に「うまくいかない例」を隠蔽することによっても生じますが、仮にそういった悪意がなかったとしても、知らないうちに同じようなことが起こってしまうケースが多々あると考えられます。

たとえば、ナントカ療法という療育法において、「A」から「E」までの5種類の働きかけが推奨されていたとします。
あるとき、そのナントカ療法をやってみようと考えた親御さんがいて、AからEまでを順に試していったところ、「D」をやったときに「改善」が見られたとします。

そうするとこの親御さんは、「Dが効いた」と発言するでしょう。
でも、このとき、「より公平に」発言するとするなら、「A、B、C、Eは効果がなく、Dは効いた」と言わなければならないはずです。

さらに、またしばらく時間がたって、この親御さんは「D」に効果がないような気がしてきたので、改めてAからEを試してみたところ、今度は「B」で「改善」がみられたということで、「Bが効いた」と発言したとします。

実際には、「効いた」「効かない」といった現象が、このように働きかけとの対応がはっきりせずにばらばらに現われた場合は、その「効果」は単なる周期的な状態の変化に過ぎず、働きかけの効果(=ナントカ療法の効果)だとは呼べない(ナントカ療法とそのとき現われた「変化」との間には因果関係がない)可能性が高いでしょう。

少なくとも、「AからEという5つの働きかけの多くが効果がなく、また効果があったように見える働きかけも、時と場合によって変化してしまう」という「事実」を、この親御さんは経験として知っていることになります。

でも、恐らくこの親御さんは「効かなかった」働きかけの経験は特段意識にあがらず、かつてBが効いたこと、そして最近ではDが効いたことだけが強く印象に残っているはずです。だからこそ、「ナントカ療法のBとDが効いた!」になってしまうわけです。
そして、ここに「3た論法」を組み合わせると「ナントカ療法は効く」になってしまうわけですね。

ここで、この親御さんは特段意識して(悪意で)「効果がなかった例」を隠蔽しているわけではないことに注目してください。
そうではなく、「効果がなかった例」にはそもそも関心が向かず(「効かない」場合は変化がないわけですから、そもそも注目すべき事態が発生していないわけです)、「効果があった例」だけが「発見」され、印象に残るために、「自然と」効果があった例だけが選択的に表に出てくる(発言として現われる)ことになるわけです。

このように、「実際には効果が現われたり現われなかったりする状況のなかで、『効果が現われた』ケースだけが選択的に『発見』され、言及され、表に出てくる(発表される)ために、実際の比率よりもはるかに高く「効果がある」傾向があるように見えることは、「発表バイアス」と呼べるでしょう(本来は、学術論文などで、うまくいった実験だけが発表されるために同様の傾向が現われることを呼ぶようです)。

言うまでもありませんが、ナントカ療法の業者に対して「利用者から届く声」が「効いた!」ばかりになる理屈は、前回の「脱落効果」(サンプルが偏る)としてみることもできますが、利用者からの声そのものに、この「発表バイアス」がある(取り上げられる結果が偏る)点も見逃せないでしょう。
利用者からの声に「発表バイアス」があることに加えて、それを受け取り、集約する「業者」にも、同様の発表バイアスが、無意識的なものも含め存在するはずです。

ともあれ、「検証すべき『結果』の全体を把握せず、『偏った』結果だけを取り上げるために『偏った』(誤った)結論が出てしまう」ということが問題なわけです。「すべての事例についてのすべての試行の結果」が全体として検証されない限り、常にこのようなバイアスが生まれる可能性があります。
科学や医学での仮説に対する「系統的レビュー」と呼ばれる検証では、こういったバイアスをできるだけ排除できるように論文がメタ検証されます。

療育ではそこまでのものはなかなか難しいと思いますが、「基本的に、ある療法を推進しようとしている主体から発表されている肯定的な研究結果は信用しにくい」「事前に(研究内容が)告知されていた研究が発表される場合、そうでないものより信用度が高い」といったことは言えると思います。

(次回に続きます。)
posted by そらパパ at 19:42| Comment(0) | TrackBack(0) | 理論・知見 | 更新情報をチェックする
この記事へのコメント
コメントを書く
コチラをクリックしてください

この記事へのトラックバック
子どもが自閉症かもしれない!どうしよう!という親御さんへのアドバイスはこちら
孫が自閉症らしい、どうしたら?という祖父母の方へのアドバイスはこちら

fortop.gif当ブログの全体像を知るには、こちらをご覧ください。
←時間の構造化に役立つ電子タイマー製作キットです。
PECS等に使える絵カード用テンプレートを公開しています。
自閉症関連のブックレビューも多数掲載しています。

花風社・浅見淳子社長との経緯についてはこちらでまとめています。