p 值的陷阱（下）：「摘櫻桃」問題 | 合法醫療器材資訊網

2017年1月7日—我們必須要做文獻的分析、要建構我們的理論，在這種情況之下，會出現摘櫻桃的問題。這裡就是要呈現給大家看，譬如我們作20個統計檢定，從作第一個 ...

編按：本文係林澤民老師在2016年中進行的相關系列演講之一的逐字稿修訂版，本場次為2016/6/6在政大社科院的演講，題目為《看電影學統計：p 值的陷阱[1]》。原文刊於《社會科學論叢》2016年10月第十卷第二期。

此篇文章為下篇，建議先收看上篇文章：〈 p 值的陷阱(上)：p值是什麼？又不是什麼？[2]〉

再來我們講到「摘櫻桃」問題，如同剛剛所提到，研究假設的先驗機率是如此重要，我們要如何去判定？要怎麼知道它是多少？我們必須要做文獻的分析、要建構我們的理論，在這種情況之下，會出現摘櫻桃的問題。這裡就是要呈現給大家看，譬如我們作 20 個統計檢定，從作第一個開始，本來有一個 model，但是 p 值不顯著，我們就改一下model，加一個變數、減一個變數，或是把一個變數平方，或是把一個變數取 log，或者把樣本除去一些，增加一些，這樣慢慢去試驗，最後終於得到一個顯著的結果了！但這裡告訴你，做了 20 個這樣的檢定，我們以為每一個檢定的 Type I error 控制在 0.05，可是 20 個裡面最少有一個顯著的或然率是多少？是 0.64。（圖八）

為了讓大家能夠進一步了解這個問題，再給大家看一部電影，這部電影是《班傑明的奇幻旅程》。

讓大家看這部電影，我們可以注意到，這部電影所講的，跟上一部《玉蘭花》很類似，也在討論是這樣發生車禍到底是 by accident 還是 by design。它的議論應該是：這種車禍的發生，其實有一連串的因果鏈，只要這因果鏈其中有一個環節稍微不一樣、或是沒有發生的話，可能車禍就不會發生。因此它的敘述者暗示說其實是 by design，而不是 by accident。然而現在要跟大家...