精準預測：如何從巨量雜訊中，看出重要的訊息?(The Signal and the Noise: Why So Many Predictions Fail—but Some Don’t Nate Silver
英文書名是訊號與雜訊(The Signal and the Noise)比較貼近事實,至於精準預測應該只有銷售上的好處,但這無大礙,這書有點可惜,主要是寫法上的,它的每一章都藏著一個以上重要的條件,是在考慮預測事件時會干擾或影響預測者判斷的重要因素或條件,但是作者Nate Silver用了許多案例,事件,歷史曾發生的事,來說明這些條件對預測結果可能產生的影響,以至於這些重要內容有部分被藏著或隱沒在文字裡,反而沒太能凸顯這些重要的焦點.精準預測這書名具有吸引讀者眼球功能,我們投機客最容易被招惹上,當然成熟的投機客應該已經明白追求聖杯的無效率,甚至於無效果,對與所謂的精準預測雖不見得完全放下,但已能從容以對,至少知道在獲利的路上,精準預測與高勝率,高預測率不是投機活動成功的最重要因素,甚至不是主要因素,因此,個人是從警醒精準預測可能帶來的災難來看這本書的.
這書並沒有提供任何可以讓人精準預測的模式或系統,或物理數學工程型態的預測方式,事實上,即使提供了也是白費力氣,以投機活動為例,世上不知已有幾千幾萬的系統正被人們採用,如果突然出現一個系統或模式能自稱精準預測勝過其他,想想也可能不過是另一種偽專家的騙術騙局而已,因此身為讀者,自己應該知道精準預測或完全命中的荒謬,斷不可能還往找尋一個聖杯的思路去想,當然這是個人長期從事投機活動的經驗心得,至於那些依然相信人們能夠準確預測颱風,地震,降雨量,景氣循環,乃至股價行為聖杯的還是大有人在,只能說這本書不是為了這種目的的人而寫的.甚至書名叫精準預測,一半的內容卻是在警醒過度追求精準預測可能帶來的災難,帶來傷害的除了人們之前不知道的因素外,更可能來自於人們自以為瞭解的因素,所以Silver並沒有強烈的吹捧精準之美,反而一再舉例自以為的精準創造災難的事件,書的後半則是推介貝氏法則為骨幹的預測方式,Silver相對推崇趨近式預測方式貝氏法則來表現對於未知事物的認識,以機率的型態來表現對未知事物的預測,但即使如此,終究不是找尋聖杯的讀物,相對的是要警告,你以為的訊號其實是雜訊,你以為精準的模式其實是過度優化配適的結果,完全沒有提供未來預測的真實能力,Sliver指出相對於已知的未知,人們最常受到的傷害在於不知未知,即一種我們可能從來都不知道的事物可能的影響,或是人們原以為自己知道但實際上並不真的了解的事物可能發生的影響才是傷害人們最深的.
如果有一個統計調查是這樣的,比較新北市養狗人家對市售狗食的滿意度,與屏東縣養豬人家對豬飼料的滿意度,與台南市養貓人家對市售貓食的滿意度,而其他縣市也都指定一種寵物的並調查養寵物人家對於市售該寵物飼料的滿意度,其後並針對這些滿意度提出一個滿意度排行榜,你覺得如何?荒謬吧!應該是大家立即有的反映,如果調查改成台南市民對麵線糊的滿意度,與雲林縣民對肉圓的滿意度,縣市最愛小吃滿意度排行呢?應該一樣覺得荒謬吧.但是若這個統計改成高雄市民對高雄市長的滿意度,與各縣市民對其地方首長滿意度得比較並列出個別滿意度排名順序比較呢?是的,這種荒謬的統計不是異想天開,竟然就是當前在號稱是菁英商業人士會閱讀的雜誌已執行很多年的例行調查報導.甲地人愛貓度比乙地人的愛狗度,這還能列出排名,可別以為做這種調查的人不懂統計,事實上這媒體出了不少關於統計的專書呢. 有一個導演拍的廣告真不少,他同時間可以賣雞精,強健骨頭藥品,行氣散,保健藥酒,麥片,泡菜罐頭,,事實上這些保健品食品間可能還有彼此相忌,一般人理解上應該不能同時吃的,但沒辦法,導演便宜省成本,又有特別鄉土直白效果,但類似的廣告同時間出現,觀眾會記得嗎?還是會直接反映:導演你又來了?事實上國內每年都有做一個叫ICP (Intergrated consumer profile)的統計調查,如果你常看到某人短期內頻繁出現在不同的廣告,很可能就是這種調查分析的結果,廠商公關或廣告部門或拿著這種調查結果來找代言人,於是就出現這種分不清某人究竟是代言什麼商品的現象,常見的商業或政治統計已如此,至於學術上那就更是用到氾濫,以個人為例,唸書的時候,指導教授是所上教授統計方法的專職,開課從簡單的初統,到General Liner Model ,多變量分析,到計量經濟都有單一課程.因此自己其實修了太多這種專門學分,論文涉及的統計方法是一個大於3因子的因素分析(factor analysis),說來好笑,為了檢定一個模型的有效性,必須將整個檢定先拆成個別兩兩變數間的檢定,分拆後的檢定假設數目高達30個以上.以前覺得還行或蠻屌,但這麼多年後回頭看,那簡直是一篇荒謬無聊的big statistic excises,畢竟唸的是商研,搞這些除了優化最適配置外,根本沒有意義,也毫無解釋能力,事實上,近來國內商學社科論文幾乎都是這種的變形,產生了一堆垃圾論文,濫用統計到了無所不在的地步,即便如最近流行的巨量資料話題,問題也是一樣的概念,相關不等於因果,如果沒有專業上的關係研究,只是把一對對數據輸入,即便在數據上證實有相關性,實際上完全不具備解釋的能力,即使是巨量資料也是一樣,並沒有如近來流行的看法那般改變,比如美國超級盃冠軍是哪個聯盟得冠與股價指數的關係,就是一種高相關沒有解釋能力的一種例子,本書很大的範圍就是在對傳統統計的假設檢定方式提出質疑,而傾向於貝氏理論做為推理思考的思維,以趨向式的方式逐步調整對於事物的預測,強調事前機率的角色,以機率的方式來表達對未知事物的預期可能性,而不是如傳統檢定方式的一刀打死事物間的必然關係與因果,例如林書豪的紐約球季數據完全不能複製於休士頓,這裡面的因素很多,球隊不同,教練不同,戰術有異,甚至會因為隊友的調整而變動,即使下一個球季也未必會與這一季一樣,統計檢定在此無效,但貝氏定理似乎是個觀察不錯的方式.
Thomas Bayes與Adam Smith同生於啟蒙運動時代,受David Hume哲學思想的影響,對於因果關系的哲學深思以及經驗主義的影響,為亞當斯密的無形之手和貝氏定理奠定了基礎,兩者在邏輯上是一致的,斯密的無形之手在於強調因為人類缺少認識全局的訊息,只能根據新近獲取的知識來確定對事物價值的看法,通過人與人之間無數的交易活動修正這種看法,從而形成供需平衡的價格訊號,也就是指揮資源配置的無形之手,而Sliver稱市場機制是一種預測機制,將個人的獨立決策整合為群體決策,他指出貝氏定理與此類似,也因為缺少對全局機率的認識,故借助於事前機率,主觀機率來幫助確定現在所發生事件的機率,並且要根據新獲取的訊息,不斷更新事前機率,一步步接近真實事件發生的機率,這和無形之手的形成邏輯是一致的.而貝氏定理和邏輯實證主義的類比可以進一步說明它將主觀與客觀融為一體的,邏輯實證主義,尤其是波普的理論,強調假設和證偽,其中假設就相當於事前機率,要不斷吸取各種訊息來驗證,最後不斷接近於真理. 預測究竟是精確的錯誤,還是模糊的正確?預測須有機率或模型為基礎,預測需要數據,但又不能只依賴於數據,是以這類書籍寫作上的盲區在於既然不可能找到一個完全命中的精確模式,那麼這些相關性的論述的實質效用與目的究竟何在?Nate Silver認為預測的困難來自於測量,而測量可以分為容易觀察與不易觀察的兩類,前者受人的主觀性影響較小,而後者的測量更多的要依靠人的想象力和創造力,但是預測成功的關鍵在於有沒有承認人的無知,而不是對自己所采用的模型和方法的科學性,預測能力過於自信,因為對自身過於自信,就不容易識別出雜訊,從而失去正確的預測信號,而只有承認自己的無知,了解不知的未知可能產生的影響,遵循貝氏機率思維,才能時刻警惕雜訊的存在發現真正的訊號.
事實上本書所舉的例子正是以此為準,可以看得出在那些容易觀察的德州撲克,運動博彩,乃至於西洋棋人與電腦的對奕等皆是運用貝氏定理較易入手的領域,其實貝氏定理並非陌生的東西,我們在涉及決策理論的課程中都看過,如管理上的作業研究,或是資訊上的人工智慧,但真的重視的人不多,除了專攻相關特定領域的人外,並不易引起注意,費雪的統計檢定才是學術殿堂中的主流,不過這與大眾的思想或情感價值是一樣的,面對不確定,依然是期待一個正確立即性的答案,或是不容許你以漸近式的手段來處理問題,比如最近有地方首長放了颱風假卻無風雨,而沒有宣佈放假卻來了大豪雨,民眾只會事後指責或嘲笑,而決策人事實上確實不可能不當下決斷,畢竟小區塊的氣象預測準度也不能完全給予不懂氣象的地方首長決策正確的答案,客觀上也沒有時間讓貝氏定理發揮,這就是限制,我個人用人工智慧來發展期指當沖交易也是一樣的問題,雖然開盤起的運用不錯,但中段時間累積帶來龐大的資訊量,很難完全惕除前段的干擾因素,也較難達到預定將電腦模擬成一個看盤人的目標,原因即在於貝氏法則的先驗機率影響過大,必需隨著資訊的出現而調整,不是一個定性定量的參數,盤中的影響變得更關鍵,也是問題所在.而學術圈習慣於費雪統計檢定在於他們需要標準答案不愛採取或不能採用嘗試錯誤(try and error)的方式來研究或寫作,這與我們看盤操作,隨勢而動的行為模式不同,隨然我們也有一定的判斷標準,但價格行情卻是不定的,個人能控制的不多,但學術研究往往不是這類的,主觀上假設能控制的較多,或假設或自以為較多,因為這種特性,所以本書才會在棋奕的人工智慧,運彩博奕,棒球統計魔球,與職業撲克等領欲上顯示出貝氏法則是較為有預測能力的方式.而傳統的統計檢定在氣候暖化,氣象預測,流行病學,經濟預測等領域的運用上較為無力,甚至像地震預測簡直完全不可行,正是前述所說不易觀察的範圍,而恰好是這些領域中出現一大堆的預言大師,利用不確定性獲利,地震預言大師,經濟學者,股票專家,政治名嘴等都是常見命中率奇差的預測者,結果人們仰望尊重,實在諷刺.而try and error 與貝氏法則正是這本書試圖告訴我們如何在真實世界中進行精準預測的可能入門手段.
貝氏定理的開始與結束,都是用機率表達式來表現真實世界的可能性,它不會要求你相信這世界本質上是不確定的,但這個定理卻要讓人對於世界的主觀感知在於趨近真理,在許多行業中,表達不確定性會被誤以為是承認弱點,除非你習慣於像撲克選手那樣的思考方式,不然貝氏方法中的機率成份一定讓人憂慮,一開始做這些機率估計的時候,可能會估計得很差,但這些估計只是個起點,碰上新資訊出現的時候,貝氏定理會要求你修正,改進,而這種才是人類進步的真正方式,只是我們都沒有放開眼睛,真的看清這些,眼見未必為憑,書中以Derek Jeter的美技撲接,5次金手套為例說明他可能只是一個平凡的游擊手,因為同樣的球在Ozzie Smith眼中卻只要橫移幾步,因為Smith第一時間的判斷反映是快於Jeter,而Jeter可能必需等球接近才動作,而這種優劣判斷能力可能需要學習,人們比較習慣於選擇那種一看漂亮入眼的,但其實我們的大腦處理資訊是用趨近法的方式,人們感知到的輸入資訊,我們們能用意識考量的多得太多,所以習慣於將資訊分解成規律與模式來處理問題,本能上首先出現的趨近法可能相當粗糙差勁,這與大腦在日常生活中做的簡化和趨近也差不多,雖然這並不完美,也不是立即性的標準答案,但可能它才是用在預測較好的方式,只有當我們願意採用嘗試錯誤,才會知道那些預言大師的荒誕,過度自信,人的腦再大也不能大過宇宙,用機率思考的好處是強迫自己停下看資料,考量一下思考中的不完美,也許2012就不會那麼困惑迷人了..以上..
留言列表
