如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

26
如何衡量萬事萬物 How to measure anything大數據時代, 最好量化決策 分析的有效方法 (書摘) Prepared by Erick Wu 11-04-2014

Transcript of 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

Page 1: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

如何衡量萬事萬物 (How to measure anything)

大數據時代, 最好量化決策 分析的有效方法

(書摘)

Prepared by

Erick Wu

11-04-2014

Page 2: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)
Page 3: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

目錄

• 第一篇 衡量:總是有方法可以衡量的

• 第一章 無形事物及其帶來的挑戰

• 第二章 直覺衡量的習慣

• 第三章 無形事物的假象:

• 為什麼無法衡量的事物其實並非無法衡量

• 第二篇 開始衡量之前

• 第四章 釐清衡量問題

• 第五章 校準的估算:你目前所知有多少?

• 第六章 建立模型以衡量風險

• 第七章 衡量資訊的價值

Page 4: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

目錄

• 第三篇 衡量方法

• 第八章 過渡:從衡量什麼到如何衡量

• 第九章 抽樣:觀察少數,探知多數

• 第十章 貝氏分析:以先備知識為基礎的衡量

• 第四篇 基礎之外

• 第十一章 偏好與態度:衡量的軟性面

• 第十二章 衡量的終極工具:人的判斷

• 第十三章 新的管理衡量工具

• 第十四章 通用的衡量方法:應用資訊經濟學

Page 5: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第一章 無形事物及其帶來的挑戰

• 本書的目的就是要告訴企業組織兩件事:

• 1.看起來非常棘手的無形事物,其實是可以衡量的

• 2.可利用符合經濟效益的方式完成衡量

• 為了達成這個目標,本書將先說明關於無形事物一些常見的誤解,告訴大家如何衡量無形事物,並對特定的問題提出一些有趣的方法。

• 首先我們陳述三項命題來定義並著手處理企業的衡量問題:

• 1.管理階層在意衡量,因為衡量可以對具不確定性的決策提供資訊。

• 2.任何一項決策,都存在許多有待衡量的事物以及衡量方法,但是完全的確定性極少是符合現實的選項。

• 3.因此,管理階層需要有一個方法可以分析降低決策的不確定性的各種選項。

Page 6: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第二章 直覺衡量的習慣

• 只要你研究問題的態度多一點創意,少一點失敗主義,則即使在預算限制下,還是能觀察到一些有用的事物。

• 靠著一些簡單觀察,做出看似不可能的衡量。我曾在衡量和風險分析研討課程中詢問學員,他們要如何在沒有現代工具的幫助下做估算,他們通常為採取一些”困難的方法”。

• 解答費米提問的這項方法稱為費米分解法。此法能幫助我們估算不確定的數值,也同時提供基礎,讓我們了解不確定性來自何處。

• 企業從這當中學習到的是,可以避開”不確定性是無法預測,無法分析”的困境。不被問題中的不確定性打倒,反而開始自問,在這個問題中你確實知道什麼。

• 企業主管他們寧願停滯在處理這些不確定性的明顯困難而無所作為,卻不願嘗試做衡量。

Page 7: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第三章 無形事物的假象: 為什麼無法衡量的事物 其實並非無法衡量

• 真實的衡量不需要完全準確,而是數量上降低不確定性的觀察。只要降低不確定性,不必然要消除不確定性,對衡量來說這就足夠了。

• 人們認為一件事無法衡量理由有三。這三個理由其實都根源於對不同衡量面向的誤解。我稱這些面向為觀念,客體,以及方法。

• 1.衡量的觀念:衡量本身的定義,普遍受到誤解。若能了解衡量真正的意思,很多事情都會變成可以衡量了。

• 2.衡量的客體:對於欲衡量的事物,未能做完善的界定。草率及模稜的言詞是做衡量時的絆腳石。

• 3.衡量的方法:許多實驗觀察的程序,一般人並不十分了解。若人們能熟悉這些基本的條理,顯然會有許多被認為是無法衡量的事物,不但會是可以衡量,而且早已都被衡量過了。

Page 8: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第三章 無形事物的假象: 為什麼無法衡量的事物 其實並非無法衡量

• 衡量的定義:根據一項或多項觀察,以數量表達的方式降低不確定性。

• 為了讓我們了解究竟要衡量什麼,有必要說明為什麼我們要衡量某些事務。衡量的目的,常常是定義衡量應該是什麼的關鍵。

• 找出衡量的客體,幾乎是所有科學調查的開端,包括非常革命性的科學。企業經理人必須了解,有些事物看起來無形,是因為他們尚未對該事物下定義。只要釐清你問題的定義,則你就已經做出一半的衡量了。

• 五的規則:任何從母體中隨機抽取的五個樣本,母體的中位數有93.75%的機會,會落在這五個樣本中最大和最小數值之間。

• 四項有用的衡量假設:

• 1.你的問題不像你想的那麼獨特。

• 2.你擁有的資料多過你所想像的

• 3.你需要的資料少於你所想像的

• 4.適當數量的新資料比你想像中容易取得

Page 9: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第四章 釐清衡量問題

• 為了衡量一些事物,必須正確找出我們所談的是什麼,以及為什麼我們會在意它。

• 如果一項衡量是有重要性的,那是因為它必須對決策和行為有顯著的影響力。若我們無法找出一項決策會被提出的衡量所影響,或無法指出這項衡量是如何改變那些決策,那麼這項衡量就沒有價值。

• 一旦定義了我們的需求,以及如何影響決策,我們仍還有兩個問題:目前你對此有多少的了解,以及衡量它的價值為何?你必須知道衡量它的價值,因為你可能會做出不同的衡量結果。

• 校準後的機率評估,是衡量你目前不確定性狀態的關鍵。學習如何對任何未知的數量,將你目前的不確定性予以數量化,是決定如何衡量事物非常重要的步驟。

Page 10: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第五章 校準的估算: 你目前所知有多少?

• 面對問題時,我們很容易迷失在未知的部份,也很容易忘記我們已知的部份。即使當問題一開始看似無法估計,總是有辦法找到合理的範圍。如果我們唯一的範圍是負的無限大到正的無限大,那就沒有任何東西需要我們做衡量。

• 尺度校準是讓人大開眼界的經驗。許多人,包括我自己,發現在做估計時,我們大多過於樂觀。一旦經過校準,你就變了一個人。你能敏銳地察覺自己的不確定程度。

• 尺度校準還有一個極為重要的成效。除了改善一個人主觀評估機率的能力之外,尺度校準似乎也消除對決策上使用機率分析的反對聲浪。在校準訓練之前,人們可能覺得任何主觀的估計都是沒有用的。

• 很顯然地,被強迫指定機率的實作經驗,以及後來發現這是真正看得到進步的衡量技能,能解決掉這些顧慮。

Page 11: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第六章 建立模型以衡量風險

• 就目前而言只需知道,在許多決策分析和風險分析方法中有很顯地存在一個強力安慰劑。經理人需要能夠分辨這兩者:對決策感覺良好,以及長期下來真的有較佳的成績。一定有經衡量過的證據可以顯示出決策和預測確實有改善。

• 取代不切實際的確切點數值,而用範圍來表達你的不確定性,明顯地有許多優勢。當你容許自己使用範圍及機率,你不必對你不知道的事實做任何假設。

• 蒙地卡羅模擬利用電腦,根據輸入的機率產生一大堆模擬情境。在每一項情境中,每一個未知的變數都會有隨機產生的特定值。然後這些特定的數值會被放入公式中,計算出那項情境的結果。

• 風險數量化,有一個常用的簡單化方法,就是將風險的可能性乘以損失的金額。這很簡單,但有可能產生誤導。這個方法假設決策者是風險中立的。

Page 12: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第七章 衡量資訊的價值

• 了解如何衡量不確定性,是衡量風險的關鍵。了解風險的量化意義,是了解如何計算資訊價值的關鍵。了解資訊價值,我們將得知要衡量什麼,以及我們應該投入多少努力去衡量它。

• 所有有價值的衡量,都必須降低會影響決策的某種數量的不確定性,而這些決策必須是有經濟後果的。降低愈多EOL(預期機會損失),衡量的價值就愈高。資訊價值等於風險降低的價值。

• 資訊的預期價值曲線

Page 13: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第七章 衡量資訊的價值

• 有了EVI曲線和ECI曲線,我們也學到了反覆衡量的架。完全確定狀態通常是達不到的,當我們越接近它時,EVI曲線顯示資訊的價值變平坦了,但ECI曲線則像火箭般快速攀升。這個事實告訴我們,一般來說我們應該將衡量視為反覆的。別想第一次就打出全壘打。每一回合的衡量都能告訴你如何(以及是否要)進行下一回合的衡量。

• 知道了EVI和ECI曲線的形態也告訴我們,關於衡量的一個典型假設是錯的。人們常常假設,如果你有很多的不確定性,你需要很多資料才能降低它。事實上,正好相反。

• 為什麼會發生衡量反比?首先,人們會衡量他們已知如何衡量的事物,或他們相信是比較容易衡量的事物。且經理人可能傾向於衡量比較有可能產生好消息的事物。

• 如果你不計算衡量的價值,你可能用了錯誤的方法,衡量了錯誤的事物。

Page 14: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第八章 過渡: 從衡量什麼到如何衡量

• 我們會問幾個問題,好決定合適的衡量方法:

• 1.該項事物的哪些部分是我們不確定的?

• 2.別人對此(或分解的部份)是如何衡量的?

• 3.找出”可以觀察的事物”如何引導出衡量?

• 4.我們真正需要衡量的有多少?

• 5.誤差是來自什麼?

• 6.使用什麼工具?

• 觀察的基本方法:

• 1.是否留下任何型態的線索

• 2.如果線索不是現成的,你能直接觀察或至少觀察到一個樣本嗎?

• 3.如果看起來沒留下偵測到的線索,在沒有其他協助下直接觀察又似乎不可行,你能不能設計一個現在開始追蹤它的方式?

• 4.如果追蹤現有的條件(現成的或新收集到的資料)還不足夠的話,能否在較容易觀察的條件下,”強迫”該現象發生(亦即,做一項實現)?

Page 15: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第八章 過渡: 從衡量什麼到如何衡量

• 所有的衡量都會有誤差。和處理所有問題一樣,解決之道首先要體認這個問題的存在—這可以讓我們開發出補救的策略,即使只能做部分的補救。然而,那些輕易就被衡量的挑戰所阻撓的人,常常假設”任何”誤差的存在都表示衡量是不可能的。慶幸的是,並非如此。

• 選擇和設計工具,我們來總結一下如何找出衡量的工具:

• 1.分解衡量,好讓它能從其他衡量求得估計。

• 2.考量你從間接研究中發現的事。

• 3.對一個或多個分解出來的部件,使用一個或多個衡量方法:遺留的線索,直接觀察,駕上”標籤”來追蹤,或是做實驗。

• 4.將”剛好足夠”的準確度觀念牢牢記在心上

• 5.思考該問題特有的誤差

• 6.從結果來想 7.反覆進行 8.考慮多種方法

• 9.一個會讓其餘衡量失去意義的簡單問題是什麼?

• 10.做就對了

Page 16: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第九章 抽樣:觀察少數,探知多數

• 事實上,我們從”經驗”得知的每一件事,都只是一個樣本。我們並未真正經驗過所有事情,我們有過一些經驗,之後再以那個經驗為基礎做推論。

• T統計量在形狀上類似常態分配。但是樣本數非常小的情況下,其分配的形狀比常態分配平坦,也較寬長。用t統計計算出來的90%CI(信心區間),不確定性比常態分配要高(也就是,範圍比較大)。要樣本數大於30時,t統計的形狀其實和常態分配是一樣的。

• 樣本數與不確定性的關係圖

Page 17: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第九章 抽樣:觀察少數,探知多數

• 很明顯地,估計只需要幾個觀察,使用參數型的方法或非參數型的方法(像是免數學表),就可以大幅降低不確定性。但是即使主觀估計有誤差存在,參數型方法和免數學表也有一個共同的誤差:它只考量到樣本的數值,任何先備知識都被忽略掉了。換言之,許多我們認為是”常識”的事項,都不包含在這”客觀”的方法內,因為校準的估計會直覺納入的資訊,都沒有被考量在內。

• 通常你要對某事物做衡量,是因為它支援決策。這些決策傾向於有門檻,如果數值高於門檻就採取一項行動,如果數值低於門檻就採取另一項行動。但是大部分的統計方法都不問最相關的問題:多少的X會發生不同的行動。

• 兩組資料之間的關聯性,是以介於+1和-1之間的數值來表達。關聯性為+1,表示兩個變數以完全一致的方式移動。關聯性為0,則表示他們彼此沒有關係。

Page 18: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第九章 抽樣:觀察少數,探知多數

• 免數學表

• 關聯性資料的例子

Page 19: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十章 貝氏分析: 以先備知識為基礎的衡量

• 貝氏定理(Bayes’ theorem)就是機率和”條件”機率(conditional probability)之間的關係。條件機率是在已發生特定條件的前提下,某個事物的機率。圖為一種型態的貝氏定理公式:

• 直覺貝氏法:

• 1.從校準的估計開始。

• 2.收集額外的資訊(民調,閱讀其他研究等等)。

• 3.主觀地根據新資訊更新你校準的估計,不必做任何額外的數學。

Page 20: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十章 貝氏分析:以先備知識為基礎的衡量

• 有許多類似的情況,很容易計算在特定假設為真的前提下,一項觀察出現的機率,然後可以轉換成在出現這項觀察的前提下,假設為真的機率,從”如果提出的假設為真,看到這個的機率是多少?”這個問題開始。最後以”在我觀察到這個的前提下,假設為真的機率是這樣”這個答案作結束。

• 衡量中誤差或錯誤的可能性,不會讓觀察和被衡量的事物之間,產生完全的獨立性。只要至少有一個可能的觀察,在不同的狀態下有不同的機率,那麼任何觀察都會改變狀態的機率,只要一個觀察可能讓我們知道些什麼,它必然告訴了我們些什麼。

• 為要了解為何會是如此,我們把任何衡量想成是可能的觀察和可能狀態的矩陣。每一列是該事物的可能狀態,每一欄則是可能的觀察。每個觀察都有一個初始機率,每個狀態也有一個初始機率。

Page 21: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十一章 偏好與態度:衡量的軟性面

• 如果我們詢問人們,什麼是他們想的,相信的,偏好的,那麼我們就是在做一向觀察,統計分析無異於我們如何分析地球上”客觀的”物理特性。

• 五個避免問卷回應偏誤的簡單策略

• 1.保持問題精確簡短

• 2.避免多重意義的用語

• 3.避免引導性問題

• 4.避免複合型的問題

• 決策者可能都必須改變他們對績效真正意義的想法。如果績效不是一個可以量化的,對組織終極目標的貢獻,那績效的意義何在呢?如果相對於成本所貢獻的價值是低的,績效又怎麼會是高的呢?釐清要對什麼做衡量,是關鍵之所在。所以不管你對所說的績效真正意思為何(生產力,品質等等),都必須對其真正意義做徹底的釐清。

Page 22: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十二章 衡量的終極工具:人的判斷

• 人的心智擁有一些勝過一般機械性衡量工具的卓越優勢。對於複雜又模糊不明確的情勢,其他衡量工具束手無策時,人類的心智具有獨特的評估能力。

• 如果希望使用人的心智作為衡量工具,我們需要找到方法來開發它的力量,同時調整其誤差。就如機率校準可以抵消人類過度自信的傾向,同樣地,也有方法可以抵消其他類型的人類判斷誤差和偏誤。

• Lens模型的做法,是從評量中除去判斷不一致的誤差。專家的評量通常都是會變動的,即使是在相同的情形下。人類專家會被各式各樣不相關因素影響,卻仍保有學習及專長的幻覺。然而,專家評量的線性模型會給出完全一致的評估。

Page 23: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十二章 衡量的終極工具:人的判斷

• Lens模型過程:

• 類似問題群組估計方法的相對價值

Page 24: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十三章 新的管理衡量工具

• GPS Insight靠著組合GPS,無線網路,網路存取,Google地圖等,能夠產生車輛位置,駕駛人活動,駕駛習慣等詳細報告,過去要追蹤這些資料是不太實際的。

• 探查網際網路奇妙的可能性,已非新鮮事,這早已是陳腔濫調了。但是有種特定的用法似乎是低開發的。網際網路本身可能是我們大多數人這一生中會見識到的最重要的衡量新工具。使用網際網路和一些搜尋引擎來挖掘你要衡量事物的相關研究,是非常簡單的。

• 要衡量似乎不可能衡量的事物,預測市場絕對是有力的新工具。預測市場的擁護者熱切地相信,這些工具是衡量所有事物的終結,萬能工具。但預測市場不是魔術。它們只是一個方法去總和一群人的知識,尤其如果使用的是真的金錢,提供人們誘因對他們的交易做研究。

Page 25: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

第十四章 通用的衡量方法:應用資訊經濟學

• 衡量的五個步驟架構

• 1.定義決策及重要的變數

• 2.對那些變數目前的不確定性狀態建立模型

• 3.計算額外的衡量價值

• 4.以符合成本的方式,衡量高價值的不確定性

• 5.在降低符合成本的不確定性後,做風險/報酬決策。回到步驟1,做下一個決策。

Page 26: 如何衡量萬事萬物 大數據時代,最好量化決策分析的有效方法(書摘)

Let’s share, learn and grow together

• Prepared by: Erick Wu ([email protected])

• Version: 0.9

• Date: 11-04-2014

• For details, please buy the book to know and learn more