衡量通用方法論(AIE, Applied information economics) - 如何衡量萬事萬物 How to measure...

Ch 13新的管理衡量工具

衡量世界，以網際網路為工具

額外加映 + 衡量通用方法論回顧

HPX-『如何衡量萬事萬物』讀書會

新的管理衡量工具

追蹤科技● 成本

● 駕駛行為/習慣● 人際關係

Internet● 挖掘研究● 蒐集資料

● Mashups分析● 網路調查

預測市場● 群眾智慧

How to measure anything

finding the value of “intangibles” in business

企業組織衡量與三項命題

本書聚焦的衡量與重大/關鍵性組織性決策有關，但沒有明顯且符合實際解答的衡量

企業組織衡量的三項命題● 管理階層在意衡量，因為衡量可以對具不確定性的決策提供資訊● 任何一項決策，都存在許多有待衡量的事物以及衡量方法⇒但是完全

的確定性極少是符合現實的選項● 因此，管理階層需要有方法可以分析降低決策不確定性的各種選項

3

方法論方法

英文 Methodology Method

說明研究方法的理論搜集/推論/解釋/預測的工具或技巧

例子

What & Why How

殺雞該用甚麼刀 & 為甚麼要用這種刀如何使用牛刀

好處提昇選擇正確方法的機會解決未來遭遇的問題

方法論與方法

The Design Innovation Process, 101 Design Methods

衡量的通用方法

定義決策問題與不確定

決定現有已知　　　

計算額外資訊價值　

衡量高價值資訊　　

決策並付諸行動　　

9~13

5, 6

4

7

11, 12, 14

衡量心法

3

衡量的通用方法論 3

衡量心法 -- 衡量的觀念與客體

衡量的定義根據一項或多項觀察，以數量表達的方式降低不確定性⇒不必然要消除不確定性

釐清⇒釐清連鎖⇒思想實驗『想衡量的特定但最初是模糊的事項』是甚麼意思? 為什麼會在乎它?

釐清連鎖● 若問題具重要性，它便能偵測(觀察)到● 如果它是可偵測到，我們就能偵測到某個數量(或可能的數量範圍)● 若我們能偵測到可能的數量範圍，它就是可以衡量的

3

衡量心法 -- 衡量的方法

耐吉法 Just do it!● 如不知要衡量什麼，儘管去衡量，將會知道要衡量什麼● 實驗：藉由嘗試來獲得東西

衡量基本作法抽樣+對照控制+改變焦點在不同問題類型(貝式反推)

最簡單的衡量範例 - 五的規則任何從母體中隨機抽取的五個樣本，母體的中位數有93.75%的機會，會落在這五個樣本中的最大與最小數值之間

3

衡量心法 -- 衡量的方法

四項有用的衡量假設● 你的問題不像你想的那麼獨特● 你擁有的資料多過你所想像的● 你需要的資料少於你所想像的● 適當數量的新資料比你想像中容易取得

無知絕不可能強過知識。~~恩里科‧費米, 1938年諾貝爾物理獎得主

會給你惹麻煩的不是無知；而是你深信不移卻非事實的概念。

3

衡量心法

衡量的通用方法論







9~13

5, 6

4

7

11, 12, 14

衡量心法

3


焦點問題● 衡量要支援什麼決策● 要衡量的事物，若用

可觀察的結果來定義會是什麼?

● 這個事物如何影響與問題有關的決策

費米分解法● 評估對一個問題已經

知道的資訊，以得到一個約略估計的數目







9~13

5, 6

4

7

11, 12, 14

衡量心法

3

4

HowWhat


用對話語：不確定性● 不確定性：未完全確定，有一個以上的可能性。

真正的後果/狀態/結果/價值是未知的● 不確定性衡量：為一組不確定性指派一組機率

用對話語：風險● 風險：不確定的狀態，有些涉及損失、災難或其他不想要的後果● 風險衡量：一組可能性，其中每個都有量化的機率與量化的損失

4

定義決策問題與不確定 4

價值主張是商業模式圖的核心

Solution Problem

Fit

Product Market

決定現有已知







9~13

5, 6

4

7

11, 12, 14

衡量心法

3

決定現有已知

表達不確定性的方法 - 信賴區間CI● 沒有確切的數字並不等於什麼都不知道● 表達對一個數值的不確定性，可將其視為一個可能的數值範圍● 校準後的機率評估，是衡量初始不確定性狀態的關鍵

改善尺度校準程度的方法● 重覆及反饋● 相等賭局● 考慮兩個同意及反對的意見● 避免定錨● 逆轉定錨效果

5

決定現有已知

衡量風險的方式● 風險程度：低/中/高 & 風險評分：1~ 10 ⇒ 感受(自我安慰)● 任何計畫投資的全部風險，最後都可表示為成本和效益不確定性的範

圍，以及可能造成影響的機率⇒ 蒙地卡羅分析

蒙地卡羅分析 - 實際的風險分析● 根據輸入範圍用電腦產生數以千計的模擬情境，將每情境中隨機產生

的未知變數放入公式中計算結果，以統計所有的結果機率分佈● 計算不確切知道成本和效益的投資報酬率

6

決定現有已知

蒙地卡羅分析簡易版● 總和的範圍區間=範圍區間平方和的開平方 ⇒ 公式僅簡單加減● 公式超出加減之外/非常態分佈(均等分佈/二項分佈...)均得用正常版

風險承受度⇒風險數量化● 可能性X損失(風險中力的簡單方法) vs 風險偏好 ⇒ Ch11

風險矛盾● 量化風險分析用在例行的營運決策，而非最大或風險性最高的決策● 未廣泛使用蒙地卡羅模擬，將造成組織效益重大損失，或暴露在明顯

可迴避的風險中

6

決定現有已知 6

計算額外資訊價值







9~13

5, 6

4

7

11, 12, 14

衡量心法

3


資訊有價值的三個理由● 資訊降低決策不確定性，而這些決策是有經濟後果● 資訊影響其他人的行為，而這些行為是有經濟後果 ⇒ 誘因價值● 資訊本身就有市場價值

資訊的價值 ● 了解衡量的價值，會影響我們衡量事物的方式，甚至是否需做衡量● EVI 資訊的預期價值 = 預期機會損失的降低 = EOL

資訊前 - EOL

資訊後○ EOL = 犯錯的機率 x 犯錯的成本

● EVPI 完全資訊的預期價值 = EOL資訊前 ⇒ 最簡單捷徑

● 範圍資訊的價值....看書卡緊啦!!!

7


降低部份不確定性的價值● EVII(不完全)+EVSI(樣本)● EVPI估算具不確定性，精確EVI

並不是很有用● 初始不確定性降低，資訊價值

EVI快速升高，資訊預期成本ECI小幅增加

● 請衡量高價值資訊的變數，通常它遠遠超過其他變數

● 衡量是反覆的，每回能告訴你如何作(以及是否要)下回合衡量

7

商業模式與價值主張測試 7


常見衡量迷思● 迷思：當你有很多的不確定性，需要大量的資料來告訴你有用的事● 事實：如你現在有很多的不確定性，要大幅降低不確定性並不需要大量

的資料。當你以有很多的確定性，那時你要大幅降低不確定性就需要很多資料。

衡量反比 ● 在企業案例中，變數衡量的經濟效益通常與衡量得到的關注成反比

○ 絕大多數變數資訊價值為零○ 高資訊價值變數通常是客戶從未衡量過的變數○ 花最多時間衡量的通常是那些資訊價值很低的變數

7


總結不確定性/風險/資訊價值：衡量第一步● 衡量風險的關鍵 ⇒ 了解如何衡量不確定性● 了解如何計算資訊價值關鍵 ⇒ 了解風險的量化意義● 了解資訊價值，我們將知道要衡量什麼，以及我們應該投入多少努力

去衡量它

計算資訊價值心得 ● 衡量的價值很重要：如不計算資訊價值，可能用了錯誤的方法，衡量了

錯的事物● 反覆進行：價值最高的衡量是最剛開始的衡量，所以一點一點進行，每

回合衡量累積一些收穫。

7

使用者研究 7

商業模式與價值主張測試 7

從起點發想原型到選定價值主張 7

衡量高價值資訊







9~13

5, 6

4

7

11, 12, 14

衡量心法

3


從衡量什麼過渡到如何衡量● 選擇與設計工具

各類衡量工具● 貝式分析● 抽樣● 人類偏好衡量● 人類判斷● 新管理衡量工具

910

111213

8


選擇與設計工具● 分解衡量，好讓它能從其他衡量求得估計● 考量你從間接研究中發現的事● 對一個或多個分解出來的部件，使用一個或多個衡量方法

⇒ 遺留線索、直接觀察、加標籤追蹤，或作實驗● 將剛好足夠的觀念牢牢放在心上 ⇒ 排優序● 思考該問題特有的誤差

選擇與設計工具的提示● 從結果來想● 反覆進行● 考慮多種方法

● 一個會讓其餘衡量失去意義的簡單問題是啥● 做就對了

8


分解許多衡量始於將一項不確定性的變數分解為幾個部件，並找出可以直接觀察的事物，那些是比較容易衡量的⇒ 分解過程對深信管理事物是不可衡量的人而言，是觀念的漸變

分解的效果● 分解往往最後會降低相當多的不確定性，以至於不需要更多的觀察

8


間接研究● 完全陌生的主題不從Google開始 ⇒ 有連結的Wiki是更好的起點● 搜尋的名稱盡量和研究或數量資料連結 ⇒ 顧客認知 + 調查...● 以搜索引擎和特定主題寶庫來看待網際網路研究 ⇒ 更好相關性● 嘗試多種搜尋引擎● 走投無路多試試參考書目● 試試英文

8


觀察基本方法：如果第一個方法沒用，快試下一個● 像精明的偵探般追蹤線索，對已掌握到的資料進行鑑識分析● 直接觀察。開始觀看、計數，如果可能進行抽樣

⇒ 如線索非現成● 如果目前沒有留下線索，加上追蹤器，讓它開始留下足跡

⇒ 免費禮品包裝/Coupon(衡量取得成本)● 如果完全不能追蹤線索，創造能觀察它的條件(實驗)

⇒ A/B Test

8


只作必要衡量花在衡量上的最佳支出，會以完全資訊預期價值 EVPI 的10%(~2%)當作一項衡量的經費● 必作衡量價值常低於EVPI● 初始衡量常改變後續衡量的價值，反覆衡量是有價值的● EVI在初期較陡，初期降低的不確定性要大得多，即使是誤差大的方法

(省錢)，都能帶出很多原本不知道的資訊

8


考量誤差體認誤差存在，有助於開發出補救策略 ⇒ 對照控制● 系統性誤差：衡量過程的傾向，會偏向某特定結果 ⇒ ㄧ致性的偏誤 ● 隨機性誤差：個別觀察無法預測的誤差● 正確性：系統性誤差小的衡量特質● 準確性：隨機性誤差小的衡量特質● 偏誤：無法能平均掉的誤差(系統性誤差) ⇒ 需加以控制

○ 預期性偏誤：只看到你想看的○ 選擇性偏誤：即使在抽樣時要隨機，也有沒注意到的非隨機性○ 觀察者偏誤：對人類作觀察會導致他們改變行為

8


貝式分析

10


範圍的貝式反推....看書卡緊啦!!!

貝式分析能...● 重新描述衡量問題的方式

○ 在我的觀察前提下，X為真的機率是多少○ 如果X為真，這個觀察的機率是多少

衡量懷疑論者的謬誤● 謬誤：衡量中誤差的可能性表示觀察無法降低不確定性● 事實：如果一個觀察可能讓我們知道什麼，它必然告訴了我們什麼

10

What if...


小量抽樣方法● 由校準過的估計者做主觀估計● z分數(30~)● t-統計量(2~30) ⇒ 參數式, 不確定性範圍● 免數學90%CI(5~30) ⇒ 非參數式, 中數範圍>t-統計量

其他抽樣方法● 母體比例抽樣(Population Proportion Sampling)● 抽查抽樣(Spot Sampling)● 群集抽樣(Clustered Sampling)● 分層抽樣(Stratified Sampling)● 序列抽樣(Serial Sampling)

9


重要統計觀念● 統計顯著性：小樣本 vs 30~1000?

⇒ 視衡量什麼及為何要衡量而定● 極端值(Outlier)：收斂速度成反比● 門檻：門檻機率計算機● 實驗：A/B Test● 資料關聯性：迴歸分析● 假設檢定：... 跨謀，誰來補充?

9


偏好與態度：衡量的軟性面● 人類的偏好是衡量唯一來源，也是人類對事物所做選擇● 陳述型偏好：說● 顯現型偏好：行為

觀察偏好的問券調查● 李克特量表：非常不喜歡/不喜歡/非常喜歡 or 非常不同意/非常同意● 選擇題● 評等排序● 論述題

11

衡量高價值資訊 12

人類判斷● 開發能力外需調整誤差

○ 機率校準○ 抵銷誤差與偏誤

● 專家估計避免認知偏誤○ 定錨(Anchoring)

○ 月暈/尖角效應(Halo/horns effect)

○ 從眾偏誤(Bandwagon bias)

○ 浮現偏好(Emerging preferences)

追蹤科技● 成本

● 駕駛行為● 人際關係

Internet● 挖掘研究● 蒐集資料

● Mashups分析● 網路調查

預測市場● 群眾智慧

衡量高價值資訊 - 新的管理衡量工具 13

衡量高價值資訊 - 新的管理衡量工具 13


(衡量)工具的六大優點● 工具能偵測到你所偵測不到的● 工具比較有一致性● 工具能被校準到足以修正誤差● 工具能避免人為偏誤● 工具會作紀錄● 用工具作衡量，要比人作衡量更快速更便宜

⇒ 具其中幾項優點就夠，即使僅一項也能改善空手無助的人類觀察

8

決策並付諸行動







9~13

5, 6

4

7

11, 12, 14

衡量心法

3


透過取捨來衡量● 主觀的評估：支付意願法WTP/統計生命價值法VSL● 數學文盲與錯置的義憤感(Life/Health)● 高度爭論性的價值，其初始寬大範圍就夠好了

量化風險耐受性● 不同規模有不同的投資邊界● 與主管一起紀錄公司的投資邊界

○ 讓所有主管更能接受數量化的風險分析○ 驅散主管決策時對於數量風險分析的顧慮

11


主觀取捨的數量化：多重矛盾偏好的處理● 效用曲線(等高線)

○ 績效和品質○ 風險和報酬○ 貨幣當量CME：將金錢的取捨整套因素貨幣化

利潤最大化 vs 主觀取捨● 簡化為利潤或股東價值最大化 ⇒ 終極指標

○ 淨現值/投資報酬率

11

衡量高價值資訊 12

依人類判斷決策● 以成本效益分析/加權分數衡量

結果須能改善先前知識狀態

● 看起來非常棘手的無形事務其實是可以衡量的● 可利用符合經濟效益的方式完成衡量

以校準後的眼睛來看這世界以定量的角度看每件事物

衡量通用方法論(AIE, Applied information economics) - 如何衡量萬事萬物 How to measure...

Self Improvement

Transcript of 衡量通用方法論(AIE, Applied information economics) - 如何衡量萬事萬物 How to measure...