CHAPTER 9 Market Basket Analysis and Association Rules購物籃分析與關聯規則

吳欣潔 張啟帆 國立中興大學行銷研究所

2

前言圖 9.1

一公升的柳橙汁、一些香蕉、洗碗精、窗戶清潔劑、6 包裝的蘇打水

蘇打水是否會和香蕉一起買？品牌是否會造成蘇打水銷售的差異？

有什麼是應該在購物籃裡卻沒有的？洗碗精和柳橙汁一起被買時，窗戶

清潔劑是否也一起買了？

不同的人口特質會如何影響顧客的消費？

3

前言 購物籃分析的主要資料來源是零售業，藉由分析銷售

點 (Point-of-Sale) 的資料，以找出哪些商品會一起售出的規則。其中最常使用的方法是關聯規則 (Association Rules) 。

除了零售業外，購物籃分析也可以應用在其他領域：• 信用卡消費• 電話使用者的附加功能• 消費者的常用銀行服務• 保險配套方式• 醫院病患的歷史資料

4

購物籃分析資料架構

CUSTOMERCUSTOMER IDNAMEADDRESSetc.

ORDERORDER IDCUSTOMER IDORDER DATE PAYMENT TYPESHIP DATEetc.

LINE ITEMLINE ITEM IDORDER IDPRODUCT IDQUANTITYUNIT PRICEUNIT COSTetc.

PRODUCTPRODUCT IDCATEGORYSUBCATEGORYDESCRIPTIONetc.

圖 9.2

5

訂單 (orders) 的基本衡量方式

每個顧客的平均有多少 order

每一個 order 的平均有多少品項

每一個 order 的平均有多少特殊品項 針對某產品，曾購買這項產品的顧客佔多少比例 針對某產品，曾購買這項產品的顧客平均會購買幾次 針對某產品，這項產品被購買時的平均數量

購物籃分析資料架構(2)

6

圖 9.3

9

8

7

6

5

4

3

2

1

0 1 2 3 4 5

每次交易中，不同產品的項數

交易次數

購物籃分析資料架構(3)

7

訂單特性

9.4圖

0

200

400

600

800

1000

1200

1400

1600

1 2 3 4 5 6 7 8 9

購買商品的項數

訂單

平均

金額

American Express

MasterCard

Visa

購物籃分析資料架構(4)

8

品項的受歡迎程度

要用存貨曲線來找出最受歡迎的商品並不難，不過，只知道商品的銷售量是不夠的，下面還有幾個相關的問題：• 在 one-item order 中，最受歡迎的品項是什麼？• 在 multi-item order 中，最受歡迎的品項是什麼？• 在重覆購買的顧客心中，最受歡迎的品項是什麼？• 特定品項的受歡迎程度如何隨時間改變？• 某一品項的受歡迎程度如何隨區域改變？

購物籃分析資料架構(5)

9

追蹤行銷干擾事件

Figure 9.5

0

50

100

150

200

250

300

350

400

3/1 3/8 3/15

3/22

3/29 4/5 4/12

4/19

4/26 5/3 5/10

5/17

5/24

5/31 6/7 6/14

6/21

6/28 7/5 7/12

7/19

7/26 8/2 8/9

Sales

Mail drop

購物籃分析資料架構(6)

10

利用用途將產品分群

通常還有很多關於產品的敘述性的資料，例如衣服的顏色等，這些資料可以幫助產品的分級，還能類似解決以下的問題• 瘦身產品是否傾向一起賣出？• 消費者是否同時會買類似顏色的衣服？• 買有框的明信片的消費者是否會同時買其他產品？

購物籃分析資料架構(7)

11

LINE ITEMLINE ITEM IDORDER IDPRODUCT IDQUANTITYUNIT PRICEUNIT COSTetc.

LINE ITEMLINE ITEM IDORDER IDPRODUCT IDQUANTITYUNIT PRICEUNIT COSTetc.

LINE ITEMLINE ITEM IDORDER IDPRODUCT IDQUANTITYUNIT PRICEUNIT COSTetc.

ORDER PIVOTORDER IDHAS PRODUCT AHAS PRODUCT BHAS PRODUCT CHAS PRODUCT Detc.

利用用途將產品分群 ( 圖 9.6)P

roduct DP

roduct C

Product B

ORDER ID LINE ITEM ID B

ORDER ID LINE ITEM ID C

Product

A

ORDER ID 0 1 1 0

購物籃分析資料架構(8)

12

關聯規則 (Association Rule)

購物籃分析會找出應該放在一起的產品或服務。利用關聯規則找到的結果很清楚，但卻未必有用。以下是關聯規則的三種典型例子。• 可行的規則 (Actionable Rule)

• 明顯的規則 (Trivial Rule)

• 無法解釋的規則 (Inexplicable Rule)

13

可行的規則 (Actionable Rules)

有用的規則必須包含高品質的，可行的資訊。業者一旦找到模式，必須要能夠配合這個模式來調整。 • Ex1.芭比娃娃與糖果條• Ex2.尿布與啤酒

關聯規則 (2)

14

明顯的規則 (Trivial Rules)

明顯的規則可能在該行業中都已經知道了，在行銷上沒有太大的價值。

• Ex.維修協定與大型家電用品• Ex.油漆與油漆刷

關聯規則 (3)

15

無法解釋的規則 (Inexplicable Rule)

這種規則似乎沒有任何原因，也無法作為行銷活動的參考，可以只是某個時空下的一種巧合。

• Ex.五金賣場開幕時，銷售最好的是馬桶清潔劑

關聯規則 (4)

16

關聯規則的運作方式

客戶 品項

1 柳橙汁、蘇打飲料

2 牛奶、柳橙汁、玻璃清潔劑

3 柳橙汁、清潔劑

4 柳橙汁、清潔劑、蘇打飲料

5 玻璃清潔劑、蘇打飲料

表 9.1 雜貨銷售點交易狀況

17

柳橙汁 窗戶清潔劑

牛奶 蘇打飲料 清潔劑

柳橙汁 4

窗戶清潔劑

1 2

牛奶 1 1 1

蘇打飲料 2 1 0 3

清潔劑 2 0 0 1 2

表 9.2 Co-occurrence Table

關聯規則的運作方式(2)

18

信心水準 (Degree of Confidence)

• 「 if 蘇打飲料， then 柳橙汁」

信心水準 =67%(2/3)

• 「 if 柳橙汁， then 蘇打飲料」

信心水準 =50%(2/4)

關聯規則的運作方式(3)

19

增益 (Improvement/Lift)

• 「 if 蘇打飲料， then 柳橙汁」 lift=0.83 (0.67/0.8)• 「 if 柳橙汁， then 蘇打飲料」 lift=0.83 (0.5/0.6)

一般來說， lift> 1 的模式才有行銷上的價值。

關聯規則的運作方式(4)

20

建立關聯規則

基本步驟 ( 圖 9.9)1. 決定商品的集合與等級 例： pizza是一個商品還是配料商品？2. 計算商品的機率和聯合機率，也許限制在

交易佔有率超過某一門檻的商品3. 分析機率來決定規則

例：如果蘑菇，則義大利辣味香腸

21

圖 9.9

決定商品的集合與等級

計算商品的機率和聯合機率

分析機率來決定規則

22

建立關聯規則

注意事項• 選擇正確的項目組合• 從矩陣中的數字產生規則• 克服龐大資料帶來的現實限制

23

選擇正確的項目組合 (1)

用來找出關聯規則的資料，通常來自銷售點 (point of sale) 中的詳細交易資料

選什麼資料、蒐集和運用這些資料，對購物籃分析是很重要的部份

特殊的物件由什麼組成，是視各行業的需要而定

例：雜貨店 VS. 披薩店

建立關聯法則 (3)

24

表 9.3

顧客 披薩 牛奶 糖 蘋果 咖啡

1 ˇ

2 ˇ ˇ

3 ˇ ˇ ˇ

4 ˇ ˇ

5 ˇ ˇ ˇ ˇ

25

表 9.4

顧客 起士 洋蔥 胡椒粉 蘑菇 橄欖

1 ˇ ˇ ˇ

2 ˇ

3 ˇ ˇ ˇ

4 ˇ ˇ

5 ˇ ˇ ˇ ˇ

26

選擇正確的項目組合 (2)

我們感興趣的商品是會隨時間而改變的 問題：想用過去的資料分析時，不同的層級無法一起分析

選擇適當的精細程度是這個分析的關鍵

建立關聯規則 (4)

27

選擇正確的項目組合 (3)

產品階層 (Product Hierarchies) 可幫助歸納商品

在現實生活中，每件產品都有自己的生產和倉儲序號 (stock-keeping unit, SKUs) ，也就是產品階層或分類學 (taxonomy)《圖 9.10 》

要用怎樣的分類階層才最適合？

建立關聯規則 (5)

28

圖 9.10

品 牌 、 尺 寸 、 倉 儲 序 號

冷凍食品

冷凍晚餐冷凍蔬菜冷凍甜點

其他混合胡蘿蔔豌豆水果吧冰淇淋冷凍優格

其他櫻桃核桃香草草莓巧克力

更籠

統

更詳

細

部份產品分類

法

29

選擇正確的項目組合 (4)

產品階層可幫助歸納商品 要考慮的組合隨著分析商品數量的增加而快速成長

項目分得越精細，分析的結果越實用 一項規則的複雜度，取決於它包含了多少項

商品 分類階層越上層，所列出的項目越少 適合的層級應該由商品本身來決定

建立關聯規則 (6)

30

選擇正確的項目組合 (5)

小秘訣 在含有特定目標的交易數量約等於分析母體

資料數時，購物籃分析可發揮到最大效果 這可以避免讓最常見的物品支配大多數的規

則 將少見的商品用高階的階層，這樣出現的頻率比較高

建立關聯規則 (7)

31

選擇正確的項目組合 (6)

跨越產品階層的虛擬項目 虛擬項目的目的在於從跨越產品階層的訊息

中得到好處 虛擬項目不會出現在原始的產品階層 虛擬項目有時甚至會包含交易的資訊 不一定要加入虛擬項目 虛擬項目可能造成明顯的規則

建立關聯規則 (8)

32

選擇正確的項目組合 (7)

資料品質 購物籃分析所用的資料，品質通常不高 通常都在與顧客直接接觸時獲得，且主要用

途是在運作目的上 ( 例：倉儲管理 ) 資料需要額外處理後，才能拿來分析

建立關聯規則 (9)

33

選擇正確的項目組合 (8)

具名或匿名

零售業 -- 現金交易—匿名

網路交易、信用卡、消費者俱樂部—具名

建立關聯規則 (10)

34

從這些資料中產生規則 (1)

項目的組合並非規則 規則：如果「條件句」，則「結論句」。 例：如果「芭比娃娃」，則「糖果條」。 具實用性的規則，在結論句只包含一項商品

建立關聯規則 (11)

35

從這些資料中產生規則 (2)

計算信心水準 (confidence) 信心水準 = P(條件句與結論句 )/ P(條件句 ) 以三種商品、結論句只有一種商品的組合為例：• 如果 A和 B，則 C• 如果 A和 C，則 B• 如果 B和 C，則 A

建立關聯規則 (12)

36

表 9.5

組合 機率A 45.0%

B 42.5%

C 40.0%

A和 B 25.0%

A和 C 20.0%

B和 C 15.0%

A和 B和 C 5.0%

37

表 9.6

規則 P(條件句 )

P(條件句與結論句 )

信心水準

如果 A和B，則 C

25% 5% 0.20

如果 A和C，則 B

20% 5% 0.25

如果 B和C，則 A

15% 5% 0.33

38

從這些資料中產生規則 (3)

計算 Lift Lift = (P(條件句與結論句 )/ P(條件句 ))/

P(結論句 ) = 信心水準 / P(結論句 ) = (P(條件句與結論句 )/ P(條件句 )*

P(結論句 ) 當 Lift大於 1時，最後的結果會比單純亂數好 當 Lift 小於 1時，效果則比較差 否定規則

建立關聯規則 (13)

39

表 9.7

規則 交易佔有率

信心水準

P( 結論句 )

Lift

如果 A和 B，則 C

5% 0.20 40.0% 0.50

如果 A和 C，則 B

5% 0.25 42.5% 0.59

如果 B和 C，則 A

5% 0.33 45.0% 0.74

如果 A，則 B

25% 0.56 42.5% 1.31

40

圖 9.11(1)

41

圖 9.11(2)

42

克服現實的限制 (1)

產生關聯規則是一個多步驟的過程 隨著商品數的增加，計算的複雜度會成幾何級數增加

解決方法：修剪 (pruning) 例：最低交易佔有率修剪 (minimum support pruning)

門檻數也可以根據運算過程修正

建立關聯規則 (14)

43

克服現實的限制 (2)

龐大資料的問題：假設某店有 100 種商品商品數量 組合數1 100

2 4,950

3 161,700

4 3,921,225

5 75,287,520

6 1,192,052,400

7 16,007,560,800

8 186,087,894,300

建立關聯法則 (15)

44

觀念延伸 (1)

用關聯規則比較各分店 購物籃分析常用來比較連鎖店中的各分店 用虛擬項目協助分析

一把榔頭一盒釘子超細砂紙

一把榔頭一盒釘子超細砂紙

「在一家舊分店買的」

45

觀念延伸 (2)

比較兩家分店的程序1. 蒐集開幕後特定期間的資料，用虛擬

項目說明這是新店的資料2. 自舊分店蒐集相同數目的資料，也用虛擬項目標是這是舊分店的資料

3. 找出各組的關聯規則4. 特別注意有虛擬項目的規則 其它應用：促銷期間 vs. 平時、都會

區 vs.郊區、不同季節、不同地理區

46

觀念延伸 (3)

無關規則 (Dissociation Rules) 條件句中可以包含「且非」的陳述 加入一個「逆轉商品」 (Inverse Items)

顧客 原商品組合 新商品組合1 A,B,C A,B,C

2 A A,-B,-C

3 A,C A,-B,C

4 A,B A,B,-C

5 無 -A,-B,-C

47

觀念延伸 (4)無關規則的缺點 分析對象增加一倍 交易數量增加 逆轉商品出現頻率比原始商品高 實用性不高 例：如果沒有 A也沒有 B，則沒有C

48

利用關聯規則進行序列分析 (sequence analysis)

相對於購物籃分析，序列分析希望找到某段時間內特定的消費者的消費行為。

• Ex1.割草機→水管• Ex2. 清點 ( 和解 )帳戶→取消帳戶

49

序列分析的附加條件

時間序列資料 (time-series data)必定建立在顧客的基本資料上。如果無法追蹤顧客的長期行為，便無法建立序列分析。

每筆交易記錄都必須有註記或序號決定交易順序。• Ex. 信用卡交易、銀行服務、醫療服務

50

購物籃分析的優點

能產生簡單明瞭的結論 能運用在非監督式資料採礦上 能分析不同形式的原始資料 所採用的計算模式簡單易懂

51

購物籃分析的缺點 當商品數量增加，必需進行的運算會成幾何級數增加

對於資料的個別特性不甚重視 難以決定組合的適當的商品數 容易剔除罕見商品

The end.Thanks for your listening.