一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 ·...
Transcript of 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 ·...
![Page 1: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/1.jpg)
一から学ぶ
開発者のための
レコメンド機能その2
![Page 2: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/2.jpg)
Author: のりふみ
ふらっと考える人
URL: http://omohikane.com Twitter: @norio_yht
作成者
![Page 3: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/3.jpg)
前回の内容をちょっと‥
![Page 4: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/4.jpg)
開発者目線のレコメンドとは「お勧め提示」
≒システム的には 「インプットに対する アウトプットのこと」
=>入力に対してランダムで結果をアウトプットしてもレコメンドになる! (極論ではあるが)
![Page 5: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/5.jpg)
①サイコロどんなインプットに対してもランダムで返す
(Ex)買った商品に対して、ランダムで選んだ商品をおすすめする。
インプット、アウトプットだけに着目すると 「サイコロ」も立派なレコメンドかも…
![Page 6: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/6.jpg)
②コンテンツベースレコメンドインプットの属性で引っ張った結果を返す
![Page 7: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/7.jpg)
属性に着目する(例)コーヒー豆のレコメンド
テイストバランス 香り ロースト 産地 相性の良い淹れ方 ラベル
コーヒー豆① 苦味強め 豊か 深煎り ブラジル フレンチプレス フェアトレード
コーヒー豆② 酸味強め 豊か 深煎り ベトナム フレンチプレス フェアトレード
コーヒー豆③ 苦味強め 控えめ 浅煎り ブラジル フレンチプレス 無し
コーヒー豆④ 苦味強め 豊か 深煎り コロンビア ペーパードリップ バードフレンドリー
…
コーヒー豆N バランス 控えめ 深煎り ブラジル ペーパードリップ 無し
属性
属性に着目しておすすめを引っ張ってくる
![Page 8: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/8.jpg)
多彩な応用力・各属性に対する重み付け
・リアルタイム処理
その他諸々…
前処理と、後処理を加えることで 他にはないレコメンドサービスが作れる!!
![Page 9: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/9.jpg)
コンテンツベースレコメンドの
メリットとデメリットメリット ・細かいチューニングが可能
デメリット ・ターゲットが変わると 再チューニングが必要 ・意外性の欠如
![Page 10: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/10.jpg)
今回のテーマ
協調フィルタリング
![Page 11: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/11.jpg)
協調フィルタリングとは数学的なアルゴリズムを用いて類似アイテムを見つけ出す。
![Page 12: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/12.jpg)
代表的なレコメンド
① アイテムベースレコメンド
② ユーザースレコメンド
![Page 13: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/13.jpg)
①アイテムベースレコメンド
「この商品と同時に買われた商品です」
![Page 14: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/14.jpg)
②ユーザーベースレコメンド
「この商品を買ったユーザーはこちらの商品も買っています」
![Page 15: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/15.jpg)
コンテンツベースと
協調フィルタリングの違い
属性を使わなくていい
他のコンテンツでの応用が効く
メモリは食っちゃうけど 実装者がそのコンテンツ に精通している必要は無い から楽や~ん
![Page 16: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/16.jpg)
類似度を計算する前に類似商品(ユーザー)を計算するためには、 多くの場合、ログイン有のシステムによってユーザーの特定が容易
Login
![Page 17: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/17.jpg)
• 共起カウント
• コサイン角度
• ユークリッド距離
etc…
類似計算は様々な方法がある
今回は共起カウントを 使って類似計算するよ
![Page 18: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/18.jpg)
共起
あるアクションに対して、 同時に起きうる可能性の高い
アクションのこと Ex)ある商品を買った時、
同時に購入されている商品を
共起商品という。
![Page 19: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/19.jpg)
(Ex)ECサイトの場合収集したログには、ユーザーとそのユーザーが買った商品が記録されている(Aさんがbとcとdの商品を買った等)
商品 ユーザー a b c d e
A ◯ ◯ ◯
B ◯ ◯
C ◯
D ◯ ◯ ◯
E ◯ ◯
商品とユーザーの2軸
![Page 20: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/20.jpg)
アイテムベースレコメンドの場合商品 ユーザ a b c d e
A ◯ ◯ ◯
B ◯ ◯
C ◯
D ◯ ◯ ◯
E ◯ ◯
商品 商品
a b c d e
a ◯ 1 1 0 2b 1 ◯ 0 0 2c 1 0 1 1
d 0 0 1 0
e 2 2 1 0
商品の類似計算のため 共起マトリックスを作る
Ex)aとbが同じユーザに買われた回数は? →1回
商品aと商品eは同じユーザに 買われる回数が多いので 商品a、商品c等と比べ
関連度が高い(類似している!!)
![Page 21: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/21.jpg)
アイテムベースレコメンドの場合商品 ユーザ
a b c d e
A ◯ ◯ ◯
B ◯ ◯
C ◯
D ◯ ◯ ◯
E ◯ ◯
商品 商品
a b c d e
a ◯ 1 1 0 2b 1 ◯ 0 0 2c 1 0 1 1
d 0 0 1 0
e 2 2 1 0
商品の類似計算のため 共起マトリックスを作る
Ex)aとbが同時に買われた回数は? →1回
商品aと商品eは同じユーザに 買われる回数が多いので 商品a、商品c等と比べ
関連度が高い(類似している!!)
aはeは似ているっぽいので 商品aを買った人には
商品bをおすすめしよう!!
![Page 22: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/22.jpg)
ユーザーベースレコメンドの場合商品 ユーザ a b c d e
A ◯ ◯ ◯
B ◯ ◯
C ◯
D ◯ ◯ ◯
E ◯ ◯
ユーザ ユーザ
A B C D E
A ◯ 1 0 2 1
B 1 ◯ 1 2 0
C 0 1 1 0
D 2 2 1 0
E 1 0 0 0
ユーザーの類似計算のため 共起マトリックスを作る
Ex)AとDが同じ商品を買った回数は? →2回
ユーザAとユーザDは同じ 商品を回数が多いので
ユーザA、ユーザC等と比べ 同一嗜好の可能性が 高い(類似している!!)
![Page 23: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/23.jpg)
ユーザーベースレコメンドの場合商品 ユーザ
a b c d e
A ◯ ◯ ◯
B ◯ ◯
C ◯
D ◯ ◯ ◯
E ◯ ◯
ユーザ ユーザ
A B C D E
A ◯ 2 0 2 1
B 2 ◯ 1 2 0
C 0 1 1 0
D 2 2 1 0
E 1 0 0 0
ユーザーの類似計算のため 共起マトリックスを作る
Ex)AとBが同じ商品を買った回数は? →2回
ユーザAとユーザDは同じ 商品を回数が多いので
ユーザA、ユーザC等と比べ 関連度が高い(類似している!!)
A、Dは類似したユーザー なので、Aの買った
商品cをDにおすすめしよう!*ちなみにDが商品cをまだ
﹅ ﹅
買っていないのもポイント
![Page 24: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/24.jpg)
2軸の入力マトリックスまで 落とし込めればレコメンドは可能
「似ている」の定義付けや 近傍の作り方しだいで 結果が変わる!!
2軸の選択は自由!!
ユーザーや商品に 拘る必要はない
![Page 25: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/25.jpg)
協調フィルタリングのステップ
入力マトリックス アイテム共起(近傍)その中から N個を抽出
ユーザー共起(近傍)
*N人のユーザー抽出
そのユーザーの ○◯した商品を抽出
アイテムベース レコメンド
ユーザーベース レコメンド
![Page 26: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/26.jpg)
アイテムベースレコメンドのステップ
入力マトリックス アイテム共起(近傍)その中から N個を抽出
ユーザー共起(近傍)
*N人のユーザー抽出
そのユーザーの ○◯した商品を抽出
アイテムベース レコメンド
さっきの共起マトリックスを 作成するなど類似計算する
類似アイテムを レコメンド!!
![Page 27: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/27.jpg)
ユーザーベースレコメンドのステップ
入力マトリックス アイテム共起(近傍)その中から N個を抽出
ユーザー共起(近傍)
*N人のユーザー抽出
そのユーザーの ○◯した商品を抽出
ユーザーベース レコメンド
さっきの共起マトリックスを 作成するなど類似計算する
類似したユーザーの 商品をレコメンド!!
類似したユーザーを 見つける
![Page 28: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/28.jpg)
協調フィルタリングのステップ
入力マトリックス アイテム共起(近傍)その中から N個を抽出
ユーザー共起(近傍)
*N人のユーザー抽出
そのユーザーの ○◯した商品を抽出
ユーザーベース レコメンド
さっきの共起マトリックスを 作成するなど類似計算する
類似したユーザーの 商品をレコメンド!!
類似したユーザーを 見つける
*アイテムベースと違い ワンクッションがある
![Page 29: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/29.jpg)
協調フィルタリングの
メリットとデメリットメリット ・他のドメインでの応用が可能 ・様々な軸に基づいたレコメンドが可能
デメリット ・新しくはじめるサービスの 場合、データ収集が困難
≒コールドスタート問題
![Page 30: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/30.jpg)
改めて…協調フィルタリングの重要なポイント
![Page 31: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/31.jpg)
• 共起
• コサイン角度
• ユークリッド距離
etc…
類似計算は様々な方法がある
数学的なアプローチで 様々な計算方法があるぞ!!
![Page 32: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/32.jpg)
2軸の入力マトリックスまで 落とし込めればレコメンドは可能
ユーザーや商品に 拘る必要はない
「似ている」の定義付けや 近傍の作り方しだいで 2軸は造りたい放題!!
2軸の選択は自由!!
「商品と購入時間帯」も 2軸の入力マトリックスに
落とし込めそうだ!!..とかね
![Page 33: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/33.jpg)
そう考えると…
協調フィルタリングは、類似の定義や計算方法など設計者のアイディアが
• • • • • • • • •
重要になってくる!?
![Page 34: 一から学ぶ 開発者のための レコメンド機能 · 2016-08-30 · 協調フィルタリングのステップ 入力マトリックス アイテム共起(近傍) その中から](https://reader034.fdocument.pub/reader034/viewer/2022042305/5ed153b8238043426329d270/html5/thumbnails/34.jpg)
作成者よりこのサイトのコンテツはこれからシステムの基礎から
学びたい!という人向けに作成しております。内容に
対するご指摘、ご感想はどんどん受け付けております。
よりよい知識の伝播のためにもぜひご協力お願い致し
ます。
ふらっと考える