Эффективные

алгоритмы поиска

подобных объектов

для терабайтов данных

Евгений Журин,

data scientist,

Segmento

2

Манхэттенское и евклидово

расстояние

3

Расстояние Джаккарда

А ВА В

U

А ВА U В

4

Look aLike

5

Задача: Look aLike

Вся аудитория,

которую

мы видим

Интересная аудитория,

которую надо найти

example.com

просмотрели >=2

страниц

6

7

У нас было

1. 250 000 000 + профилей

2. 1 000 000 +- площадок

3. 30000 RPS (2.5 млрд. в

день)

8

Что такое для нас профиль?

offline данные

История поведения

в интернете

Контекстная

информация

(где, откуда,

с какого устройства)

9

Как можно представить профиль

kaggle.com westerns.ru

habrahabr.ruguns.ru

10

Движение трафика

11

Чистим данные

1. Выкидываем профили

с недостаточной статистикой

2. И сайты, с которых идет больше

всего и меньше всего трафика

12

MinHash и расстояние

Джаккарда

13

Матричное

представление профилейhosts/profiles index

kaggle.com 1 1 0 1

habrahabr.ru 2 0 1 0

machinelearning.

ru

3 1 0 1

analyticsvidhya.c

om

4 0 1 0

14

Jaccard = 0 Jaccard = 1

Jaccard = 0

15

Хэш функции

index

kaggle.com 1

machinelearning.ru 3

index

kaggle.co

m

machinelearning.ru Minhash

(index + 1) mod 3 2 1 1

(2*index + 1) mod 3 0 1 0

16

MinHash представление

(x + 1) mod 3 1 0 1

(2x + 1) mod 3 0 0 0

17

Jaccard = 0,5 Jaccard = 1

Jaccard = 0,5

18

Как выбрать количество

хэш функций

0.0 0.02 0.04 0.06 0.08 0.10

200000

400000

600000

800000

1000000

Nu

mb

er

of

ha

sh f

un

ctio

ns

Error

Например: мы хотим ошибку не больше, чем 10% ,

для этого нам нужно 100 хэш функций,

а для ошибки 1% процент нам нужно уже 10000 функций.

19

Как выбрать параметры

хэш функций?

a, b — случайные целые числа < max(x)

c — простое число, чуть большее чем max(x), общее для всех

h(x) = (ax + b) mod c

20

Locality Sensitive Hashing

21

Banding

hash1 1 1

hash2 3 3

hash3 1 1

hash4 2 4

band1

band2

22

Этап выделения профилей

для расчета расcтояний

Band 1 Band 2 Band 3 Band 4

целевая аудитория (просмотрел

на example.com >=2 страниц)

ФильтруемИнтересный бэнд

Фильтруем

23

k — ближайших

соседей в пределах

интересного бэнда.

J J

JJ

J

J

J

J J

J

24

1 – (1-s^10)^10

Jaccard similarty of profiles

0.0 0.2 0.4 0.6 0.8 1.0

1.0

0.8

0.6

0.4

0.2

0.0

Pro

ba

bil

ity o

f b

eco

min

g a

ca

nd

ida

te

1 – (1-s^5)^20

Как выбрать количество

бэндов?

25

Но эксперимент никто

не отменял

Долго, дорого и очень хорошо Быстро, дешево и не очень хорошо

26

Куда еще смотрим?

27

28

DIMSUM

Dimension Independent Matrix

Square using MapReduce

29

Что у нас есть?machinelearning.ru habrahabr.ru

1 4

8 1

7 9

Матрица A

размерности MxN, где M >> N и 0 <= a <=1 и

кол-во ненулевых элементов в строке <= L << N

30

Что хотим найти?

Похожесть сайтов на основе

их посещения аудиторией.

Более формально и в более общем виде –

задача расчета матрицы расстояний

между столбами.

31

Зачем?

1) Снижение размерности

2) Нужно в маркетинговых исследованиях

32

Наивно, долго, точно

Dimsum, быстро и почти точно

33

Стэк используемых

технологий:

1.Python

2.Hadoop

3.Luigi

4.Hbase

34

Спасибо !