Современное текстовое ранжированиеАндрей Калинин, руководитель проекта Поиск@Mail.Ru

Ранжирование:

• Текстовое• Ссылочное• Поведенческое

Эволюция поиска

Результат:

• ВЧ запросы в порядке.• 60-75% потока.

• НЧ – не очень.

как поступают бизнесмены если не могут оплатить аренду

(по одному результату из 6 разных поисковиков)

является ли развитие малого бизнеса одним из направлений содействия занятости?

(по одному результату из 6 разных поисковиков)

как зовут лошадку с татуировкой сердечко

(по одному результату из 6 разных поисковиков)

Почему так?

Запрос

A

0 0,4 0,8 0 0 …

0 0,8 0 0 0,5 …

зеленая красная машина тачка автомобиль

…

0 + 0,4×0,8 + 0,8×0 + 0 + 0×0,5 + …

B 0 0,8 0,5 0 0 …

50 миллионов столбцов

Слова

0 + 0,4×0,8 + 0,8×0,5 + 0 + 0 + …

Скрытая семантика

Q

A

0 0,4 0,8 0 0 …

0 0,8 0 0 0,5 …

зеленая красная машина тачка автомобиль

…

B 0 0,8 0,5 0 0 …

1,23 3,11 2,7 4,3

1,21 2,11 5,7 3,2

0,7 3,11 2,7 4,3

Но как построить это преобразование?

50 миллионов столбцов десятки-сотни столбцов

Что такое нейронная сеть?

«Нейрон»

f(∑)

вход

ы

веса

выход

«Нейронная сеть»

вход скрытыйслой

(представление)

выход выход=

вход

Автокодировщик

вход скрытыйслой(код)

Сиамские сети

запрос документ(или заголовок)

представление

результат сравненияОбучение на кликах.Есть клик – хорошо, нет – плохо.

Но документов без кликов слишком много, примеры надо аккуратно подбирать.

• джаз синема магнитогорскИдеальный вечер c близкими. Поход в кино. Условия акции на visapremium.ru.

• спортивные костюмы в наличии москваКроссовки saucony. Женские кроссовки hurricane, iso 2 амортизация.

• дизайнерУниверситет синергия открывает набор. 14 факультетов, трудоустройство.

• использование глагола ту хевАнглийский легко и весело. Мы знаем как выучить английский язык быстро.

Примеры (реклама по поисковой истории)

• веселая карусель Детские рецепты. Рецепты детских блюд для самых маленьких гурманов.

• как научиться разводить мужчин на деньгидебетовая карта visa gold

• у мужа очень низкое давление чем помочь в домашних условияхПансионат в лесу. Санаторий для пожилых, большая территория, полный уход.

• чем опрыскать помещение от маленьких мушекКнига рецептов. Свекольный салат с сыром и яйцом, вкуснотища невероятная.

Примеры (реклама по поисковой истории)

• Ренессанс текстового ранжирования.• НЧ запросы у всех поисковиков будут постепенно

улучшаться.• Широкодоступные библиотеки.• word2vec, doc2vec, CNTK, PaddlePaddle, FastText.

• Самые заметные изменения – у небольших поисковиков.

Текстовое ранжирование сейчас

Спасибо за внимание!kalinin@corp.mail.ru