Архитектура поиска в Avito / Андрей Смирнов (Avito)
-
Upload
ontico -
Category
Engineering
-
view
269 -
download
12
Transcript of Архитектура поиска в Avito / Андрей Смирнов (Avito)
![Page 1: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/1.jpg)
Архитектура поиска в Avito
Андрей Смирнов
![Page 2: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/2.jpg)
![Page 3: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/3.jpg)
![Page 4: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/4.jpg)
![Page 5: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/5.jpg)
Группы поисковых сервисов в Avito ● Основной поиск.● Avito Контекст● Backoffice.
(800 млн объявлений)● Небольшие сервисы.
(fias, подсказки, ошибки, geo)● Технические логи. kibana
![Page 6: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/6.jpg)
● 30 млн. объявлений● 150 млн. запросов в день● В пик 17000 запросов в секунду● 14 Гб индексов
Основной поиск
![Page 7: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/7.jpg)
![Page 8: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/8.jpg)
![Page 9: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/9.jpg)
![Page 10: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/10.jpg)
![Page 11: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/11.jpg)
● Быстрое отображение платного контента.● Быстрый антифрод.● Время вывода сервиса в бой.
Частое обновление индексов. Зачем?
![Page 12: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/12.jpg)
● Своя база данных.
Логическая репликация.
Останавливаем запись на время индексации.
View таблицы.● Параллельная индексация.
Сортируем категории по убыванию времени индексации.
Ускоряем индексацию.
![Page 13: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/13.jpg)
Время индексации категорийseconds
![Page 14: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/14.jpg)
Время индексации категорий, после «разрезания».
seconds
![Page 15: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/15.jpg)
![Page 16: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/16.jpg)
![Page 17: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/17.jpg)
![Page 18: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/18.jpg)
● Rsync – надежный, простой.● Torrent base – быстро, надежно, забивает сеть.● UFTP
Нет гарантии доставки.
* Обязательно настраивать коммутатор.
* Эксперименты с настройками.
Ускоряем деплой
![Page 19: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/19.jpg)
Этап индексации и деплоя
![Page 20: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/20.jpg)
Этап проверки и ротации
![Page 21: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/21.jpg)
Оптимизация поиска
● Мониторинг.● Поиск аномалий.● Анализ медленных запросов● Подмешивание атрибутов в поиск
![Page 22: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/22.jpg)
Эффект от размазывания кэша.
200ms
200ms
100ms
100ms
![Page 23: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/23.jpg)
● Исправление ошибок.● Подмешиваем характеристики.● Сленг.
Помогаем продавцам
![Page 24: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/24.jpg)
комбинезон 71
компьютер 61
запчасть 54
hakkapelliita 34
mitsubishi 28
комплект 28
hyundai 27
![Page 25: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/25.jpg)
камбенезон камбинезон камбинизон кимбинезон
кобинезон кобминезон комбенезон комбензон
комбиезон комбиензон комбимнезон комбинедзон
комбинезан комбинезин комбинензон комбинзон
комбинизон комбинозон комбиньзон комбмнезон
комбнезон комбтнезон комибинезон коминезон
коммбинезон комьинезон конбенезон конбинезон
конбинизон
![Page 26: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/26.jpg)
![Page 27: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/27.jpg)
● Раскладка клавиатуры● Опечатки ● Подскажки при вводе● Лишние слова
Помогаем покупателям.
![Page 28: Архитектура поиска в Avito / Андрей Смирнов (Avito)](https://reader031.fdocument.pub/reader031/viewer/2022012401/589cf49e1a28abcc258b59d7/html5/thumbnails/28.jpg)
meetup Sphinxsearch
18 июня в офисе Avito
bit.ly/sphinxmeetup