Мы проверили, насколько товары в выдаче соответствуют категории, которую ожидает увидеть пользователь. В старой стратегии при запросе «куртка» пользователю могли показываться как зимние пуховики, так и легкие ветровки, хотя намерение запроса чаще относилось к определенной категории: например, к зимней одежде в холодное время года. Это создавало путаницу и замедляло выбор нужного товара.
С новой стратегией система лучше понимает контекст и сезонность запросов. Теперь, при запросе «куртка» в зимний период, пользователю преимущественно показываются теплые зимние куртки, что соответствует его ожиданиям и упрощает поиск нужного товара.
Для оценки мы взяли 1000 случайных запросов и посчитали, в скольки случаях категории у товаров в выдаче соответствуют ожидаемой категории. Как и в случае с NDCG, успешный результат разметили как 1.00, а неуспешный — 0.00. Среднее значение — и есть результат.
Как же изменилась релевантность выдачи с точки зрения категорий? Давайте посмотрим.
ТОП-3 товаров:- До: 0.37
- После: 0.71
- Рост: +92%
Значительный рост говорит о том, что теперь пользователи находят товары именно тех категорий, которые они ожидают увидеть. Это — ещё один шаг к тому, чтобы сократить время от запроса в поиске до клика на карточку товара.