Blog

Блог

Королёв системы ранжирования от Яндекс

23.08.2017

1061 просмотров

Королёв системы ранжирования от Яндекс

Яндекс Королёв — космический прорыв земной компании

Сергей Павлович Королёв осуществил мечту миллионов – разработал систему полета человека в космос. Конкретнее – на Луну. Его проект стал началом прорыва. Как и новый алгоритм Яндекса, который был запущен вчера (22.08) и назван в честь человека, сделавшего необъятные просторы звёзд для человечества немного ближе. Яндекс Королёв – алгоритм, который, как утверждают разработчики, постепенно изменит наше понимание о поиске в Интернете. Первооткрыватель нового семантического поиска.

Вся такая межгалактическая презентация

На презентации в Московском планетарии представители Яндекса нажали красную кнопку новой эры поисковых алгоритмов и все присутствующие стали свидетелями сего грандиозного события.

Вы тоже можете оценить происходящее, «побывав» на презентации в качестве видео-зрителя:

Сами разработчики по значимости новый этап развития поисковика для компании и всех сотрудников приравнивают к событию – полёту в космос. Для Яндекса запуск Королёва – такой же праздник. А всё потому, что поиск не будет как раньше. Необъятные просторы Интернета для пользователей станут доступнее и четче. Разработчики обещают, что с каждым новым запросом Королёв будет учиться выдавать более точные и четкие ответы. Ведь в основе его сидит так называемый искусственный интеллект – нейронные сети.

Оно учится

Идея поиска нового способа ранжирования для Яндекса не нова. В компании прекрасно понимают, что пока алгоритмы ранжируют по словам – смысл будет оставаться неточным, а ответы низкосортными. Алгоритмы должны начать мыслить, чтобы стать самым лучшим подопечным для каждого пользователя.

«Чтобы создать действительно хороший поисковик, необходимо научиться искать не по словам, а по смыслу. Такой подход называется – семантический поиск». (с)

Андрей Стыский, руководитель управления поисковых продуктов Яндекс.

И чтобы начать работать именно в этом русле, был создан алгоритм «Королёв». Базируется он на искусственных нейронах. Сами по себе, как единица, способны выполнять простейшие функции: прием и передачу информации. Но, объединив их в нейронные сети, удается создать сложный искусственный интеллект, который учится. Хотя и этот процесс не из простых и быстрых.

Самая большая трудность

Система нейронных связей все чаще используется в современном мире. Искусственный интеллект – уже не такая далекая звезда, привлекаясь в различных сферах деятельности человека, алгоритм учится делать простейшие и куда более удивительные функции. К примеру, разработана система, которую «кормили» образцами для подражания. В итоге они научились создавать музыку в стиле великих композиторов, картины с характерными элементами и т.д. А вот Королёву нечего было показать: для первооткрывателя «космического» web-пространства не оказалось заранее подготовленных эталонных данных, примеры, на которых разработчики Яндекс могли бы настраивать алгоритмы ранжирования.

Что плохо, а что хорошо для Королёва

Так как научить искусственный интеллект понимать текст запроса? Чтобы научить алгоритм разбираться в массивах информации и давать пользователю именно то, что он ищет, команда несколько лет грузила систему примерами «хорошо» и «плохо». На основании поисковой выдачи из тысяч запросов отбирались те, что более всего были удовлетворены результатом. Этап обучения проходил в двух направлениях:
1. Хороший пример: пара из поискового запроса и релевантных подходящих результатов.
2. Плохой пример: пара из запроса и нерелевантной выдачи.
Примеры брали, анализируя тысячи запросов в Яндексе. Т.е. из полевых условий Королёв получал актуальную информацию и выстраивал логические цепочки взаимосвязей, приобретал способность отличать верные запросы от неверных.
Новый алгоритм обращает внимание не только на заголовки и содержащиеся в них слова, но и на всё тело текста. И одно из главных достижений — удалось радикально увеличить количество страниц, для которых вычисляется смысловая близость по запросу до 200 тысяч. В сравнении с подобной прошлогодней системой «Палех», которая справлялась лишь со 150 страниц – это колоссальный результат.

Что ждёт Королёва в будущем

Ещё много лет учебы. Как раз тот случай, когда:«Век живи – век учись». Люди, а точнее их ежедневное обращение с запросами в Яндекс, позволят развиваться системе, учиться «плохому» и «хорошему» — те знания, которые алгоритм будет совершенствовать, чтобы выдавать самые релевантные ответы на вопросы. При этом его мышление будет опираться не на ключевые слова, а на смысловую нагрузку, полезность и соответствие страницы выдачи ответу.

Поделиться

  • share vk
  • share facebook