BERT – новый поисковый алгоритм Google. NLP на базе нейронных сетей

С помощью технологии BERT (Bidirectional Encoder Representations from Transformers — NLP на базе нейронных сетей) результаты поисковой выдачи станут более осмысленными, приближенными к тому, что на самом деле хотел узнать пользователь. Теперь слова и фразы в запросе пользователя будут обрабатывают с учётом контекста, не по порядку, как раньше. Уже сегодня поиск новый поисковый алгоритм помогает лучше понять каждый десятый запрос в США на английском языке. Позже, BERT будет локализован и начнёт работать на других языках.

Если говорить про англоязычные сегмент поиска, то не нужно будет подбирать запрос специально — алгоритм будет понимать смысл запроса даже в длинной фразе со множеством предлогов типа [for] и [to], иногда радикально меняющих смысл фразы.

Например, поиск [2019 brazil traveler to usa need a visa] («2019 бразильскому путешественнику в сша нужна виза»). Здесь [to] и его связь с другими словами в запросе особенно важны для понимания смысла. Речь идёт о путешествии бразильца в США, а не наоборот. Раньше алгоритм не видел этой связи, и в выдачу попадали материалы о гражданах США, путешествующих в Бразилию. С помощью BERT поиск предоставит более релевантный результат для этого запроса.

Понимание языка останется вечной проблемой, а значит совершенствовать Поиск придётся бесконечно. Конечно, лучше не испытывать BERT запросом [what state is south of Nebraska] («какой штат находится к югу от Небраски») — скорее всего, она выдаст [South Nebraska] («Южная Небраска»). Хотя очевидно, что это Канзас :–) Тем не менее модели, обучаемые на английском, уже пытаются применить к другим языкам. И даже успели получить ощутимый эффект на таких языках, как корейский, хинди и португальский.