Zaawansowane metody rozumienia zapytania w Google
Na oficjalnym blogu Google pojawiły się interesujące informacje dotyczące metod interpretowania zapytań przez wyszukiwarkę Google.
Modele językowe powstają w oparciu o analizę miliardów dokumentów stworzonych w danym języku i zaindeksowanych przez Google, oraz historycznych danych dotyczących zapytań. Każde zapytanie jest analizowane w kontekście zapytań poprzednich i następnych - zadanych przez tego samego internautę, a każda modyfikacja użytych przez użytkownika słów jest dla algorytmu źródłem informacji o synonimach, wyrazach bliskoznacznych, formach gramatycznych, błędach ortograficznych i wielu innych. Dzięki tym informacjom algorytm wyszukiwarki może na bieżąco reagować na zmiany w języku i prezentować dokładniejsze i pełniejsze wyniki. Stosowanie interaktywnych modeli językowych umożliwia również dostarczanie różnych wyników wyszukiwania w zależności od kontekstu zapytania.
Większa liczba analizowanych danych oznacza bardziej dopasowane wyniki - dlatego modele językowe dla popularnych języków powstają szybciej i są dokładniejsze. Przykładowo, analiza wyszukań w języku angielskim z okresu jednego dnia dostarcza taką samą ilość informacji, jak analogiczna analiza przeprowadzona przez okres jednego roku dla języka katalońskiego. Model estoński potrzebuje natomiast aż 2,5 roku, aby dorównać ilości informacji dostarczanych przez język angielski w jeden dzień.
Ciekawe w którym miejscu na osi czasu plasuje się język polski? :)
--
Aneta Mitko
2 komentarzy:
Wydaje mi sie, ze autor zbyt rozwojowo podszedl do tematu: poki co nie da sie jeszcze analizowac przyszlych zapytan uzytkownikow.
Odgadniecie intencji uzytkownika wyszukiwarki nadal jest najwiekszym problemem. Obecne algorytmy staraja sie wyliczyc intencje na podstawie ogromnych ilosci danych, ale i tak w duzej liczbie przypadkow doprecyzowanie zapytania przez uzytkownika jest konieczne.
Yahoo! stara sie to osiagnac poprzez modul Falcon (Search Assist) i roznego rodzaju podpowiedzi, podobnie jak Google. Wiekszosc z tych usprawnien jest niestety na razie dostepna jedynie dla jezyka angielskiego.
w notce nie pisaliśmy o "przyszłych", jeszcze nie zadanych zapytaniach :)
Pisaliśmy o analizie zapytań poprzednich i następnych w kontekście danego zapytania - wyszukiwarki posiadając historię zapytań danego użytkownika mogą przeanalizować każde z nich w porównaniu z wcześniej i później zadanymi i w ten sposób "uczyć" algorytm.
Mając historyczne dane, np. ciąg trzech zapytań:
'restauracje', 'restauracje łódź', 'restauracje w łodzi' można 'restauracje łódź' rozpatrywać w kontekście zarówno poprzedniego, jak i następnego zapytania, prawda?
Prześlij komentarz