Embeddings a vektorové vyhľadávanie po lopate
Ako počítač „chápe" význam textu a ako to využiť na sémantické vyhľadávanie.
Embedding je prevod textu na zoznam čísel (vektor), kde podobné významy majú podobné vektory. Vďaka tomu vieš hľadať „podľa významu”, nie len podľa slov.
Ako to funguje v skratke
- Text prevedieš na vektor (embedding model).
- Vektory uložíš do vektorovej databázy.
- Otázku tiež prevedieš na vektor a nájdeš najbližšie susedy.
Kde to použiť
- Sémantické vyhľadávanie v dokumentácii.
- Deduplikácia a klastrovanie obsahu.
- Odporúčania podobných článkov.
Na čo pozor
Podobnosť vektorov ≠ pravda. Model nájde „najpodobnejšie”, nie nutne „správne”. Preto sa embeddings často kombinujú s rerankom.