Introduzione alla ricerca vettoriale

Per fornire feedback o richiedere assistenza per questa funzionalità, invia un'email a [email protected].

Questo documento fornisce una panoramica della ricerca vettoriale in BigQuery. La ricerca vettoriale consente di cercare incorporamenti per identificare entità semanticamente simili.

Gli incorporamenti sono vettori numerici ad alta dimensione che rappresentano una determinata entità, come un frammento di testo o un file audio. I modelli di machine learning (ML) utilizzano gli incorporamenti per codificare la semantica di queste entità, in modo da semplificarne la ragionamento e il confronto. Ad esempio, un'operazione comune nei modelli di clustering, classificazione e suggerimento è misurare la distanza tra i vettori in uno spazio di incorporamento per trovare gli elementi più semanticamente simili.

Per eseguire una ricerca vettoriale, utilizza la funzione VECTOR_SEARCH e, facoltativamente, un indice vettoriale. Quando viene utilizzato un indice vettoriale, VECTOR_SEARCH usa la tecnica di ricerca Approfondimento del vicino più vicino per migliorare le prestazioni della ricerca vettoriale, con il compromesso tra la riduzione del richiamo e la restituzione di risultati più approssimativi. La forza bruta viene utilizzata per restituire risultati esatti quando non è disponibile un indice vettoriale e puoi scegliere di utilizzare la forza bruta per ottenere risultati esatti anche quando è disponibile un indice vettoriale.

Casi d'uso

La combinazione di generazione di incorporamenti e ricerca vettoriale consente molti casi d'uso interessanti, con la generazione aumentata al recupero (RAG) quella canonica. Ecco altri possibili casi d'uso:

  • Dato un gruppo di nuove richieste di assistenza, trova diverse richieste risolte simili per ognuna. Trasferisci le informazioni sulle richieste risolte a un modello linguistico di grandi dimensioni (LLM) da usare come contesto per il riepilogo e il suggerimento delle risoluzioni per le nuove richieste di assistenza.
  • Data una voce dell'audit log, trova le voci più simili negli ultimi 30 giorni.
  • Genera incorporamenti dai dati del profilo dei pazienti, quindi utilizza la ricerca vettoriale per trovare pazienti con profili simili ed esplorare piani di trattamento efficaci prescritti per quella coorte di pazienti.
  • Dati gli incorporamenti che rappresentano i momenti che pre-incidente sono stati individuati da tutti i sensori e dalle telecamere di un parco di scuolabus, trova momenti simili in tutti gli altri veicoli del parco veicoli per ulteriori analisi, messa a punto e riaddestramento dei modelli che regolano il coinvolgimento delle funzionalità di sicurezza.
  • Una volta ottenuta un'immagine, trova le immagini più correlate in una tabella di oggetti BigQuery e passale a un modello per generare le didascalie.

Prezzi

L'istruzione CREATE VECTOR INDEX e la funzione VECTOR_SEARCH utilizzano i prezzi di computing di BigQuery. Per l'istruzione CREATE VECTOR INDEX, solo la colonna indicizzata viene considerata nei byte elaborati.

Non è previsto alcun costo per l'elaborazione necessaria per creare e aggiornare gli indici vettoriali quando la dimensione totale dei dati delle tabelle indicizzati nella tua organizzazione è inferiore al limite di 20 TB. Per supportare l'indicizzazione oltre questo limite, devi fornire una prenotazione personalizzata per la gestione dei job di gestione degli indici. Gli indici vettoriali comportano costi di archiviazione quando sono attivi. Le dimensioni dell'archiviazione dell'indice sono indicate nella visualizzazione INFORMATION_SCHEMA.VECTOR_INDEXES. Se l'indice vettoriale non ha ancora una copertura del 100%, ti viene comunque addebitata tutta l'archiviazione dell'indice riportata nella vista INFORMATION_SCHEMA.VECTOR_INDEXES.

Quote e limiti

Per ulteriori informazioni, consulta Limiti dell'indice vettoriale.

Limitazioni

  • Le query che contengono la funzione VECTOR_SEARCH non vengono accelerate da BigQuery BI Engine.
  • Le regole di sicurezza e governance dei dati di BigQuery si applicano all'utilizzo di VECTOR_SEARCH. Per maggiori informazioni, consulta la sezione Limitazioni in VECTOR_SEARCH. Queste regole non si applicano alla generazione di indici vettoriali.

Passaggi successivi

  • Scopri di più sulla creazione di un indice vettoriale.
  • Prova il tutorial Cerca incorporamenti con ricerca vettoriale per scoprire come creare un indice vettoriale, quindi esegui una ricerca vettoriale per gli incorporamenti con e senza l'indice.

  • Prova il tutorial Genera e utilizza incorporamenti di testo per scoprire come svolgere le attività seguenti:

    • Genera incorporamenti di testo.
    • Crea un indice vettoriale sugli incorporamenti.
    • Esegui una ricerca vettoriale con gli incorporamenti per cercare testo simile.
    • Eseguire RAG (Retrieval-Augmented Generation) utilizzando risultati di ricerca vettoriali per aumentare l'input del prompt e migliorare i risultati.