Introduzione a BigQuery DataFrames
BigQuery DataFrames è un insieme di librerie Python open source che consentono di sfruttare l'elaborazione dati di BigQuery utilizzando le familiari API Python. BigQuery DataFrames implementa le API panda e scikit-learn trasferendo l'elaborazione a BigQuery tramite la conversione SQL. In questo modo puoi utilizzare BigQuery per esplorare ed elaborare terabyte di dati e anche addestrare modelli di machine learning (ML), il tutto con le API Python.
BigQuery DataFrames offre i seguenti vantaggi:
- Oltre 750 API panda e scikit-learn implementate tramite una conversione SQL trasparente alle API BigQuery e BigQuery ML.
- Esecuzione differita delle query per migliorare le prestazioni.
- Estensione delle trasformazioni dei dati con funzioni Python definite dall'utente per consentirti di elaborare i dati nel cloud. Il deployment di queste funzioni viene eseguito automaticamente come funzioni remote di BigQuery.
- Integrazione con Vertex AI per utilizzare i modelli Gemini per la generazione di testo.
Licenze
BigQuery DataFrames è distribuito con la licenza Apache-2.0. Contiene inoltre codice derivato dai seguenti pacchetti di terze parti:
Per maggiori dettagli, consulta la directory third_party/bigframes_vendored
nel repository GitHub di BigQuery DataFrames.
Quote e limiti
- Le quote di BigQuery si applicano a BigQuery DataFrames, inclusi hardware, software e componenti di rete.
- È supportato un sottoinsieme di API pandas e scikit-learn. Per scoprire di più, consulta la pagina API pandas supportate.
- Devi eseguire la pulizia specifica di tutte le funzioni Cloud Functions create automaticamente nell'ambito della pulizia della sessione. Per maggiori informazioni, consulta API pandas supportate.
Prezzi
- BigQuery DataFrames è un insieme di librerie Python open source disponibili per il download senza costi aggiuntivi.
- BigQuery DataFrames utilizza BigQuery, Cloud Functions, Vertex AI e altri servizi Google Cloud, che prevedono i propri costi.
- Durante il normale utilizzo, BigQuery DataFrames archivia i dati temporanei, ad esempio i risultati intermedi, nelle tabelle BigQuery. Per impostazione predefinita, queste tabelle vengono mantenute per sette giorni e ti vengono addebitati i dati archiviati al loro interno. Le tabelle vengono create nel set di dati
_anonymous_
del progetto specificato nell'opzionebf.options.bigquery.project
.
Passaggi successivi
- Utilizzare DataFrame di BigQuery
- Prova la guida rapida di BigQuery DataFrames
- Riferimento API BigQuery DataFrames
- Blocchi note di esempio BigQuery DataFrames
- Codice sorgente BigQuery DataFrames (GitHub)