Creazione di set di dati federati AWS Glue

Console

1. Apri la pagina BigQuery nella console Google Cloud.

   Vai alla pagina di BigQuery

2. Nel riquadro Explorer, seleziona il progetto in cui vuoi creare il set di dati.

3. Espandi l'opzione more_vert Azioni e fai clic su Crea set di dati.

4. Nella pagina Crea set di dati, segui questi passaggi:

   • In ID set di dati, inserisci un nome univoco per il set di dati.
   • In Tipo di località, scegli una località AWS per il set di dati, ad esempio aws-us-east-1. Dopo aver creato un set di dati, la località non può più essere modificata.

   • Per Set di dati esterno:

     • Seleziona la casella accanto a Collega a un set di dati esterno.
     • In Tipo di set di dati esterno, seleziona AWS Glue.
     • In Origine esterna, inserisci aws-glue:// seguito dal Amazon Resource Name (ARN) del database AWS Glue, ad esempio aws-glue://arn:aws:glue:us-east-1:123456789:database/test_database.
     • In Connection ID (ID connessione), seleziona la tua connessione AWS.

   • Non modificare le altre impostazioni predefinite.

5. Fai clic su Crea set di dati.

SQL

Utilizza l'istruzione DDL (Data Definition Language) CREATE EXTERNAL SCHEMA.

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nell'Editor query, inserisci la seguente istruzione:

   CREATE EXTERNAL SCHEMA DATASET_NAME
   WITH CONNECTION PROJECT_ID.CONNECTION_LOCATION.CONNECTION_NAME
     OPTIONS (
       external_source = 'AWS_GLUE_SOURCE',
       location = 'LOCATION');
   

   Sostituisci quanto segue:

   • DATASET_NAME: il nome del nuovo set di dati in BigQuery.
   • PROJECT_ID: il tuo ID progetto.
   • CONNECTION_LOCATION: la località della connessione AWS, ad esempio aws-us-east-1.
   • CONNECTION_NAME: il nome della tua connessione AWS.
   • AWS_GLUE_SOURCE: il Amazon Resource Name (ARN) del database AWS Glue con un prefisso che identifica l'origine, ad esempio aws-glue://arn:aws:glue:us-east-1:123456789:database/test_database.
   • LOCATION: la posizione del nuovo set di dati in BigQuery, ad esempio aws-us-east-1. Dopo aver creato un set di dati, non puoi modificarne la località.

3. Fai clic su play_circle Esegui.

Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.

bq

In un ambiente a riga di comando, crea un set di dati utilizzando il comando bq mk:

bq --location=LOCATION mk --dataset \
    --external_source aws-glue://AWS_GLUE_SOURCE \
    --connection_id PROJECT_ID.CONNECTION_LOCATION.CONNECTION_NAME \
    DATASET_NAME

Sostituisci quanto segue:

• LOCATION: la posizione del nuovo set di dati in BigQuery, ad esempio aws-us-east-1. Dopo aver creato un set di dati, non puoi modificarne la località. Puoi impostare un valore di località predefinito utilizzando il file .bigqueryrc.
• AWS_GLUE_SOURCE: Amazon Resource Name (ARN) del database AWS Glue, ad esempio arn:aws:glue:us-east-1:123456789:database/test_database.
• PROJECT_ID: il tuo ID progetto BigQuery.
• CONNECTION_LOCATION: la località della connessione AWS, ad esempio aws-us-east-1.
• CONNECTION_NAME: il nome della tua connessione AWS.
• DATASET_NAME: il nome del nuovo set di dati in BigQuery. Per creare un set di dati in un progetto diverso da quello predefinito, aggiungi l'ID progetto al nome del set di dati nel seguente formato: PROJECT_ID:DATASET_NAME.

Terraform

Utilizza la risorsa google_bigquery_dataset.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

Nell'esempio seguente viene creato un set di dati federato AWS Glue:

resource "google_bigquery_dataset" "dataset" {
  provider                    = google-beta
  dataset_id                  = "example_dataset"
  friendly_name               = "test"
  description                 = "This is a test description."
  location                    = "aws-us-east-1"

external_dataset_reference {
  external_source = "aws-glue://arn:aws:glue:us-east-1:999999999999:database/database"
  connection      = "projects/project/locations/aws-us-east-1/connections/connection"
  }
}

Per applicare la configurazione Terraform in un progetto Google Cloud, completa i passaggi nelle sezioni seguenti.

prepara Cloud Shell

1. Avvia Cloud Shell.

2. Imposta il progetto Google Cloud predefinito a cui vuoi applicare le configurazioni Terraform.

   Devi eseguire questo comando una sola volta per progetto e puoi eseguirlo in qualsiasi directory.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   Se imposti valori espliciti nel file di configurazione Terraform, le variabili di ambiente vengono sostituite.

Prepara la directory

Ogni file di configurazione Terraform deve avere una propria directory (detta anche modulo principale).

1. In Cloud Shell, crea una directory e un nuovo file al suo interno. Il nome del file deve avere l'estensione .tf, ad esempio main.tf. In questo tutorial, il file è indicato come main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. Se stai seguendo un tutorial, puoi copiare il codice campione in ogni sezione o passaggio.

   Copia il codice campione nel file main.tf appena creato.

   Se vuoi, copia il codice da GitHub. Questa opzione è consigliata se lo snippet Terraform fa parte di una soluzione end-to-end.

3. Esamina e modifica i parametri di esempio da applicare al tuo ambiente.
4. Salva le modifiche.
5. Inizializza Terraform. Devi eseguire questa operazione una sola volta per directory.

   terraform init

   Facoltativamente, per utilizzare la versione più recente del provider Google, includi l'opzione -upgrade:

   terraform init -upgrade

Applica le modifiche

1. Rivedi la configurazione e verifica che le risorse che Terraform creerà o aggiornerà corrispondano alle tue aspettative:

   terraform plan

   Apporta le correzioni necessarie alla configurazione.

2. Applica la configurazione Terraform eseguendo il comando seguente e inserendo yes al prompt:

   terraform apply

   Attendi finché Terraform non visualizza il messaggio "Applicazione completata".

3. Apri il progetto Google Cloud per visualizzare i risultati. Nella console Google Cloud, vai alle risorse nell'interfaccia utente per assicurarti che Terraform le abbia create o aggiornate.

API

Chiama il metodo datasets.insert con una risorsa del set di dati e un externalDatasetReference di campi definiti per il database AWS Glue.