Trasferimento di dati da Amazon S3 a Cloud Storage utilizzando Controlli di servizio VPC e Storage Transfer Service

Configurazione dell'accesso AWS

In questo tutorial, lavorerai con gli utenti AWS Identity and Access Management (AWS IAM) esistenti per creare un criterio AWS IAM da interfacciare con StorageTransfer Service. Questi criteri e questi utenti sono necessari per autenticare la connessione a Google Cloud e per proteggere i dati in transito. Questo tutorial richiede un bucket Amazon S3 da cui trasferire i dati; puoi utilizzare un bucket Amazon S3 esistente o creare un nuovo bucket. Puoi utilizzare un account AWS di test o sandbox per evitare di influire sulle risorse di produzione nello stesso account.

Crea un criterio AWS IAM per Storage Transfer Service e applicalo al tuo bucket

1. Nella console di gestione AWS, vai alla pagina IAM.
2. Fai clic su Norme, quindi su Crea norma.
3. Nell'editor visivo, fai clic su Criterio IAM.
4. Fai clic su S3.

5. Seleziona le seguenti caselle di controllo per Livello di accesso:

   • Elenca
   • Letto
   • Scrittura

6. Nel riquadro Risorse, fai clic su Specifica.

7. Nel riquadro Bucket, fai clic su Aggiungi ARN.

8. Nel campo Nome bucket, inserisci il nome del bucket da cui stai trasferendo i dati.

9. Fai clic su Rivedi le norme e inserisci un nome, ad esempio transfer-user-policy.

10. Fai clic su Crea criterio.

Aggiungi utenti AWS IAM al tuo criterio AWS IAM

1. Nella console di gestione AWS, vai alla pagina IAM.
2. Fai clic su Utenti, quindi su Aggiungi utente.
3. Nel campo Nome, inserisci transfer-user.
4. In Tipo di accesso, fai clic su Accesso programmatico e allega il transfer-user-policy che hai creato per l'utente.
5. Dopo aver creato l'utente, prendi nota della coppia di ID di accesso e di chiavi secret, perché verrà utilizzata più avanti nel tutorial.
6. Fai clic su Salva.

Creazione di un bucket Cloud Storage

Prima di poter abilitare il tuo perimetro dei Controlli di servizio VPC, devi creare un bucket Cloud Storage.

1. Nella console Google Cloud, vai al browser Cloud Storage.

   Vai alla pagina Browser Cloud Storage

2. Fai clic su Crea bucket.

3. Nel campo Nome, inserisci un nome, ad esempio project-id-destination-bucket, dove project-id rappresenta il tuo ID progetto Google Cloud.

4. Per Classe di archiviazione predefinita per il bucket, fai clic su Archiviazione regionale.

5. Nell'elenco a discesa Località, fai clic su una regione in cui sono archiviati i dati del bucket.

6. Fai clic su Crea.

Individuazione del nome dell'account di servizio delle operazioni di trasferimento

Storage Transfer Service utilizza un agente di servizio per comunicare con le risorse Cloud Storage e Pub/Sub all'interno del tuo progetto. Devi determinare il nome dell'agente di servizio perché verrà utilizzato più avanti in questo tutorial. Se non hai mai utilizzato Storage Transfer Service, i passaggi seguenti creano l'agente di servizio Storage Transfer Service per te. Per ulteriori informazioni sugli agenti di servizio, consulta Agenti di servizio.

1. Per determinare il nome dell'agente di servizio, vai alla pagina dell'API Storage Transfer Service.

2. Nel campo Stringa, inserisci il tuo ID progetto Google Cloud.

   Il nome dell'agente di servizio è in genere nel seguente formato: project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com

Creazione del criterio di accesso in Gestore contesto accesso

Un criterio di accesso raccoglie i perimetri di servizio e i livelli di accesso che crei per la tua organizzazione. Un'organizzazione può avere un solo criterio di accesso.

1. Nella console Google Cloud, vai alla pagina Impostazioni.

   Vai alla pagina Impostazioni

2. Prendi nota dell'ID progetto Google Cloud e del nome dell'organizzazione.

3. In Cloud Shell, crea un criterio:

   gcloud access-context-manager policies create \
       --organization organization-id --title policy-title
   

   • organization-id è l'ID organizzazione che hai trovato in precedenza.
   • policy-title è il titolo del perimetro. Ad esempio, Example-Company-Access-Policy.

   L'output è il seguente:

   Create request issued
   Waiting for operation [accessPolicies/policy-title/create/policy-number] to complete...done.
   Created.
   

   policy-number rappresenta un ID univoco assegnato al titolo del criterio.

Creazione del perimetro dei Controlli di servizio VPC

Quando crei il perimetro dei Controlli di servizio VPC, all'inizio non è consentito alcun traffico. Quindi, creerai un livello di accesso esplicito per consentire all'operazione di trasferimento di inviare dati nel perimetro controllato.

1. Nella console Google Cloud, vai alla pagina Controlli di servizio VPC.

   Vai alla pagina Controlli di servizio VPC

2. Fai clic su Nuovo perimetro.

3. Nel campo Nome, inserisci un nome per il perimetro, ad esempio data-transfer-perimeter.

4. Lascia selezionato Perimetro regolare.

5. Fai clic su Aggiungi progetto e aggiungi il progetto che hai creato tramite questo tutorial all'elenco dei progetti da proteggere.

6. Fai clic su API Cloud Storage.

7. Lascia invariato il valore predefinito per Livelli di accesso.

8. Fai clic su Salva.

Creazione di un livello di accesso nel criterio di accesso

In questa sezione limiti l'accesso al VPC tramite l'account di servizio.

1. In Cloud Shell, crea un file YAML denominato conditions.yaml che elenca le entità a cui vuoi fornire l'accesso:

    - members:
        - serviceAccount:project-project-number@storage-transfer-service.iam.gserviceaccount.com
        - user:[email protected]
    

2. Crea il livello di accesso:

   gcloud access-context-manager levels create name \
       --title title \
       --basic-level-spec ~./conditions.yaml \
       --combine-function=OR \
       --policy=policy-id
   

   • name è il nome univoco del livello di accesso. Deve iniziare con una lettera e contenere solo lettere, numeri e trattini bassi.
   • title è un titolo univoco per il criterio, come trusted-identity-ingest.
   • policy-id è l'ID (numero) del criterio di accesso della tua organizzazione.
   • combine-function è impostato su OR. Il valore predefinito AND richiede che tutte le condizioni siano soddisfatte prima che venga concesso un livello di accesso. Il valore OR consente alle entità di accedere anche se non vengono soddisfatte altre condizioni, come l'indirizzo IP o quelle ereditate da altri livelli di accesso obbligatori.

   L'output è simile al seguente:

   Create request issued for: name
   Waiting for operation [accessPolicies/policy-id/accessLevels/name/create/access-level-number] to complete...done.
   Created level name.
   

   access-level-number rappresenta un ID univoco assegnato al livello di accesso.

Associazione del livello di accesso ai Controlli di servizio VPC

1. Nella console Google Cloud, vai a Controlli di servizio VPC.

   Vai alla pagina Controlli di servizio VPC

2. Fai clic su Modifica per Controllo di servizio VPC.

3. Fai clic su Livello di accesso e seleziona il livello di accesso trusted-identity-ingest.

4. Fai clic su Salva.

Ora le uniche operazioni consentite nel perimetro controllato provengono dall'account di servizio che hai definito.

Avvio del trasferimento

1. Nella console Google Cloud, vai alla pagina Trasferisci.

   Vai alla pagina Trasferisci

2. Fai clic su Crea trasferimento.

3. Fai clic su Bucket Amazon S3.

4. Nel campo Bucket Amazon S3, inserisci il nome del bucket Amazon S3 di origine così come viene visualizzato nella console di gestione AWS.

5. Inserisci l'ID chiave di accesso e la chiave secret associati al bucket Amazon S3. Hai copiato questi valori all'inizio di questo tutorial.

6. In Seleziona destinazione, inserisci il nome del bucket che hai creato nel perimetro, ad esempio project-id-destination-bucket.

7. In Configura il trasferimento, pianifica il job di trasferimento su Esegui ora.

8. (Facoltativo) Modifica il nome del job di trasferimento.

9. In Descrizione utilizza un nome descrittivo univoco che ti aiuterà a identificare il job di trasferimento in un secondo momento.

10. Fai clic su Crea.