Trasferimenti da Campaign Manager

BigQuery Data Transfer Service per Campaign Manager consente di pianificare e gestire automaticamente i job di caricamento ricorrenti per i dati dei report di Campaign Manager.

Report supportati

BigQuery Data Transfer Service per Campaign Manager (precedentemente noto come DoubleClick Campaign Manager) attualmente supporta le seguenti opzioni di generazione di report:

Per informazioni su come i report di Campaign Manager vengono trasformati in tabelle e viste di BigQuery, consulta Trasformazioni dei report di Campaign Manager.

Opzione di segnalazione Assistenza
Pianificazione

Ogni 8 ore, in base all'ora di creazione.

Non configurabile

Finestra di aggiornamento

Ultimi 2 giorni

Non configurabile

Durata massima del backfill

Ultimi 60 giorni

Campaign Manager conserva i file Data Transfer per un massimo di 60 giorni. I file più vecchi di 60 giorni vengono eliminati da Campaign Manager.

Importazione dati dai trasferimenti di Campaign Manager

Quando trasferisci dati da Campaign Manager a BigQuery, i dati vengono caricati in tabelle BigQuery partizionate per data. La partizione della tabella in cui vengono caricati i dati corrisponde alla data dell'origine dati. Se pianifichi più trasferimenti per la stessa data, BigQuery Data Transfer Service sovrascrive la partizione per quella data specifica con i dati più recenti. Più trasferimenti nello stesso giorno o backfill in esecuzione non generano dati duplicati e le partizioni per altre date non vengono interessate.

Prima di iniziare

Prima di creare un trasferimento di Campaign Manager:

  • Verifica di aver completato tutte le azioni necessarie per abilitare BigQuery Data Transfer Service.
  • Crea un set di dati BigQuery per archiviare i dati di Campaign Manager.
  • Assicurati che la tua organizzazione abbia accesso ai file Campaign Manager Data Transfer v2 (Campaign Manager DTv2). Questi file vengono inviati dal team di Campaign Manager a un bucket Cloud Storage. Per poter accedere ai file DTv2 di Campaign Manager, il passaggio successivo varia a seconda che tu abbia un contratto diretto con Campaign Manager. In entrambi i casi, potrebbero essere addebitati costi aggiuntivi.

    • Se hai un contratto con Campaign Manager, contatta l'assistenza di Campaign Manager per impostare i file DTv2 di Campaign Manager.
    • Se non hai un contratto con Campaign Manager, la tua agenzia o il tuo rivenditore Campaign Manager potrebbe avere accesso ai file DTv2 di Campaign Manager. Contatta la tua agenzia o il tuo rivenditore per accedere a questi file.

    Dopo aver completato questo passaggio, riceverai un nome del bucket Cloud Storage simile al seguente:

    dcdt_-dcm_account123456

  • Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, devi disporre delle autorizzazioni pubsub.topics.setIamPolicy. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Autorizzazioni obbligatorie

  • BigQuery: assicurati che la persona che crea il trasferimento disponga delle seguenti autorizzazioni in BigQuery:

    • bigquery.transfers.update autorizzazioni per creare il trasferimento
    • Sia le autorizzazioni bigquery.datasets.get che bigquery.datasets.update per il set di dati di destinazione

    Il ruolo IAM predefinito bigquery.admin include le autorizzazioni bigquery.transfers.update, bigquery.datasets.update e bigquery.datasets.get. Per ulteriori informazioni sui ruoli IAM in BigQuery Data Transfer Service, consulta Controllo dell'accesso.

  • Campaign Manager: accesso in lettura ai file DTv2 di Campaign Manager archiviati in Cloud Storage. L'accesso è gestito dall'entità da cui hai ricevuto il bucket Cloud Storage.

Impostare un trasferimento a Campaign Manager

L'impostazione di un trasferimento di Campaign Manager richiede:

  • Bucket Cloud Storage: l'URI del bucket Cloud Storage per i file DTv2 di Campaign Manager, come descritto in Prima di iniziare. Il nome del bucket dovrebbe avere il seguente aspetto:

    dcdt_-dcm_account123456

  • ID Campaign Manager: l'ID della rete Campaign Manager, dell'inserzionista o di Floodlight. L'ID rete è l'elemento padre della gerarchia.

Individuare l'ID Campaign Manager

Per recuperare il tuo ID Campaign Manager, puoi utilizzare la console di Cloud Storage per esaminare i file nel bucket Cloud Storage di Campaign Manager Data Transfer. L'ID Campaign Manager viene utilizzato per associare i file nel bucket Cloud Storage fornito. L'ID è incorporato nel nome del file, non nel nome del bucket Cloud Storage.

Ad esempio:

  • In un file denominato dcm_account123456_activity_*, l'ID è 123456.
  • In un file denominato dcm_floodlight7890_activity_*, l'ID è 7890.
  • In un file denominato dcm_advertiser567_activity_*, l'ID è 567.

Individuazione del prefisso del nome del file

In rari casi, i file nel bucket Cloud Storage potrebbero avere nomi di file personalizzati e non standard impostati dal team dei servizi Google Marketing Platform.

Ad esempio:

  • In un file denominato dcm_account123456custom_activity_*, il prefisso è dcm_account123456custom, tutto prima di _activity.

Se hai bisogno di aiuto, contatta l'assistenza di Campaign Manager.

Crea un trasferimento di dati per Campaign Manager

Console

  1. Vai alla pagina BigQuery nella console Google Cloud.

    Vai alla pagina di BigQuery

  2. Fai clic su Trasferimenti.

  3. Fai clic su Crea trasferimento.

  4. Nella pagina Crea trasferimento:

    • Nella sezione Tipo di origine, per Origine, scegli Campaign Manager.

      Origine trasferimento

    • Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento, ad esempio My Transfer. Il nome del trasferimento può essere qualsiasi valore che ti consente di identificare facilmente il trasferimento se devi modificarlo in un secondo momento.

      Nome trasferimento

    • Nella sezione Opzioni di pianificazione, per Pianifica, lascia il valore predefinito (Inizia ora) o fai clic su Avvia a un orario prestabilito.

      • In Ripetizioni, scegli un'opzione relativa alla frequenza di esecuzione del trasferimento.

        • Ogni giorno (impostazione predefinita)
        • Ogni settimana
        • Ogni mese
        • Valore personalizzato
        • On demand

        Se scegli un'opzione diversa da Giornaliera, saranno disponibili opzioni aggiuntive. Ad esempio, se scegli Settimanale, viene visualizzata l'opzione che consente di selezionare il giorno della settimana.

      • In Data di inizio e ora di esecuzione, inserisci la data e l'ora di inizio del trasferimento. Se scegli Inizia ora, questa opzione viene disattivata.

        Pianificazione del trasferimento

    • Nella sezione Impostazioni destinazione, per Set di dati di destinazione, scegli il set di dati che hai creato per archiviare i dati.

      Trasferisci set di dati

    • Nella sezione Dettagli origine dati:

      • In Bucket Cloud Storage, inserisci o sfoglia il nome del bucket Cloud Storage in cui sono archiviati i tuoi file Data Transfer V2.0. Quando inserisci il nome del bucket, non includere gs://.
      • Per l'ID DoubleClick, inserisci l'ID Campaign Manager appropriato.
      • (Facoltativo) Se i file hanno nomi standard come questi esempi, lascia vuoto il campo Prefisso nome file. Completa il prefisso nome file solo se i file nel tuo bucket Cloud Storage hanno nomi di file personalizzati come questo esempio.

        Dettagli della sorgente Campaign Manager

    • (Facoltativo) Nella sezione Opzioni di notifica:

      • Fai clic sul pulsante di attivazione/disattivazione per abilitare le notifiche via email. Quando abiliti questa opzione, l'amministratore dei trasferimenti riceve una notifica via email quando un'esecuzione del trasferimento non va a buon fine.
      • In Seleziona un argomento Pub/Sub, scegli il nome dell'argomento o fai clic su Crea un argomento. Questa opzione configura le notifiche dell'esecuzione di Pub/Sub per il trasferimento.
  5. Fai clic su Salva.

bq

Inserisci il comando bq mk e fornisci il flag di creazione del trasferimento --transfer_config. Sono richiesti anche i seguenti flag:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
bq mk --transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Dove:

  • project_id è l'ID progetto.
  • dataset è il set di dati di destinazione per la configurazione di trasferimento.
  • name è il nome visualizzato della configurazione di trasferimento. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare facilmente il trasferimento se devi modificarlo in un secondo momento.
  • parameters contiene i parametri per la configurazione di trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Per Campaign Manager, devi fornire i parametri bucket e network_id. bucket è il bucket Cloud Storage che contiene i file DTv2 di Campaign Manager. network_id è l'ID della tua rete, Floodlight o dell'inserzionista.
  • data_source è l'origine dati, dcm_dt (Campaign Manager).

Puoi anche fornire il flag --project_id per specificare un particolare progetto. Se --project_id non è specificato, viene utilizzato il progetto predefinito.

Ad esempio, il seguente comando crea un trasferimento Campaign Manager denominato My Transfer utilizzando l'ID Campaign Manager 123456, il bucket Cloud Storage dcdt_-dcm_account123456 e il set di dati di destinazione mydataset. Il parametro file_name_prefix è facoltativo e viene utilizzato solo per nomi di file personalizzati rari.

Il trasferimento viene creato nel progetto predefinito:

bq mk --transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"bucket": "dcdt_-dcm_account123456","network_id": "123456","file_name_prefix":"YYY"}' \
--data_source=dcm_dt

Dopo aver eseguito il comando, viene visualizzato un messaggio simile al seguente:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Segui le istruzioni e incolla il codice di autenticazione nella riga di comando.

API

Utilizza il metodo projects.locations.transferConfigs.create e fornisci un'istanza della risorsa TransferConfig.

Java

Prima di provare questo esempio, segui le istruzioni di configurazione di Java disponibili nella guida rapida di BigQuery sull'utilizzo delle librerie client. Per saperne di più, consulta la documentazione di riferimento dell'API BigQuery Java.

Per eseguire l'autenticazione in BigQuery, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per le librerie client.

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.CreateTransferConfigRequest;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.ProjectName;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.protobuf.Struct;
import com.google.protobuf.Value;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;

// Sample to create campaign manager transfer config
public class CreateCampaignmanagerTransfer {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    final String projectId = "MY_PROJECT_ID";
    String datasetId = "MY_DATASET_ID";
    String bucket = "gs://cloud-sample-data";
    // the network_id only allows digits
    String networkId = "7878";
    String fileNamePrefix = "test_";
    Map<String, Value> params = new HashMap<>();
    params.put("bucket", Value.newBuilder().setStringValue(bucket).build());
    params.put("network_id", Value.newBuilder().setStringValue(networkId).build());
    params.put("file_name_prefix", Value.newBuilder().setStringValue(fileNamePrefix).build());
    TransferConfig transferConfig =
        TransferConfig.newBuilder()
            .setDestinationDatasetId(datasetId)
            .setDisplayName("Your Campaignmanager Config Name")
            .setDataSourceId("dcm_dt")
            .setParams(Struct.newBuilder().putAllFields(params).build())
            .build();
    createCampaignmanagerTransfer(projectId, transferConfig);
  }

  public static void createCampaignmanagerTransfer(String projectId, TransferConfig transferConfig)
      throws IOException {
    try (DataTransferServiceClient client = DataTransferServiceClient.create()) {
      ProjectName parent = ProjectName.of(projectId);
      CreateTransferConfigRequest request =
          CreateTransferConfigRequest.newBuilder()
              .setParent(parent.toString())
              .setTransferConfig(transferConfig)
              .build();
      TransferConfig config = client.createTransferConfig(request);
      System.out.println("Campaignmanager transfer created successfully :" + config.getName());
    } catch (ApiException ex) {
      System.out.print("Campaignmanager transfer was not created." + ex.toString());
    }
  }
}

Risolvere i problemi di configurazione del trasferimento in Campaign Manager

Se hai problemi durante la configurazione del trasferimento, consulta Problemi di trasferimento in Campaign Manager in Risoluzione dei problemi relativi alle configurazioni di trasferimento.

Esegui query sui dati

Quando i dati vengono trasferiti in BigQuery, vengono scritti in tabelle partizionate per la fase di importazione. Per ulteriori informazioni, consulta Introduzione alle tabelle partizionate.

Se esegui query direttamente sulle tabelle anziché utilizzare le viste generate automaticamente, devi utilizzare la pseudo-colonna _PARTITIONTIME nella query. Per ulteriori informazioni, consulta la pagina relativa all'esecuzione di query sulle tabelle partizionate.

Query di esempio Campaign Manager

Puoi utilizzare i seguenti esempi di query di Campaign Manager per analizzare i dati trasferiti. Puoi anche utilizzare le query in uno strumento di visualizzazione come Looker Studio. Queste query vengono fornite per aiutarti a iniziare a eseguire query sui dati di Campaign Manager con BigQuery. Per ulteriori domande su cosa puoi fare con questi report, contatta il tuo rappresentante tecnico Campaign Manager.

In ognuna delle seguenti query, sostituisci le variabili come dataset con i tuoi valori.

Campagne più recenti

La seguente query SQL di esempio recupera le campagne più recenti.

SELECT
  Campaign,
  Campaign_ID
FROM
  `dataset.match_table_campaigns_campaign_manager_id`
WHERE
  _DATA_DATE = _LATEST_DATE

Impressioni e utenti distinti per campagna

La seguente query SQL di esempio analizza il numero di impressioni e gli utenti distinti per campagna negli ultimi 30 giorni.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.impression_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN start_date
    AND end_date
  GROUP BY
    Campaign_ID,
    Date

Campagne più recenti ordinate per campagna e data

La seguente query SQL di esempio analizza le ultime campagne degli ultimi 30 giorni, ordinate per campagna e data.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  Campaign,
  Campaign_ID,
  Date
FROM (
  SELECT
    Campaign,
    Campaign_ID
  FROM
    `dataset.match_table_campaigns_campaign_manager_id`
  WHERE
    _DATA_DATE = _LATEST_DATE ),
  (
  SELECT
    date AS Date
  FROM
    `bigquery-public-data.utility_us.date_greg`
  WHERE
    Date BETWEEN start_date
    AND end_date )
ORDER BY
  Campaign_ID,
  Date

Impressioni e utenti distinti per campagna entro un intervallo di date

La seguente query SQL di esempio analizza il numero di impressioni e di utenti distinti in base alla campagna nel periodo compreso tra il giorno start_date e il giorno end_date.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  base.*,
  imp.count AS imp_count,
  imp.du AS imp_du
FROM (
  SELECT
    *
  FROM (
    SELECT
      Campaign,
      Campaign_ID
    FROM
      `dataset.match_table_campaigns_campaign_manager_id`
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      date AS Date
    FROM
      `bigquery-public-data.utility_us.date_greg`
    WHERE
      Date BETWEEN start_date
      AND end_date ) ) AS base
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.impression_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN start_date
    AND end_date
  GROUP BY
    Campaign_ID,
    Date ) AS imp
ON
  base.Campaign_ID = imp.Campaign_ID
  AND base.Date = imp.Date
WHERE
  base.Campaign_ID = imp.Campaign_ID
  AND base.Date = imp.Date
ORDER BY
  base.Campaign_ID,
  base.Date

Impressioni, clic, attività e utenti distinti per campagna

La seguente query SQL di esempio analizza il numero di impressioni, clic, attività e utenti distinti per campagna negli ultimi 30 giorni. In questa query, sostituisci le variabili come campaign_list con i tuoi valori. Ad esempio, sostituisci campaign_list con un elenco separato da virgole di tutte le campagne Campaign Manager di interesse che rientrano nell'ambito della query.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  base.*,
  imp.count AS imp_count,
  imp.du AS imp_du,
  click.count AS click_count,
  click.du AS click_du,
  activity.count AS activity_count,
  activity.du AS activity_du
FROM (
  SELECT
    *
  FROM (
    SELECT
      Campaign,
      Campaign_ID
    FROM
      `dataset.match_table_campaigns_campaign_manager_id`
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      date AS Date
    FROM
      `bigquery-public-data.utility_us.date_greg`
    WHERE
      Date BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
      AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY) ) ) AS base
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.impression_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Date ) AS imp
ON
  base.Campaign_ID = imp.Campaign_ID
  AND base.Date = imp.Date
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.click_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Date ) AS click
ON
  base.Campaign_ID = click.Campaign_ID
  AND base.Date = click.Date
LEFT JOIN (
  SELECT
    Campaign_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.activity_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Date ) AS activity
ON
  base.Campaign_ID = activity.Campaign_ID
  AND base.Date = activity.Date
WHERE
  base.Campaign_ID IN campaign_list
  AND (base.Date = imp.Date
    OR base.Date = click.Date
    OR base.Date = activity.Date)
ORDER BY
  base.Campaign_ID,
  base.Date

Attività della campagna

La seguente query SQL di esempio analizza l'attività delle campagne negli ultimi 30 giorni. In questa query, sostituisci le variabili come campaign_list con i tuoi valori. Ad esempio, sostituisci campaign_list con un elenco separato da virgole di tutte le campagne Campaign Manager di interesse che rientrano nell'ambito della query.

# START_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
# END_DATE = DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
SELECT
  base.*,
  activity.count AS activity_count,
  activity.du AS activity_du
FROM (
  SELECT
    *
  FROM (
    SELECT
      Campaign,
      Campaign_ID
    FROM
      `dataset.match_table_campaigns_campaign_manager_id`
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      mt_at.Activity_Group,
      mt_ac.Activity,
      mt_ac.Activity_Type,
      mt_ac.Activity_Sub_Type,
      mt_ac.Activity_ID,
      mt_ac.Activity_Group_ID
    FROM
      `dataset.match_table_activity_cats_campaign_manager_id` AS mt_ac
    JOIN (
      SELECT
        Activity_Group,
        Activity_Group_ID
      FROM
        `dataset.match_table_activity_types_campaign_manager_id`
      WHERE
        _DATA_DATE = _LATEST_DATE ) AS mt_at
    ON
      mt_at.Activity_Group_ID = mt_ac.Activity_Group_ID
    WHERE
      _DATA_DATE = _LATEST_DATE ),
    (
    SELECT
      date AS Date
    FROM
      `bigquery-public-data.utility_us.date_greg`
    WHERE
      Date BETWEEN start_date
      AND end_date ) ) AS base
LEFT JOIN (
  SELECT
    Campaign_ID,
    Activity_ID,
    _DATA_DATE AS Date,
    COUNT(*) AS count,
    COUNT(DISTINCT User_ID) AS du
  FROM
    `dataset.activity_campaign_manager_id`
  WHERE
    _DATA_DATE BETWEEN DATE_ADD(CURRENT_DATE(), INTERVAL -31 DAY)
    AND DATE_ADD(CURRENT_DATE(), INTERVAL -1 DAY)
  GROUP BY
    Campaign_ID,
    Activity_ID,
    Date ) AS activity
ON
  base.Campaign_ID = activity.Campaign_ID
  AND base.Activity_ID = activity.Activity_ID
  AND base.Date = activity.Date
WHERE
  base.Campaign_ID IN campaign_list
  AND base.Activity_ID = activity.Activity_ID
ORDER BY
  base.Campaign_ID,
  base.Activity_Group_ID,
  base.Activity_ID,
  base.Date