Créer des tableaux de bord, des graphiques et des alertes

Ce document explique comment créer des graphiques et des alertes pour surveiller les ressources BigQuery à l'aide de Cloud Monitoring.

Avant de commencer

Avant d'utiliser Cloud Monitoring, assurez-vous de disposer des éléments suivants :

  • Compte Cloud Billing
  • Projet BigQuery avec facturation activée

Pour vérifier la présence de ces deux éléments, suivez le guide de démarrage rapide sur l'utilisation de la console Google Cloud.

Afficher et créer des tableaux de bord, des graphiques et des alertes

Afficher le tableau de bord Cloud Monitoring

Pour surveiller votre projet BigQuery à l'aide de Cloud Monitoring, procédez comme suit :

  1. Dans Google Cloud Console, accédez à la page Monitoring.

    Accéder à Monitoring

  2. En haut de la page, sélectionnez le nom de votre projet s'il n'est pas déjà sélectionné.

  3. Pour afficher les ressources BigQuery, sélectionnez Tableaux de bord > BigQuery. Cette page présente la liste des tables, des événements et des rapports d'incident configurables par l'utilisateur, ainsi que des graphiques associés aux métriques du projet ou de l'ensemble de données.

    Tableau de bord BigQuery

Visualiser les emplacements disponibles et les emplacements alloués

Pour visualiser les emplacements disponibles et les emplacements alloués à votre projet, accédez au tableau de bord Cloud Monitoring pour BigQuery décrit dans la section Afficher le tableau de bord Cloud Monitoring :

  1. Dans Google Cloud Console, accédez à la page Monitoring.

    Accéder à Monitoring

  2. Sélectionnez Tableaux de bord > BigQuery.

  3. Sur le tableau de bord Cloud Monitoring pour BigQuery, accédez au graphique intitulé Utilisation des emplacements.

Le graphique Utilisation des emplacements s'affiche à la fois sur le tableau de bord par défaut principal de Cloud Monitoring et sur le tableau de bord Cloud Monitoring pour BigQuery.

Créer un tableau de bord et un graphique

Affichez les métriques recueillies par Cloud Monitoring dans vos propres graphiques et tableaux de bord :

  1. Dans Google Cloud Console, accédez à la page Monitoring.

    Accéder à Monitoring

  2. Sélectionnez Tableaux de bord > Créer un tableau de bord.

  3. Cliquez sur Ajouter un graphique. La page "Ajouter un graphique" s'affiche :

    Page "Ajouter un graphique".

  4. Dans les champs du panneau Rechercher un type de ressource et une métrique :

    • Dans la liste déroulante Types de ressource, sélectionnez Global. Vous devrez peut-être développer la liste Types de ressources pour que l'option Global soit visible.
    • Dans la liste déroulante Métrique, sélectionnez Temps d'exécution de la requête.
  5. Les champs du volet Agrégation contrôlent l'affichage des données de temps d'exécution. Vous pouvez modifier les paramètres par défaut de ces champs.

  6. Cliquez sur Enregistrer.

Afficher l'utilisation et les limites de quotas

Dans Cloud Monitoring, vous pouvez afficher les métriques d'utilisation et de limites de quota :

  1. Dans Google Cloud Console, accédez à la page Monitoring.

    Accéder à Monitoring

  2. Dans le volet de navigation, sélectionnez  Explorateur de métriques.

  3. Dans la barre d'outils, sélectionnez Explorateur > Configuration.

  4. Dans la section Ressource et métrique, cliquez sur Sélectionner une métrique.

  5. Sélectionnez Quota du client > Quota > Limite de quota, puis cliquez sur Appliquer.

  6. Cliquez sur  Ajouter un filtre, puis sélectionnez limit_name dans le menu Étiquette.

  7. Dans le menu Valeur, sélectionnez le quota pour lequel vous souhaitez afficher les métriques.

    Explorateur de métriques.

Créer une alerte

Pour créer une règle d'alerte qui se déclenche lorsque le 99e centile de l'exécution d'une requête BigQuery dépasse une limite définie par l'utilisateur, définissez les paramètres suivants :

ChampNouvelle condition

Valeur
Ressource et métrique Dans le menu Ressources, sélectionnez Projet BigQuery.
Dans le menu Catégories de métriques, sélectionnez Requête.
Dans le menu Métriques, sélectionnez Temps d'exécution des requêtes.
Filter
Dans toutes les séries temporelles
Regrouper les séries temporelles par
priority
Dans toutes les séries temporelles
Agrégation de séries temporelles
99th percentile
Fenêtre glissante 5 m
Fenêtrage glissant sum
Champ Configurer le déclencheur d'alerte

Valeur
Type de condition Threshold
Déclencheur d'alerte Any time series violates
Position du seuil Above threshold
Valeur du seuil Vous déterminez cette valeur. Nous vous conseillons néanmoins de définir un seuil de 60 secondes.
Fenêtre du nouveau test most recent value

Métriques disponibles pour la visualisation

Les métriques suivantes sont disponibles, avec un délai pouvant atteindre plusieurs heures.

Type de ressource Nom Unités Description
BigQuery
Scanned bytes
Octets par minute Nombre d'octets analysés
BigQuery
Scanned bytes billed
Octets par minute Nombre d'octets envoyés pour facturation en cas d'utilisation du modèle d'analyse à la demande. Le nombre d'octets analysés et le nombre d'octets analysés facturés peuvent différer à mesure que les frais sont arrondis, avec une quantité minimale de données traitées par requête.
BigQuery
BI Engine Query Fallback Count (Preview)
Queries Nombre de requêtes qui n'ont pas utilisé BI Engine en tant que taux. Vous pouvez définir l'option Group by (Grouper par) sur reason pour séparer le décompte en fonction de différents motifs de remplacement, y compris :
  • NO_RESERVATION
  • INSUFFICIENT_RESERVATION
  • UNSUPPORTED_SQL_TEXT
  • INPUT_TOO_LARGE
  • OTHER_REASON
BigQuery
Query count
Queries Queries in Flight
BigQuery
Query execution count (Preview)
Queries Nombre de requêtes exécutées.
BigQuery
Query execution times
- 5th percentile
- 50th percentile
- 95th percentile
- 99th percentile
Secondes Temps d'exécution des requêtes non mises en cache.
BigQuery
Slots used by project
Emplacements Nombre d'emplacements BigQuery alloués aux jobs de requête du projet.

Les emplacements sont alloués au niveau de chaque compte de facturation, et plusieurs projets peuvent partager une même réservation d'emplacements.

BigQuery
Slots used by project and job type
Emplacements Nombre d'emplacements alloués au projet à tout moment, séparés par type de tâche. Cette métrique peut également s'interpréter comme le nombre d'emplacements utilisés par le projet. Les jobs de chargement et d'exportation sont des opérations gratuites exécutées dans un pool de ressources public.

Les emplacements sont alloués au niveau de chaque compte de facturation, et plusieurs projets peuvent partager une même réservation d'emplacements.

BigQuery
Slots used by project, reservation, and job type
Emplacements Nombre d'emplacements BigQuery alloués au projet. L'allocation d'emplacements peut être ventilée en fonction de la réservation et du type de job.
BigQuery
Total slots
Emplacements Nombre total d'emplacements disponibles pour le projet

Si le projet partage une réservation d'emplacements avec d'autres projets, les emplacements utilisés par les autres projets ne sont pas représentés.

BigQuery
Slots used across projects in reservations
Emplacements Nombre d'emplacements BigQuery alloués aux projets de la réservation. Notez que les données de métriques ne sont transmises que lorsqu'au moins un projet a été attribué à la réservation et consomme des emplacements. Vous pouvez également interroger les informations de réservation à partir de INFORMATION_SCHEMA.
BigQuery
Slots used by project in reservation
Emplacements Nombre d'emplacements BigQuery alloués au projet dans la réservation.
Ensemble de données BigQuery
Stored bytes
Bytes Octets stockés dans l'ensemble de données. Pour les 100 plus grandes tables de l'ensemble de données, le nombre d'octets stockés est affiché pour chaque table (identifiée par son nom). Pour toutes les autres tables de l'ensemble de données (au-delà des 100 plus grandes tables), cette métrique est indiquée sous la forme d'une somme unique et une chaîne vide apparaît à la place du nom de table associé à cette valeur cumulative.
Ensemble de données BigQuery
Table count
Tables Nombre de tables présentes dans l'ensemble de données
Ensemble de données BigQuery
Uploaded bytes
Octets par minute Nombre d'octets téléchargés dans les différentes tables de l'ensemble de données.
Ensemble de données BigQuery Lignes téléchargées lignes par minute Nombre d'enregistrements importés dans les différentes tables de l'ensemble de données depot/google3/production/config/cdd/cloud-pulse/templates/gcp/aliased_metrics_bigquery.gcl

Pour obtenir la liste complète des métriques Google Cloud disponibles, consultez la page Métriques Google Cloud.

Problèmes connus

  • S'il n'y a pas de requêtes en cours d'exécution, aucune donnée n'est renvoyée pour les emplacements alloués, les emplacements disponibles ou les variables liées aux requêtes. Effectuez un zoom arrière pour faire apparaître des données.

  • Si des requêtes sont exécutées simultanément dans les zones US et EU, les métriques relatives aux emplacements alloués ou disponibles peuvent être erronées.

  • La métrique "Emplacements alloués" correspond à la valeur moyenne pour une fenêtre temporelle donnée (dont la largeur dépend du niveau de zoom appliqué au graphique). Un zoom avant ou arrière peut modifier la valeur de la métrique "Emplacements alloués". Un zoom sur une fenêtre de 1 heure ou moins permet d'afficher les valeurs réelles de cette métrique. Dans une telle plage et en tout point de l'axe temporel du graphique, avg(slots allocated) = slots allocated.

  • Les données des graphiques Cloud Monitoring ne concernent que le projet sélectionné.

  • Les métriques sont des valeurs instantanées, échantillonnées à un moment donné et peuvent manquer des points de données entre les intervalles d'échantillons. Par exemple, la métrique du nombre de tâches est échantillonnée toutes les minutes. La valeur correspond au nombre de tâches à un moment donné, et non au nombre maximal de tâches tout au long de la minute.