Von Aerospike zu Bigtable migrieren

Umgebung vorbereiten

Führen Sie die folgenden Tools direkt in Cloud Shell aus, um die Umgebung für die Migration von Aerospike zu Bigtable vorzubereiten:

• Google Cloud CLI
• gsutil-Befehlszeilentool
• Das Bigtable-Befehlszeilentool, cbt
• Terraform
• Apache Maven

Diese Tools sind bereits in Cloud Shell verfügbar, sodass Sie diese Tools nicht noch einmal installieren müssen.

Projekt konfigurieren

1. Prüfen Sie in Cloud Shell die Projekt-ID, die von Cloud Shell automatisch konfiguriert wird. Die Eingabeaufforderung wird aktualisiert, um Ihr aktuell aktives Projekt zu übernehmen und im folgenden Format dargestellt zu werden: USERNAME@cloudshell:~ (PROJECT_ID)$

   Wenn die Projekt-ID nicht richtig konfiguriert ist, können Sie sie manuell konfigurieren:

   gcloud config set project <var>PROJECT_ID</var>
   

   Ersetzen Sie PROJECT_ID durch Ihre Google Cloud-Projekt-ID.

2. Konfigurieren Sie us-east1 als die Region und us-east1-b als die Zone:

   gcloud config set compute/region us-east1
   gcloud config set compute/zone us-east1-b
   

   Weitere Informationen zu Regionen und Zonen finden Sie unter Geografie und Regionen.

Anleitungsumgebung bereitstellen

1. Klonen Sie in Cloud Shell das Code-Repository:

    git clone https://github.com/fakeskimo/as2bt.git/
   

2. Initialisieren Sie in Cloud Shell das Terraform-Arbeitsverzeichnis:

   cd "$HOME"/as2bt/bookshelf/terraform
   terraform init
   

3. Konfigurieren Sie Terraform-Umgebungsvariablen für die Bereitstellung:

   export TF_VAR_gce_vm_zone="$(gcloud config get-value compute/zone)"
   export TF_VAR_gcs_bucket_location="$(gcloud config get-value compute/region)"
   

4. Prüfen Sie den Terraform-Ausführungsplan:

   terraform plan
   

   Die Ausgabe sieht etwa so aus:

   Terraform will perform the following actions:
   # google_bigtable_instance.bookshelf_bigtable will be created
   + resource "google_bigtable_instance" "bookshelf_bigtable" {
     + display_name  = (known after apply)
     + id            = (known after apply)
     + instance_type = "DEVELOPMENT"
     + name          = "bookshelf-bigtable"
     + project       = (known after apply)
     + cluster {
         + cluster_id   = "bookshelf-bigtable-cluster"
         + storage_type = "SSD"
         + zone         = "us-east1-b"
       }
   }
   

5. (Optional) Zeichnen Sie Diagramme, um zu visualisieren, welche Ressourcen mit Abhängigkeiten von Terraform bereitgestellt werden:

   terraform graph | dot -Tsvg > graph.svg
   

6. Stellen Sie die Anleitungsumgebung bereit:

   terraform apply
   

Anleitungsumgebung und Bookshelf-Anwendung prüfen

Nachdem Sie die Umgebung bereitgestellt haben und bevor Sie den Job zur Datenmigration gestartet haben, müssen Sie prüfen, ob alle Ressourcen bereitgestellt und konfiguriert wurden. In diesem Abschnitt wird erläutert, wie Sie den Bereitstellungsprozess überprüfen und welche Komponenten in der Umgebung konfiguriert werden.

Anleitungsumgebung prüfen

1. Prüfen Sie in Cloud Shell die Compute Engine-Instanz bookshelf-aerospike:

   gcloud compute instances list
   

   Die Ausgabe zeigt, dass die Instanz in der Zone us-east1-b bereitgestellt ist:

   NAME                 ZONE        MACHINE_TYPE   PREEMPTIBLE  INTERNAL_IP  EXTERNAL_IP  STATUS
   bookshelf-aerospike  us-east1-b  n1-standard-2               10.142.0.4   34.74.72.3   RUNNING
   

2. Prüfen Sie die Bigtable-Instanz bookshelf-bigtable:

   gcloud bigtable instances list
   

   Die Ausgabe sieht etwa so aus:

   NAME                DISPLAY_NAME        STATE
   bookshelf-bigtable  bookshelf-bigtable  READY
   

   Diese Bigtable-Instanz wird als Migrationsziel für spätere Schritte verwendet.

3. Überprüfen Sie, ob sich der Cloud Storage-Bucket bookshelf im Dataflow-Pipelinejob befindet:

   gsutil ls -b gs://bookshelf-*
   

   Da Cloud Storage-Bucket-Namen global eindeutig sein müssen, wird der Name des Buckets mit einem zufälligen Suffix erstellt. Die Ausgabe sieht etwa so aus:

   gs://bookshelf-616f60d65a3abe62/
   

Buch zur Bookshelf-Anwendung hinzufügen

1. Rufen Sie in Cloud Shell die externe IP-Adresse der Instanz bookshelf-aerospike ab:

   gcloud compute instances list --filter="name:bookshelf-aerospike" \
       --format="value(networkInterfaces[0].accessConfigs.natIP)"
   

   Notieren Sie sich die IP-Adresse. Sie benötigen sie im nächsten Schritt.

2. Rufen Sie in einem Webbrowser http://IP_ADDRESS:8080 auf zum Öffnen der Bookshelf-Anwendung.

   Ersetzen Sie IP_ADDRESS durch die externe IP-Adresse, die Sie im vorherigen Schritt kopiert haben.

3. Klicken Sie auf add Buch hinzufügen, um ein neues Buch zu erstellen.

4. Füllen Sie im Fenster Buch hinzufügen die folgenden Felder aus und klicken Sie dann auf Speichern:

   • Geben Sie im Feld Titel Aerospike-example ein.
   • Geben Sie im Feld Autor Aerospike-example ein.
   • Geben Sie in das Feld Veröffentlichungsdatum das heutige Datum ein.
   • Geben Sie im Feld Beschreibung den Text Aerospike-example ein.

   Mit diesem Buch wird überprüft, ob die Bookshelf-Anwendung Aerospike als Buchspeicher verwendet.

5. Notieren Sie sich in der URL der Bookshelf-Anwendung die Buch-ID. Wenn die URL beispielsweise 34.74.80.160:8080/books/10000 lautet, lautet die Buch-ID 10000.

   

6. Stellen Sie in Cloud Shell eine SSH-Verbindung zur Instanz bookshelf-aerospike her:

   gcloud compute ssh bookshelf-aerospike
   

7. Prüfen Sie in der bookshelf-aerospike-Instanzsitzung, ob mit der zuvor notierten Buch-ID ein neues Buch erstellt wurde:

   aql -c 'select * from bookshelf.books where id = "BOOK_ID"'
   

   Die Ausgabe sieht etwa so aus:

   +----------------------+----------------------+---------------+----------------------+----------+---------+
   | title                | author               | publishedDate | description          | imageUrl | id      |
   +----------------------+----------------------+---------------+----------------------+----------+---------+
   | " Aerospike-example" | " Aerospike-example" | "2000-01-01"  | " Aerospike-example" | ""       | "10000" |
   +----------------------+----------------------+---------------+----------------------+----------+---------+
   1 row in set (0.001 secs)
   

   Wenn Ihre Buch-ID nicht aufgeführt ist, wiederholen Sie die Schritte zum Hinzufügen eines neuen Buches.

Sicherungsdaten aus Aerospike in Cloud Storage übertragen

1. Erstellen Sie in Cloud Shell aus der Instanzsitzung bookshelf-aerospike eine Aerospike-Sicherungsdatei:

   aql -c "select * from bookshelf.books" --timeout=-1 --outputmode=json \`
       | tail -n +2 | jq -c '.[0] | .[]' \
       | gsutil cp - $(gsutil ls -b gs://bookshelf-*)bookshelf-backup.json
   

   Mit diesem Befehl werden die Daten verarbeitet und eine Sicherungsdatei erstellt durch den folgenden Prozess:

   • Wählt Buchinformationen aus Aerospike aus und gibt sie im JSON-prettyprint-Format aus.
   • Die ersten beiden Überschriften werden aus der Ausgabe entfernt und die Daten werden in das Format "Durch Zeilenumbruch getrenntes JSON" konvertiert (ndjson) mithilfe von jq, einem Befehlszeilen-JSON-Prozessor.
   • Mit dem gsutil-Befehlszeilentool werden die Daten in den Cloud Storage-Bucket hochgeladen.

2. Prüfen Sie, ob die Aerospike-Sicherungsdatei hochgeladen wurde und im Cloud Storage-Bucket vorhanden ist:

   gsutil ls gs://bookshelf-*/bookshelf-*\
       gs://bookshelf-616f60d65a3abe62/bookshelf-backup.json
   

3. (Optional) Prüfen Sie den Inhalt der Sicherungsdatei aus dem Cloud Storage-Bucket:

   gsutil cat -r 0-1024 gs://bookshelf-*/bookshelf-backup.json | head -n 2
   

   Die Ausgabe sieht etwa so aus:

   {"title":"book_2507","author":"write_2507","publishedDate":"1970-01-01","imageUrl":"https://storage.googleapis.com/aerospike2bt-bookshelf/The_Home_Edit-2019-06-24-044906.jpg","description":"test_2507","createdBy":"write_2507","createdById":"2507_anonymous","id":"2507"}
   {"title":"book_3867","author":"write_3867","publishedDate":"1970-01-01","imageUrl":"https://storage.googleapis.com/aerospike2bt-bookshelf/The_Home_Edit-2019-06-24-044906.jpg","description":"test_3867","createdBy":"write_3867","createdById":"3867_anonymous","id":"3867"}
   

4. Beenden Sie die SSH-Sitzung und kehren Sie zu Cloud Shell zurück:

   exit
   

Sicherungsdaten mit Dataflow zu Bigtable migrieren

Sie können jetzt die Sicherungsdaten von Cloud Storage in eine Bigtable-Instanz migrieren. In diesem Abschnitt wird erläutert, wie Sie mit Dataflow-Pipelines Daten migrieren, die mit einem Bigtable-Schema kompatibel sind.

Dataflow-Migrationsjob konfigurieren

1. Wechseln Sie in Cloud Shell zum Verzeichnis dataflow im Beispiel-Code-Repository:

   cd "$HOME"/as2bt/dataflow/
   

2. Konfigurieren Sie Umgebungsvariablen für einen Dataflow-Job:

   export BOOKSHELF_BACKUP_FILE="$(gsutil ls
   gs://bookshelf*/bookshelf-backup.json)"
   export BOOKSHELF_DATAFLOW_ZONE="$(gcloud config get-value compute/zone)"
   

3. Überprüfen Sie, ob die Umgebungsvariablen richtig konfiguriert sind:

   env | grep BOOKSHELF
   

   Wenn die Umgebungsvariablen richtig konfiguriert sind, sieht die Ausgabe in etwa so aus:

   BOOKSHELF_BACKUP_FILE=gs://bookshelf-616f60d65a3abe62/bookshelf-backup.json
   BOOKSHELF_DATAFLOW_ZONE=us-east1-b
   

Führen Sie den Dataflow-Job aus:

1. Migrieren Sie in Cloud Shell Daten aus Cloud Storage in die Bigtable-Instanz:

   ./run_oncloud_json.sh
   

2. Rufen Sie in der Google Cloud Console die Seite Jobs auf, um den Migrationsjob für die Sicherungsdaten zu überwachen.

   ZU JOBS

   Warten Sie, bis der Job erfolgreich abgeschlossen ist. Wenn der Job erfolgreich abgeschlossen wurde, sieht die Ausgabe in Cloud Shell in etwa so aus:

   Dataflow SDK version: 2.13.0
   Submitted job: 2019-12-16_23_24_06-2124083021829446026
   [INFO] ------------------------------------------------------------------------
   [INFO] BUILD SUCCESS
   [INFO] ------------------------------------------------------------------------
   [INFO] Total time:  08:20 min
   [INFO] Finished at: 2019-12-17T16:28:08+09:00
   [INFO] ------------------------------------------------------------------------
   

Ergebnisse des Migrationsjobs prüfen

• Überprüfen Sie in Cloud Shell, ob die Sicherungsdaten korrekt in Bigtable übertragen wurden:

  cbt -instance bookshelf-bigtable lookup books 00001
  

  Die Ausgabe sieht etwa so aus:

    ----------------------------------------
  00001
    info:author                              @ 2019/12/17-16:26:04.434000
      "Aerospike-example"
    info:description                         @ 2019/12/17-16:26:04.434000
      "Aerospike-example"
    info:id                                  @ 2019/12/17-16:26:04.434000
      "00001"
    info:imageUrl                            @ 2019/12/17-16:26:04.434000
      ""
    info:publishedDate                       @ 2019/12/17-16:26:04.434000
      "2019-10-01"
    info:title                               @ 2019/12/17-16:26:04.434000
      "Aerospike-example"
  

Bookshelf-Datenbank von Aerospike zu Bigtable ändern

Nachdem Sie Daten von Aerospike zu Bigtable migriert haben, können Sie die Konfiguration der Bookshelf-Anwendung so ändern, dass sie Bigtable als Speicher verwendet. Wenn Sie diese Konfiguration einrichten, werden neue Bücher in den Bigtable-Instanzen gespeichert.

Konfiguration der Bookshelf-Anwendung ändern

1. Stellen Sie in Cloud Shell eine SSH-Verbindung zur Anwendung bookshelf-aerospike her:

   gcloud compute ssh bookshelf-aerospike
   

2. Prüfen Sie, ob die aktuelle DATA_BACKEND-Konfiguration aerospike ist:

   grep DATA_BACKEND /opt/app/bookshelf/config.py
   

   Die Ausgabe sieht so aus:

   DATA_BACKEND = 'aerospike'
   

3. Ändern Sie die DATA_BACKEND-Konfiguration von aerospike in bigtable:

   sudo sed -i "s/DATA_BACKEND =.*/DATA_BACKEND = 'bigtable'/g" /opt/app/bookshelf/config.py
   

4. Prüfen Sie, ob die DATA_BACKEND-Konfiguration in bigtable geändert wurde:

   grep DATA_BACKEND /opt/app/bookshelf/config.py
   

   Die Ausgabe sieht so aus:

   DATA_BACKEND = 'bigtable'
   

5. Starten Sie die Bookshelf-Anwendung neu, die die neue Back-End-Konfiguration bigtable verwendet:

   sudo supervisorctl restart bookshelf
   

6. Überprüfen Sie, ob die Bookshelf-Anwendung neu gestartet wurde und korrekt ausgeführt wird:

   sudo supervisorctl status bookshelf
   

   Die Ausgabe sieht etwa so aus:

   bookshelf  RUNNING   pid 18318, uptime 0:01:00
   

Überprüfen, ob die Bookshelf-Anwendung das Bigtable-Back-End verwendet

1. Rufen Sie in einem Browser http://IP_ADDRESS:8080 auf.

2. Fügen Sie ein neues Buch mit dem Namen Bigtable-example hinzu.

3. Kopieren Sie die Buch-ID aus der Adressleiste des Browsers, um zu überprüfen, ob das Buch Bigtable-example in einer Bigtable-Instanz der Bookshelf-Anwendung erstellt wurde.

4. Schauen Sie in Cloud Shell die Bigtable-example-Buchdaten in einer Bigtable-Instanz nach:

   cbt -instance bookshelf-bigtable lookup books 7406950188
   

   Die Ausgabe sieht etwa so aus:

   ----------------------------------------
   7406950188
     info:author                              @ 2019/12/17-17:28:25.592000
       "Bigtable-example"
     info:description                         @ 2019/12/17-17:28:25.592000
       "Bigtable-example"
     info:id                                  @ 2019/12/17-17:28:25.592000
       "7406950188"
     info:image_url                           @ 2019/12/17-17:28:25.592000
       ""
     info:published_date                      @ 2019/12/17-17:28:25.592000
       "2019-10-01"
     info:title                               @ 2019/12/17-17:28:25.592000
       "Bigtable-example"
   

Sie haben eine Datenmigration von Aerospike zu Bigtable durchgeführt und die Bookshelf-Konfiguration so geändert, dass eine Verbindung mit einem Bigtable-Back-End hergestellt wurde.