Langsung ke
Datastream untuk BigQuery

Datastream untuk BigQuery

Replikasi tanpa hambatan dari database relasional langsung ke BigQuery, yang menghasilkan insight data operasional yang mendekati real-time.

  • Replikasi latensi rendah untuk mengaktifkan analisis mendekati real-time di BigQuery

  • Akses ke data streaming dari database MySQL, PostgreSQL, AlloyDB, SQL Server, dan Oracle

  • Platform serverless yang dapat diskalakan secara otomatis, tanpa perlu penyediaan atau pengelolaan resource

  • Penyiapan pipeline ELT (ekstrak, pemuatan, transformasi) yang mudah dengan konektivitas aman bawaan

  • Digunakan oleh ribuan pelanggan untuk mereplikasi data operasional mereka ke BigQuery

Manfaat

Mereplikasi data operasional dengan latensi minimal

Mereplikasi data secara lancar dari database MySQL, PostgreSQL, AlloyDB, SQL Server, dan Oracle langsung ke BigQuery, dengan latensi rendah dan tanpa memengaruhi performa sumber.

Tingkatkan dan turunkan skala dengan arsitektur serverless

Hilangkan overhead operasional dengan pendekatan serverless yang diskalakan secara otomatis tanpa infrastruktur yang harus Anda kelola.

Siap dijalankan dalam hitungan menit

Pengalaman penyiapan yang disederhanakan memungkinkan Anda untuk mulai mereplikasi data dari database operasional ke BigQuery hanya dalam beberapa langkah.

Fitur utama

Fitur utama

Replikasi data operasional ke BigQuery

Datastream menggunakan fungsi Pengambilan Data Perubahan (CDC) BigQuery dan Storage Write API untuk mereplikasi update langsung dari sistem sumber secara efisien hampir secara real time. Anda tidak lagi memerlukan solusi replikasi yang menyia-nyiakan resource berharga pada pipeline data yang kompleks, tabel staging yang dikelola sendiri, logika penggabungan yang rumit, atau konversi jenis data manual.

Penyiapan yang disederhanakan

Datastream memungkinkan Anda mulai mereplikasi data ke BigQuery dalam beberapa langkah. Cukup konfigurasikan database sumber, jenis koneksi, dan tujuan Anda di BigQuery, dan Anda sudah siap. Datastream untuk BigQuery akan mengisi ulang data historis dan terus mereplikasi perubahan baru saat terjadi.

Streaming data dari database relasional

Datastream membaca dan mengirimkan setiap perubahan—insert, update, dan delete—dari database MySQL, PostgreSQL, AlloyDB, dan Oracle ke BigQuery dengan latensi minimal. Database sumber dapat dihosting secara lokal, di layanan Google Cloud, seperti Cloud SQL atau Solusi Bare Metal untuk Oracle, atau di mana saja di cloud apa pun. Layanan tanpa agen dan native Google yang dibuat khusus untuk BigQuery, dengan andal melakukan streaming setiap peristiwa saat terjadi. 

Resolusi penyimpangan skema

Saat skema sumber berubah, Datastream menangani penyimpangan skema dengan lancar serta otomatis mereplikasi kolom dan tabel baru yang ditambahkan dalam sumber ke BigQuery.

Didesain agar aman

Datastream mendukung beberapa metode konektivitas pribadi yang aman untuk melindungi data dalam pengiriman. Data juga dienkripsi saat dalam penyimpanan.

Logo Falabella
Dengan Datastream, kami memiliki satu alat untuk melakukan replikasi data operasional kami yang lancar dan mendekati real-time ke BigQuery. Datastream membantu kami mendapatkan insight yang jauh lebih cepat tentang data operasional, memberikan produk data yang lebih stabil, dan memenuhi kebutuhan bisnis kami dengan lebih baik.

René Delgado, Head of Data Solutions di Falabella

Link blog

Kasus penggunaan

Kasus penggunaan

Kasus penggunaan
Replikasi serverless ke BigQuery

Datastream membaca peristiwa perubahan (penyisipan, pembaruan, dan penghapusan) dari database sumber dan menulisnya di tabel BigQuery hampir secara real time. Hal ini memungkinkan Anda memperkaya data warehouse BigQuery dan model ML yang sudah ada dengan data transaksional, seperti pembelian retail, untuk membuat gambaran data yang lebih lengkap secara menyeluruh. Datastream akan mengisi ulang data historis, terus mereplikasi perubahan baru saat terjadi, dan menangani perubahan skema dengan lancar.

Replikasi serverless ke BigQuery
Bandingkan fitur

Bandingkan opsi untuk streaming data dari database operasional ke BigQuery

Datastream untuk BigQuery

Solusi terkelola sepenuhnya untuk mereplikasi data dari database transaksional ke BigQuery

Datastream dan Dataflow

Solusi yang dapat disesuaikan untuk mereplikasi perubahan dalam sumber data

Datastream dan Data Fusion

Wizard bebas kode yang merupakan bagian dari layanan ETL yang terkelola sepenuhnya

Manfaat utama

  • Opsi termudah untuk mereplikasi data operasional ke BigQuery

  • Arsitektur serverless yang otomatis menaikkan dan menurunkan skala

  • Antarmuka tunggal untuk visibilitas end-to-end dan pemantauan pipeline replikasi

  • Solusi yang dapat disesuaikan dengan fleksibilitas tambahan

  • Template bawaan yang didukung oleh Google untuk berbagai tujuan

  • Integrasi fitur tambahan, seperti kualitas data dan data masking

  • Antarmuka sederhana untuk developer ETL dan analis data

  • Identifikasi potensi masalah dan kesenjangan dalam replikasi terlebih dahulu

  • Insight mendekati real-time tentang performa replikasi

Solusi terkelola sepenuhnya untuk mereplikasi data dari database transaksional ke BigQuery

Manfaat utama

  • Opsi termudah untuk mereplikasi data operasional ke BigQuery

  • Arsitektur serverless yang otomatis menaikkan dan menurunkan skala

  • Antarmuka tunggal untuk visibilitas end-to-end dan pemantauan pipeline replikasi

Solusi yang dapat disesuaikan untuk mereplikasi perubahan dalam sumber data

Manfaat utama

  • Solusi yang dapat disesuaikan dengan fleksibilitas tambahan

  • Template bawaan yang didukung oleh Google untuk berbagai tujuan

  • Integrasi fitur tambahan, seperti kualitas data dan data masking

Wizard bebas kode yang merupakan bagian dari layanan ETL yang terkelola sepenuhnya

Manfaat utama

  • Antarmuka sederhana untuk developer ETL dan analis data

  • Identifikasi potensi masalah dan kesenjangan dalam replikasi terlebih dahulu

  • Insight mendekati real-time tentang performa replikasi

Anda juga dapat mengalirkan data dari database operasional ke BigQuery dengan solusi ETL/ELT partner, Kafka, atau tugas batch. Dibandingkan dengan opsi tersebut, Datastream biasanya memiliki keunggulan arsitektur tanpa server, kemudahan integrasi, dan latensi rendah.

Harga

Harga Datastream

Harga datastream didasarkan pada data aktual yang diproses. Harga bertingkat berbasis volume tersedia, sehingga menjadikannya lebih terjangkau jika Anda memindahkan data dalam volume yang lebih besar. Detail harga tambahan tersedia di halaman harga Datastream.

Resource tambahan seperti BigQuery, Cloud Storage, dan Dataflow ditagih berdasarkan harga layanan tersebut.

Langkah selanjutnya

Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Konsol
Google Cloud