Weiter zu
Dataproc

Dataproc

Dataproc ist ein vollständig verwalteter, äußerst skalierbarer Dienst für die Ausführung von Apache Hadoop, Apache Spark, Apache Flink, Presto und mehr als 30 Open-Source-Tools und Frameworks. Verwenden Sie Dataproc für Data-Lake-Modernisierung, ETL und sichere Data Science im globalen Maßstab, vollständig in Google Cloud eingebunden und zu einem Bruchteil der Kosten.

Vorteile

Open-Source-Datenverarbeitung modernisieren

Durch serverloses Deployment, Logging und Monitoring können Sie sich ganz auf Ihre Daten und Analysen statt auf die Infrastruktur konzentrieren. Reduzieren Sie die Gesamtbetriebskosten des Apache Spark-Managements um bis zu 54 %. Modelle 5-mal schneller erstellen und trainieren.

Intelligentes und nahtloses Open-Source-Softwarecode für Data Science

Ermöglichen Sie Data Scientists und Datenanalysten durch eine native Einbindung in BigQuery, Dataplex, Vertex AI und OSS-Notebooks wie JupyterLab nahtlose Data-Science-Jobs.

In Google Cloud integrierte Unternehmenssicherheit

Sicherheitsfeatures wie die standardmäßige Verschlüsselung ruhender Daten, OS Login, VPC Service Controls und vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK). Aktivieren Sie den sicheren Modus von Hadoop über Kerberos, indem Sie eine Sicherheitskonfiguration hinzufügen. 

Wichtige Features

Wichtige Features

Vollständig verwaltete und automatisierte Big-Data-Open-Source-Software

Durch serverloses Deployment, Logging und Monitoring können Sie sich ganz auf Ihre Daten und Analysen statt auf die Infrastruktur konzentrieren. Reduzieren Sie die Gesamtbetriebskosten des Apache Spark-Managements um bis zu 54 %. Dank der Einbindung in Vertex AI Workbench können Data Scientists und Entwicklerinnen Modelle im Vergleich zu herkömmlichen Notebooks fünfmal schneller erstellen und trainieren. Die Dataproc Jobs API vereinfacht die Einbindung großer Datenverarbeitung in benutzerdefinierte Anwendungen, während Dataproc Metastore keine eigene Hive-Metastore- oder Katalogdienste ausführen muss.

Apache Spark-Jobs mit Kubernetes containerisieren

Erstellen Sie Ihre Apache Spark-Jobs mit Dataproc in Kubernetes, sodass Sie Dataproc mit Google Kubernetes Engine (GKE) verwenden können, um Portabilität und Isolierung von Jobs zu ermöglichen.

In Google Cloud integrierte Unternehmenssicherheit

Beim Erstellen eines Dataproc-Clusters können Sie den sicheren Modus von Hadoop über Kerberos aktivieren, indem Sie eine Sicherheitskonfiguration hinzufügen. Zu den am häufigsten mit Dataproc verwendeten Sicherheitsfeatures von Google Cloud zählen darüber hinaus die Standardverschlüsselung von inaktiven Daten, OS Login, VPC Service Controls sowie vom Kunden verwaltete Verschlüsselungsschlüssel (Customer Managed Encryption Keys, CMEK).

Das Beste von Open Source mit den besten Funktionen von Google Cloud

Mit Dataproc können Sie die Open-Source-Tools, -Algorithmen und -Programmiersprachen, die Sie heute verwenden, auf einfache Weise auf Datasets in Cloud-Größenordnung anwenden. Gleichzeitig verfügt Dataproc über eine sofort einsatzbereite Einbindung in das restliche Google Cloud Analytics-, Datenbank- und KI-Ökosystem. Data Scientists und Data Engineers können schnell auf Daten zugreifen und Datenanwendungen erstellen, die Dataproc mit BigQuery, Vertex AI, Cloud Spanner, Pub/Sub oder Data Fusion verbinden. 

Alle Features ansehen

Dokumentation

Dokumentation

Google Cloud Basics

Serverloses Spark

Senden Sie Spark-Jobs, die automatisch bereitgestellt und automatisch skaliert werden. Weitere Informationen finden Sie unten über den Link zur Kurzanleitung. 
APIs & Libraries

Dataproc-Initialisierungsaktionen

Dataproc-Clustern durch vordefinierte Initialisierungsaktionen weitere OSS-Projekte hinzufügen.
APIs & Libraries

Open-Source-Connectors

Bibliotheken und Tools für die Apache Hadoop-Interoperabilität
APIs & Libraries

Dataproc-Workflowvorlagen

Die Dataproc WorkflowTemplates API bietet einen flexiblen und benutzerfreundlichen Mechanismus zum Verwalten und Ausführen von Workflows.

Suchen Sie nach etwas anderem?

Anwendungsfälle

Anwendungsfälle

Anwendungsfall
Hadoop- und Spark-Cluster in die Cloud verlagern

Unternehmen migrieren ihre bestehenden lokalen Apache Hadoop- und Spark-Cluster zu Dataproc, um die Kosten zu senken und von der elastischen Skalierbarkeit zu profitieren. Dataproc bietet Unternehmen vollständig verwaltete, zweckorientierte Cluster, die sich entsprechend dem zu verarbeitenden Daten- oder Analysevolumen automatisiert skalieren lassen. 

Alle Features

Alle Features

Serverloses Spark
Spark-Anwendungen und -Pipelines mit automatischer Skalierung ohne manuelle Infrastrukturbereitstellung oder -abstimmung bereitstellen. 
Skalierbare Cluster
Sie können Cluster mit diversen VM-Typen, Laufwerksgrößen, Knoten und Netzwerkoptionen schnell erstellen und skalieren.
Autoscaling-Cluster
Mit der Autoscaling-Funktion von Dataproc können Sie die Verwaltung von Clusterressourcen und das Hinzufügen und Entfernen von Cluster-Workern (Knoten) automatisieren.
Eingebunden in die Cloud
Durch die Einbindung in Cloud Storage, BigQuery, Dataplex, Vertex AI, Composer, Cloud Bigtable, Cloud Logging und Cloud Monitoring erhalten Sie eine vollständige und robuste Datenplattform.
Automatische oder manuelle Konfiguration
Dataproc konfiguriert die Hardware und Software automatisch. Sie können dies jedoch auch manuell steuern.
Entwicklertools
Es stehen Ihnen mehrere Möglichkeiten zum Verwalten eines Clusters offen, einschließlich nutzerfreundlicher Web-UI, Cloud SDK, RESTful APIs und SSH-Zugriff.
Initialisierungsaktionen
Führen Sie beim Erstellen des Clusters Initialisierungsaktionen aus, um die benötigten Einstellungen und Bibliotheken anzupassen.
Optionale Komponenten
Mit optionalen Komponenten können Sie zusätzliche Komponenten im Cluster installieren und konfigurieren. Optionale Komponenten sind in Dataproc-Komponenten eingebunden und bieten vollständig konfigurierte Umgebungen für Zeppelin, Presto und andere Open-Source-Softwarekomponenten im Zusammenhang mit der Apache Hadoop- und Apache Spark-Umgebung.
Benutzerdefinierte Container und Images
Das serverlose Spark von Dataproc kann mit benutzerdefinierten Docker-Containern bereitgestellt werden. Dataproc-Cluster können mit einem benutzerdefinierten Image bereitgestellt werden, das die vorinstallierten Pakete Ihres Linux-Betriebssystems enthält.
Flexible virtuelle Maschinen
Für Cluster können benutzerdefinierte Maschinentypen und VMs auf Abruf verwendet werden, sodass die Größe genau Ihren Anforderungen entspricht.
Workflowvorlagen
Mithilfe der Workflowvorlagen von Dataproc können Sie Workflows flexibel und nutzerfreundlich verwalten und ausführen. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen. 
Automatisierte Richtlinienverwaltung
Standardisieren Sie Sicherheits-, Kosten- und Infrastrukturrichtlinien für eine Clusterflotte. Sie können Richtlinien für die Ressourcenverwaltung, die Sicherheit oder das Netzwerk auf Projektebene erstellen. Außerdem können Sie Nutzern die Verwendung der richtigen Images, Komponenten, Metastores und anderer Peripheriedienste erleichtern, sodass Sie Ihre Clusterflotte und serverlose Spark-Richtlinien in Zukunft verwalten können. 
Intelligente Benachrichtigungen
Mit empfohlenen Benachrichtigungen von Dataproc können Kunden die Schwellenwerte für die vorkonfigurierten Benachrichtigungen anpassen, um Benachrichtigungen zu inaktiven, außer Kontrolle geratenen Clustern, Jobs und überlasteten Clustern und mehr zu erhalten. Kunden können diese Benachrichtigungen weiter anpassen und sogar erweiterte Cluster- und Jobverwaltungsfunktionen erstellen. Mit diesen Funktionen können Kunden ihre Flotte in großem Umfang verwalten.
Dataproc in Google Distributed Cloud (GDC)
Mit Dataproc auf GDC können Sie Spark auf der GDC Edge Appliance in Ihrem Rechenzentrum ausführen. Jetzt können Sie dieselben Spark-Anwendungen sowohl in Google Cloud als auch für sensible Daten in Ihrem Rechenzentrum verwenden.
Multiregionaler Dataproc Metastore
Dataproc Metastore ist ein vollständig verwalteter, hochverfügbarer Hive-Metastore (HMS) mit detaillierter Zugriffssteuerung. Der multiregionale Dataproc Metastore bietet Aktiv/Aktiv-DR und Ausfallsicherheit bei regionalen Ausfällen.

Preise

Preise

Die Preise für Dataproc richten sich nach der Anzahl der vCPUs sowie deren Ausführungsdauer. Die Preise sind auf Stundenbasis angegeben, aber die Abrechnung erfolgt sekundengenau. Sie zahlen also nur für das, was Sie tatsächlich in Anspruch nehmen.

Beispiel: Ein Cluster mit 6 Knoten (1 Hauptcluster und 5 Worker) von 4 CPUs, die jeweils 2 Stunden lang ausgeführt werden, kosten 0,48 $. Dataproc-Gebühren = Anzahl der vCPUs * Stunden * Dataproc-Preis = 24 * 2 * 0,01 $ = = 0,48 $

Weitere Informationen finden Sie in der Preisübersicht.

Partner

Partner

Dataproc ist mit wichtigen Partnerlösungen kompatibel und dient als Ergänzung Ihrer bestehenden Investitionen und Fertigkeiten.

Gleich loslegen

Profitieren Sie von einem Guthaben über 300 $, um Google Cloud und mehr als 20 „Immer kostenlos“-Produkte kennenzulernen.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Console
Google Cloud