Ajusta automáticamente las cargas de trabajo de Spark

Optimizar una carga de trabajo de Spark para el rendimiento y la resiliencia puede ser un desafío debido a la cantidad de opciones de configuración de Spark y la dificultad de evaluar cómo esas opciones afectan una carga de trabajo. El ajuste automático de Dataproc Serverless proporciona una alternativa a la configuración manual de las cargas de trabajo mediante la aplicación automática de los parámetros de configuración de Spark a una carga de trabajo recurrente de Spark, según las prácticas recomendadas de optimización de Spark y un análisis de las ejecuciones de las cargas de trabajo.

Regístrate en el ajuste automático de Dataproc Serverless

Si quieres registrarte para acceder a la versión preliminar del ajuste automático de Dataproc Serverless que se describe en esta página, completa y envía el formulario de registro para Gemini in BigQuery Preview. Una vez que se apruebe el formulario, los proyectos enumerados en él tendrán acceso a funciones de vista previa.

Ventajas

El ajuste automático de Dataproc Serverless puede proporcionar los siguientes beneficios:

  • Rendimiento mejorado: Ajuste de optimización para aumentar el rendimiento.
  • Optimización más rápida: Configuración automática para evitar pruebas de configuración manual que requieren mucho tiempo
  • Mayor resiliencia: Asignación automática de memoria para evitar fallas relacionadas con esta.

Limitaciones

El ajuste automático de Dataproc Serverless tiene las siguientes limitaciones:

  • El ajuste automático se calcula y se aplica a la segunda ejecución y las siguientes de una carga de trabajo. La primera ejecución de una carga de trabajo recurrente no se ajusta de forma automática porque el ajuste automático de Dataproc Serverless usa el historial de cargas de trabajo para la optimización.
  • No se admite la reducción de memoria.
  • El ajuste automático no se aplica de forma retroactiva a las cargas de trabajo en ejecución, solo a las cohortes de cargas de trabajo enviadas recientemente.

Cohortes de ajuste automático

El ajuste automático se aplica a las ejecuciones recurrentes de una carga de trabajo por lotes, denominadas cohortes. El nombre de la cohorte que especificas cuando envías una carga de trabajo la identifica como una de las ejecuciones sucesivas de la carga de trabajo recurrente. Te recomendamos que uses nombres de cohorte que describan el tipo de carga de trabajo o que ayuden a identificar las ejecuciones de una carga de trabajo como parte de una carga de trabajo recurrente. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.

Situaciones de ajuste automático

Para aplicar el ajuste automático de Dataproc Serverless a tu carga de trabajo, selecciona una o más de las siguientes situaciones de ajuste automático:

  • MEMORY: Ajusta la asignación de memoria de Spark de forma automática para predecir y evitar posibles errores por falta de memoria de la carga de trabajo. Corrige una carga de trabajo con errores anteriores debido a un error de memoria insuficiente (OOM).
  • SCALING: Ajusta la configuración del ajuste de escala automático de Spark de forma automática.
  • BHJ: Ajusta la configuración de Spark de forma automática para optimizar el rendimiento de la unión de transmisión de SQL.

Precios

El ajuste automático de Dataproc Serverless se ofrece durante la vista previa sin cargos adicionales. Se aplican los precios estándar de Dataproc Serverless.

Disponibilidad regional

Puedes usar el ajuste automático de Dataproc Serverless con lotes que se envían a las regiones de Compute Engine disponibles.

Usar el ajuste automático de Dataproc Serverless

Puedes habilitar el ajuste automático sin servidores de Dataproc en una carga de trabajo con la consola de Google Cloud, Google Cloud CLI o la API de Dataproc.

Console

Para habilitar el ajuste automático de Dataproc Serverless en cada envío de una carga de trabajo por lotes recurrente, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Lotes de Dataproc.

    Ir a Lotes de Dataproc

  2. Para crear una carga de trabajo por lotes, haz clic en Crear.

  3. En la sección Contenedor, completa los siguientes campos para tu carga de trabajo de Spark:

    • Cohort: Es el nombre de la cohorte, que identifica el lote como una de las series de cargas de trabajo recurrentes. El ajuste automático se aplica a la segunda carga de trabajo y las posteriores que se envían con este nombre de cohorte. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.
    • Situaciones de ajuste automático: Una o más situaciones de ajuste automático que se usan para optimizar la carga de trabajo, por ejemplo, BHJ, MEMORY y SCALING. Puedes cambiar la selección de la situación con el envío de cada cohorte por lotes.

  4. Completa las otras secciones de la página Crear lote según sea necesario y, luego, haz clic en Enviar. Para obtener más información sobre estos campos, consulta Envía una carga de trabajo por lotes.

gcloud

Para habilitar el ajuste automático de Dataproc Serverless en cada envío de una carga de trabajo por lotes recurrente, ejecuta el siguiente comando gcloud dataproc batches submit de gcloud CLI de forma local en una ventana de terminal o en Cloud Shell.

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    --autotuning-scenarios=SCENARIOS \
    other arguments ...

Reemplaza lo siguiente:

  • COMMAND: Es el tipo de carga de trabajo de Spark, como Spark, PySpark, Spark-Sql o Spark-R.
  • REGION: Es la región en la que se ejecutará la carga de trabajo.
  • COHORT: Es el nombre de la cohorte, que identifica el lote como uno de una serie de cargas de trabajo recurrentes. El ajuste automático se aplica a la segunda carga de trabajo y las posteriores que se envían con este nombre de cohorte. Por ejemplo, especifica TPCH Query 1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.
  • SCENARIOS: Una o más situaciones de ajuste automático separadas por comas que se usan para optimizar la carga de trabajo, por ejemplo, --autotuning-scenarios=OOM,MEMORY,SCALING. Puedes cambiar la lista de situaciones con el envío de cada cohorte por lotes.

API

Para habilitar el ajuste automático de Dataproc Serverless en cada envío de una carga de trabajo por lotes recurrente, envía una solicitud batches.create que incluya los siguientes campos:

  • RuntimeConfig.cohort: Es el nombre de la cohorte, que identifica el lote como uno de una serie de cargas de trabajo recurrentes. El ajuste automático se aplica a la segunda carga de trabajo y las posteriores que se envíen con este nombre de cohorte. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.
  • AutotuningConfig.scenarios: Una o más situaciones de ajuste automático para optimizar la carga de trabajo, por ejemplo, BHJ, MEMORY y SCALING. Puedes cambiar la lista de situaciones con el envío de cada cohorte por lotes.

Ejemplo:

...
runtimeConfig:
  cohort: TPCH-Query1
  autotuningConfig:
    scenarios:
    - BHJ
    - MEMORY
    - SCALING
...

Ver los cambios del ajuste automático

Para ver los cambios de ajuste automático de Dataproc Serverless en una carga de trabajo por lotes, ejecuta el comando gcloud dataproc batches describe.

Ejemplo: El resultado de gcloud dataproc batches describe es similar al siguiente:

...
runtimeInfo:
   propertiesInfo:
    # Properties set by autotuning.
    autotuningProperties
      spark.driver.memory:
        annotation: Driver OOM was detected
        value: 11520m
      spark.driver.memoryOverhead:
        annotation: Driver OOM was detected
        value: 4608m
    # Old overwritten properties.
    userProperties
...

También puedes ver los cambios de ajuste automático más recientes que se aplicaron a una carga de trabajo en ejecución, completada o con errores en la página Detalles del lote de la consola de Google Cloud, en la pestaña Investigar.

Panel de investigación de ajuste automático.