Activador de Apache Kafka

El activador de Apache Kafka es un activador de evento de conector que te permite invocar una integración basada en los eventos de Apache Kafka a los que te suscribiste en tu conexión de Apache Kafka.

Antes de comenzar

Si planeas crear o configurar una conexión nueva para el activador de Apache Kafka, asegúrate de tener el siguiente rol de Identity and Access Management (IAM) en el proyecto:

Administrador de conectores (roles/connectors.admin)

Para obtener información sobre cómo otorgar roles, consulta Administra el acceso.

Otorga los siguientes roles de IAM a la cuenta de servicio que deseas usar para el activador de Apache Kafka:

Invocador de Application Integration (roles/integrations.integrationInvoker)

Para obtener información sobre cómo otorgar roles a una cuenta de servicio, consulta Administra el acceso a las cuentas de servicio.

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

Admite el protocolo de seguridad SASL_SSL para suscripciones a eventos.
No es compatible con mTLS para suscripciones a eventos.

Agrega el activador de Apache Kafka

Para agregar un activador de Apache Kafka a tu integración, sigue estos pasos:

En la consola de Google Cloud, ve a la página Application Integration.
Ir a Application Integration
En el menú de navegación, haz clic en Integraciones.
Aparecerá la página Integrations List (Lista de integraciones) y aparecerá una lista de todas las integraciones disponibles en el proyecto de Google Cloud.
Selecciona una integración existente o haz clic en Crear integración para crear una nueva.
Si creas una integración nueva, haz lo siguiente:
1. Ingresa un nombre y una descripción en el panel Create Integration.
2. Selecciona una región para la integración.
  Nota: En el menú desplegable Regiones, solo se enumeran las regiones aprovisionadas en el proyecto de Google Cloud. Para aprovisionar una región nueva, haz clic en Habilitar región. Consulta Habilita una región nueva para obtener más información.
3. Selecciona una cuenta de servicio para la integración. Puedes cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Resumen de la integración en la barra de herramientas de integración.
  Nota: La opción de seleccionar una cuenta de servicio solo se muestra si habilitaste la administración de integraciones para la región seleccionada.
4. Haz clic en Crear.
Esto abrirá la integración en la página del editor de integración.
En la barra de navegación del editor de integración, haz clic en Activadores para ver la lista de activadores disponibles.
Haz clic y coloca el elemento Activador de Apache Kafka en el editor de integración.

Para configurar el activador de Apache Kafka, puedes usar una conexión de Apache Kafka existente disponible en Integration Connectors o crear una conexión nueva con la opción de creación de conexión intercalada.

Configura el activador de Apache Kafka con una conexión existente

Puedes configurar el activador de Apache Kafka mediante una conexión existente de Apache Kafka en Integration Connectors. Ten en cuenta que el activador de Apache Kafka es un activador de evento de conector, por lo que solo puedes usar una conexión de Apache Kafka con suscripción al evento habilitada para configurar el activador.

Si quieres obtener información para configurar un activador de Apache Kafka con una conexión de Apache Kafka nueva, consulta Configura un activador de Apache Kafka con una conexión nueva.

Para configurar un activador de Apache Kafka con una conexión de Apache Kafka existente, sigue estos pasos:

Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haz clic en Configurar activador.
Proporciona los siguientes detalles de configuración en la página Editor del activador de eventos del conector:
1. Región: Selecciona la región de la conexión de Apache Kafka.
2. Conexión: Selecciona la conexión de Apache Kafka que deseas usar.
  Application Integration solo muestra las conexiones de Apache Kafka que están activas y tienen una suscripción a eventos habilitada.
3. Nombre del tema: Ingresa el nombre del tema.
4. ID del grupo de consumidores: De manera opcional, ingresa el ID del grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
5. Partición: Ingresa la partición si quieres suscribirte a una partición en particular. Las particiones son una forma de dividir un tema en varias partes y almacenar cada parte en un nodo diferente del clúster.
6. Desfase inicial: Selecciona la estrategia de restablecimiento del desplazamiento:
  - Si seleccionas Más temprano, la conexión consumirá mensajes no consumidos, incluidos los mensajes producidos antes de la vida útil del grupo de consumidores.
  - Si seleccionas latest, tu conexión consumirá los mensajes que se producen después de la creación del grupo de consumidores.
7. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para el activador de Apache Kafka.
Haz clic en Listo.

Configura el activador de Apache Kafka con una conexión nueva

Para configurar el activador de Apache Kafka con una conexión de Apache Kafka nueva, sigue estos pasos:

Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haz clic en Configurar activador de Apache Kafka.
Omite el campo Región.
Haz clic en Conexión y selecciona la opción Crear conexión de la lista. Aparecerá el panel Crear conexión.
En el paso Ubicación, elige la ubicación para la nueva conexión de Apache Kafka:
1. Region: Selecciona una región de la lista.
2. Haz clic en Siguiente.
En el paso Detalles de la conexión, proporciona detalles sobre la nueva conexión de Apache Kafka:
1. Versión del conector: Elige una versión disponible del conector de Apache Kafka de la lista.
2. Connection Name: Ingresa un nombre para la conexión de Apache Kafka.
  Nota: Los nombres de las conexiones deben cumplir con los siguientes criterios:
  - Los nombres de las conexiones pueden usar letras, números o guiones.
  - Las letras deben estar en minúsculas.
  - Los nombres de las conexiones deben comenzar con una letra y terminar con una letra o un número.
  - Los nombres de las conexiones no pueden superar los 63 caracteres.
3. Descripción (opcional): Ingresa una descripción para la conexión.
4. (Opcional) Habilitar Cloud Logging: Selecciona esta casilla de verificación para almacenar todos los datos de registro de la conexión.
5. Cuenta de servicio: Selecciona una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
6. La opción Habilitar la suscripción al evento, la entidad y las acciones está seleccionada de forma predeterminada para la conexión de Apache Kafka.
  Nota: Este conector no admite la opción Enable only event subscription.
7. Type Detection Scheme: Selecciona MessageOnly.
8. Servicio de registro: El servicio de Registro de esquemas que se usa para trabajar con esquemas de temas.
9. Registry Type: Es el tipo de esquema especificado para un tema específico.
10. Versión del registro: Es la versión del esquema que se lee desde RegistryUrl para el tema especificado.
11. Usuario del registro: Es el valor de nombre de usuario o clave de acceso que se autorizará con el servidor especificado en RegistryUrl.
12. Contraseña del registro: Secreto de Secret Manager que contiene el valor de la clave o la contraseña que se autorizará con el servidor especificado en RegistryUrl.
13. De manera opcional, configura los parámetros de nodo de conexión:
  - Cantidad mínima de nodos: Ingresa la cantidad mínima de nodos de conexión.
  - Cantidad máxima de nodos: Ingresa la cantidad máxima de nodos de conexión.
  Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones para una conexión y, del mismo modo, se requieren menos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio del conector, consulta Precios de nodos de conexión. Si no ingresas ningún valor, se establecen de forma predeterminada los nodos mínimos en 2 (para una mejor disponibilidad) y los nodos máximos se establecen en 50.
14. De manera opcional, haz clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de par clave-valor.
15. Habilitar SSL: Este campo establece si SSL está habilitado.
16. Haz clic en Siguiente.
En la sección Destinos, ingresa los detalles del host remoto (sistema de backend) al que deseas conectarte.
1. Tipo de destino: Selecciona un Tipo de destino.
  1. En el campo Dirección de host, especifica el nombre de host o la dirección IP del destino.
    1. Si deseas establecer una conexión privada a tus sistemas de backend, sigue estos pasos:
      1. Crea un adjunto de servicio de PSC.
      2. Crea un adjunto de extremo y, luego, ingresa los detalles del adjunto del extremo en el campo Dirección del host.
    2. Si quieres establecer una conexión pública con tus sistemas de backend con seguridad adicional, puedes configurar direcciones IP salientes estáticas para tus conexiones y, luego, configurar las reglas de firewall para incluir solo las direcciones IP estáticas específicas en la lista de entidades permitidas.
  Para ingresar destinos adicionales, haz clic en +AGREGAR DESTINO.
2. Haz clic en Siguiente.
En la sección Autenticación, ingresa los detalles de autenticación.
1. Selecciona un Tipo de autenticación y, luego, ingresa los detalles relevantes.
  La conexión de Apache Kafka admite los siguientes tipos de autenticación:
  - Nombre de usuario y contraseña
    - Nombre de usuario: El nombre de usuario de Apache Kafka que se usará para la conexión.
    - Contraseña: El Secret de Secret Manager que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
    - Esquema de autenticación: Es el esquema utilizado para la autenticación.
      La conexión de Apache Kafka admite el siguiente esquema de autenticación:
      - Simple
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - No disponible
    Si deseas usar un acceso anónimo, selecciona No disponible.
2. Haz clic en Siguiente.
Ingresa la configuración de mensajes no entregados. Si configuras los mensajes no entregados, la conexión escribe los eventos no procesados en el tema de Pub/Sub especificado. Ingresa los siguientes detalles:
1. ID del proyecto de mensajes no entregados: Es el ID del proyecto de Google Cloud en el que configuraste el tema de mensajes no entregados de Pub/Sub.
2. Tema de mensajes no entregados: es el tema de Pub/Sub en el que deseas escribir los detalles del evento sin procesar.
Haz clic en Siguiente.
Revisa: Revisa tus detalles de conexión y autenticación.
Haz clic en Crear.

Resultado del activador

El activador de Apache Kafka tarda unos minutos en completar la configuración de la suscripción al evento. Puedes ver el estado de la suscripción al evento en el panel de configuración del activador, en Event Subscription details.

El activador de Apache Kafka indica el estado de la suscripción a un evento mediante los siguientes estados:

Creating: Indica que el activador se suscribe a la suscripción del evento.
Active: Indica que el activador se suscribió correctamente a una suscripción de evento.
Error: Indica que hay un problema con la suscripción al evento configurada.

Además del estado de suscripción al evento, en la sección Event Subscription details también se muestran otros detalles, como la región de la conexión y el nombre de la conexión y el nombre de la suscripción al evento.

Activa la variable de salida

Para cada evento, el activador de Apache Kafka genera una variable de salida ConnectorEventPayload (en formato JSON) que puedes usar en tus tareas descendentes. La variable de salida tendrá la carga útil de tu evento de Apache Kafka. Por ejemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver suscripciones a eventos

Para ver y administrar todas las suscripciones a eventos asociadas con una conexión en Integration Connectors, haz lo siguiente:

Ve a la página Integration Connectors > Connections.
Ir a la página Conexiones
Haz clic en la conexión para la que deseas ver las suscripciones.
Haz clic en la pestaña Suscripciones a eventos.
Se mostrarán todas las suscripciones a eventos de la conexión.

Editar activador de Apache Kafka

Puedes editar un activador de Apache Kafka para cambiar o actualizar la configuración de la conexión y los detalles de la suscripción al evento.

Para editar un activador de Apache Kafka, sigue estos pasos:

Haz clic en el elemento Activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haz clic en Configurar activador de Apache Kafka.
Haz lo siguiente en la página Editor del activador de evento del conector:
1. Para conservar la suscripción a eventos configurada previamente, haz clic en Retención; de lo contrario, haz clic en Borrar.
  Advertencia: Si borras una suscripción a un evento, se verán afectadas todas las integraciones publicadas que usan la suscripción al evento. No se puede deshacer esta tarea.
2. Actualiza la configuración de la conexión y los detalles de la suscripción al evento como desees.
3. Haz clic en Listo.

Puedes ver los detalles actualizados de la conexión y suscripción al evento en el panel de configuración del activador, en Event Subscription details.