Desencadenador de Apache Kafka

El disparador de Apache Kafka es un disparador de eventos de conector que le permite invocar una integración basada en los eventos de Apache Kafka a los que se ha suscrito en su conexión de Apache Kafka.

Antes de empezar

Si planea crear o configurar una nueva conexión para el disparador de Apache Kafka , asegúrese de tener el siguiente rol de Administración de identidad y acceso (IAM) en el proyecto:

Administrador del conector ( roles/connectors.admin )

Para obtener información sobre cómo otorgar roles, consulte Administrar acceso .

Otorgue los siguientes roles de IAM a la cuenta de servicio que desea utilizar para el activador de Apache Kafka :

Invocador de integración de aplicaciones ( roles/integrations.integrationInvoker )

Para obtener información sobre cómo otorgar roles a una cuenta de servicio, consulte Administrar el acceso a cuentas de servicio .

Limitación

El activador de Apache Kafka está sujeto a las siguientes limitaciones:

Admite el protocolo de seguridad SASL_SSL para suscripciones a eventos.
No es compatible con mTLS para suscripciones a eventos.

Agregar el disparador de Apache Kafka

Para agregar un activador de Apache Kafka a su integración, realice los siguientes pasos:

En el Google Cloud consola, vaya a la página Integración de aplicaciones .
Ir a Integración de aplicaciones
En el menú de navegación, haga clic en Integraciones
Aparece la página Lista de integraciones que enumera todas las integraciones disponibles en el proyecto de Google Cloud.
Seleccione una integración existente o haga clic en Crear integración para crear una nueva.
Si está creando una nueva integración:
1. Introduzca un nombre y una descripción en el panel Crear integración .
2. Seleccione una región para la integración.
  Nota: El menú desplegable Regiones solo muestra las regiones aprovisionadas en tu proyecto de Google Cloud. Para aprovisionar una nueva región, haz clic en "Habilitar región" . Consulta "Habilitar nueva región" para obtener más información.
3. Seleccione una cuenta de servicio para la integración. Puede cambiar o actualizar los detalles de la cuenta de servicio de una integración en cualquier momento desde el panel Resumen de la integración" en la barra de herramientas de integración.
  Nota: La opción para seleccionar una cuenta de servicio solo se muestra si ha habilitado la gobernanza de integración para la región seleccionada.
4. Haga clic en Crear .
La integración recién creada se abre en el editor de integraciones .
En la barra de navegación del editor de integración , haga clic en Desencadenadores para ver la lista de desencadenadores disponibles.
Haga clic y coloque el elemento activador de Apache Kafka en el editor de integración.

Para configurar el disparador de Apache Kafka , puede utilizar una conexión de Apache Kafka existente disponible en Conectores de integración o crear una nueva conexión de Apache Kafka utilizando la opción de creación de conexión en línea.

Configurar el disparador de Apache Kafka usando una conexión existente

Puede configurar el disparador de Apache Kafka usando una conexión de Apache Kafka existente en Conectores de Integración. Tenga en cuenta que el disparador de Apache Kafka es un disparador de eventos del conector ; por lo tanto, solo puede usar una conexión de Apache Kafka con la suscripción a eventos habilitada para configurarlo.

Para obtener información sobre cómo configurar un activador de Apache Kafka mediante una nueva conexión de Apache Kafka, consulte Configurar un activador de Apache Kafka mediante una nueva conexión.

Para configurar un activador de Apache Kafka utilizando una conexión de Apache Kafka existente, realice los siguientes pasos:

Haga clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haga clic en Configurar disparador .
Proporcione los siguientes detalles de configuración en la página Editor de activadores de eventos del conector :
1. Región: seleccione la región de su conexión Apache Kafka.
2. Conexión: seleccione la conexión Apache Kafka que desee utilizar.
  La integración de aplicaciones solo muestra aquellas conexiones Apache Kafka que están activas y tienen una suscripción a eventos habilitada.
3. Nombre del tema : Ingrese el nombre del tema.
4. ID del grupo de consumidores : opcionalmente, ingrese el ID del grupo de consumidores que especifica el nombre del grupo de consumidores al que pertenece el consumidor de Kafka.
5. Partición : Introduzca la partición si desea suscribirse a una partición específica. Las particiones permiten dividir un tema en varias partes y almacenar cada una en un nodo diferente del clúster.
6. Desplazamiento inicial : seleccione la estrategia de restablecimiento del desplazamiento :
  - Si selecciona más temprano , su conexión consumirá los mensajes no consumidos, incluidos todos los mensajes producidos antes de la duración del grupo de consumidores.
  - Si selecciona más reciente , su conexión consumirá los mensajes que se producen después de que se crea el grupo de consumidores.
7. Cuenta de servicio : seleccione una cuenta de servicio con los roles de IAM necesarios para el activador de Apache Kafka.
Haga clic en Listo .

Configurar el disparador de Apache Kafka usando una nueva conexión

Para configurar el activador de Apache Kafka mediante una nueva conexión de Apache Kafka, realice los siguientes pasos:

Haga clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haga clic en Configurar el disparador de Apache Kafka .
Omitir el campo Región .
Haga clic en Conexión y seleccione la opción Crear conexión de la lista. Aparecerá el panel "Crear conexión" .
En el paso Ubicación , elija la ubicación para la nueva conexión de Apache Kafka:
1. Región: seleccione una región de la lista.
2. Haga clic en Siguiente .
En el paso Detalles de conexión , proporcione detalles sobre la nueva conexión de Apache Kafka:
1. Versión del conector: elija una versión disponible del conector Apache Kafka de la lista.
2. Nombre de la conexión: ingrese un nombre para la conexión Apache Kafka.
  Nota: Los nombres de conexión deben cumplir los siguientes criterios:
  - Los nombres de conexión pueden usar letras, números o guiones.
  - Las letras deben estar minúsculas.
  - Los nombres de conexión deben comenzar con una letra y terminar con una letra o número.
  - Los nombres de conexión no pueden exceder los 49 caracteres.
  - Para los conectores que admiten suscripción a eventos , los nombres de conexión no pueden comenzar con el prefijo "goog".
3. (Opcional) Descripción: Ingrese una descripción para la conexión.
4. (Opcional) Habilitar registro en la nube: seleccione esta casilla de verificación para almacenar todos los datos de registro de la conexión.
5. Cuenta de servicio : seleccione una cuenta de servicio con los roles de IAM necesarios para la conexión de Apache Kafka.
6. La opción Habilitar suscripción a eventos, entidades y acciones está seleccionada de forma predeterminada para la conexión Apache Kafka.
  Nota: Este conector no admite la opción Enable only event subscription .
7. Esquema de detección de tipo: seleccionar MessageOnly .
8. Servicio de registro : el servicio de registro de esquemas que se utiliza para trabajar con esquemas de temas.
9. Tipo de registro : tipo de esquema especificado para un tema específico.
10. Versión del registro : versión del esquema leído desde RegistryUrl para el tema especificado.
11. Usuario de registro : valor de nombre de usuario o clave de acceso para autorizar con el servidor especificado en RegistryUrl .
12. Contraseña de registro : Secreto del administrador que contiene el valor de la contraseña/clave secreta para autorizar con el servidor especificado en RegistryUrl .
13. Opcionalmente, configure los ajustes del nodo de Conexión :
  - Número mínimo de nodos : ingrese el número mínimo de nodos de conexión.
  - Número máximo de nodos : ingrese el número máximo de nodos de conexión.
  Un nodo es una unidad (o réplica) de una conexión que procesa transacciones. Se requieren más nodos para procesar más transacciones en una conexión y, a la inversa, se requieren menos nodos para procesar menos transacciones. Para comprender cómo los nodos afectan el precio de su conector, consulte Precios de los nodos de conexión . Si no introduce ningún valor, el número mínimo de nodos se establece en 2 (para una mejor disponibilidad) y el número máximo en 50.
14. Opcionalmente, haga clic en + AGREGAR ETIQUETA para agregar una etiqueta a la conexión en forma de un par de clave y valor.
15. Habilitar SSL : este campo establece si SSL está habilitado.
16. Haga clic en Siguiente .
En la sección Destinos , ingrese los detalles del servidor de arranque de Kafka al que desea conectarse.
1. Tipo de destino : seleccione un tipo de destino .
  - Seleccione Dirección de host de la lista para especificar el nombre de host o la dirección IP del destino.
  - Si desea establecer una conexión privada con sus sistemas backend, seleccione Adjunto de punto final de la lista y, luego, seleccione el adjunto de punto final requerido de la lista Adjunto de punto final .
    Nota: Para saber cómo crear un archivo adjunto de punto final, consulte Archivo adjunto de servicio PSC y archivo adjunto de punto final . Una vez creado el archivo adjunto de punto final, este aparecerá en la lista de Archivos adjuntos de punto final .
  Si desea establecer una conexión pública a sus sistemas backend con seguridad adicional, puede considerar configurar direcciones IP salientes estáticas para sus conexiones y luego configurar sus reglas de firewall para incluir en la lista de permitidos solo las direcciones IP estáticas específicas.
  Para especificar servidores de arranque de Kafka adicionales, haga clic en + AGREGAR DESTINO .
2. Haga clic en Siguiente .
En la sección Autenticación , ingrese los detalles de autenticación.
1. Seleccione un tipo de autenticación e ingrese los detalles relevantes.
  La conexión Apache Kafka admite los siguientes tipos de autenticación:
  - Nombre de usuario y contraseña
    - Nombre de usuario : el nombre de usuario de Apache Kafka que se utilizará para la conexión.
    - Contraseña : Secreto del administrador Secreto que contiene la contraseña asociada con el nombre de usuario de Apache Kafka.
    - Esquema de autenticación : el esquema utilizado para la autenticación.
      La conexión Apache Kafka admite los siguientes esquemas de autenticación:
      - Plano
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - No disponible
    Si desea utilizar el inicio de sesión anónimo, seleccione No disponible .
2. Haga clic en Siguiente .
Introduzca la configuración de mensajes fallidos. Si configura la configuración de mensajes fallidos, la conexión escribe los eventos no procesados en el tema de Pub/Sub especificado. Introduzca la siguiente información:
1. ID de proyecto de letra muerta: el ID de proyecto de Google Cloud donde ha configurado el tema de Pub/Sub de letra muerta.
2. Tema de letra muerta: el tema de Pub/Sub donde desea escribir los detalles del evento no procesado.
Haga clic en Siguiente .
Revisar : Revise su conexión y detalles de autenticación.
Haga clic en Crear .

Salida del disparador

El disparador de Apache Kafka tarda un par de minutos en completar la configuración de la suscripción a eventos. Puede ver el estado de su suscripción a eventos en el panel de configuración del disparador, en "Detalles de la suscripción a eventos" .

El disparador de Apache Kafka indica el estado de una suscripción a eventos mediante los siguientes estados:

Creating : Indica que el disparador se está suscribiendo a la suscripción de eventos.
Active : indica que el disparador se suscribió correctamente a una suscripción de evento.
Error : Indica que hay un problema con la suscripción al evento configurada.

Además del estado de suscripción al evento, la sección Detalles de suscripción al evento también muestra otros detalles como la región de conexión, el nombre de la conexión y el nombre de la suscripción al evento.

Variable de salida del disparador

Para cada evento, el disparador de Apache Kafka genera una variable de salida ConnectorEventPayload (en formato JSON) que puede usar en sus tareas posteriores. Esta variable de salida contendrá la carga útil de su evento de Apache Kafka. Por ejemplo:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

Ver suscripciones a eventos

Para ver y administrar todas las suscripciones a eventos asociadas con una conexión en Conectores de integración, haga lo siguiente:

Vaya a la página Conectores de integración > Conexiones .
Ir a la página de Conexiones
Haga clic en la conexión cuyas suscripciones desea ver.
Haga clic en la pestaña Suscripciones a eventos .
Aquí se muestran todas las suscripciones a eventos para la conexión.

Editar el disparador de Apache Kafka

Puede editar un activador de Apache Kafka para cambiar o actualizar la configuración de la conexión y los detalles de suscripción a eventos.

Para editar un activador de Apache Kafka, realice los siguientes pasos:

Haga clic en el elemento activador de Apache Kafka en el editor de integración para abrir el panel de configuración del activador.
Haga clic en Configurar el disparador de Apache Kafka .
Haga lo siguiente en la página Editor de activadores de eventos del conector :
1. Para conservar la suscripción al evento configurada previamente, haga clic en Conservar ; de lo contrario, haga clic en Eliminar .
  Advertencia: Eliminar una suscripción a un evento afectará a todas las integraciones publicadas que la utilicen. Esta acción no se puede deshacer.
2. Actualice la configuración de la conexión y los detalles de suscripción a eventos según lo desee.
3. Haga clic en Listo .

Puede ver los detalles actualizados de la conexión y la suscripción a eventos en el panel de configuración del disparador en Detalles de suscripción a eventos .

Cuotas y límites

Para obtener información sobre cuotas y límites, consulte Cuotas y límites .

¿Qué sigue?

Obtenga más información sobre todas las tareas y desencadenantes .
Aprenda a probar y publicar una integración .
Obtenga información sobre el manejo de errores .
Obtenga información sobre los registros de ejecución de integración .