查看 Application Integration 支援的連接器

Apache Kafka 觸發條件

Apache Kafka 觸發事件是一種連接器事件觸發事件,可讓您根據在 Apache Kafka 連線中訂閱的 Apache Kafka 事件,叫用整合作業。

事前準備

如果您打算為 Apache Kafka 觸發事件建立或設定新的連線,請務必在專案中具備下列 Identity and Access Management (IAM) 角色:

  • 連接器管理員 (roles/connectors.admin)
  • 如要進一步瞭解如何授予角色,請參閱「管理存取權」。

將下列 IAM 角色授予要用於 Apache Kafka 觸發事件的服務帳戶:

  • Application Integration 叫用者 (roles/integrations.integrationInvoker)
  • 如要瞭解如何將角色授予服務帳戶,請參閱「管理服務帳戶的存取權」。

限制

Apache Kafka 觸發條件有下列限制:

  • 支援事件訂閱的 SASL_SSL 安全性通訊協定。
  • 不支援事件訂閱的 mTLS

新增 Apache Kafka 觸發條件

如要將 Apache Kafka 觸發條件新增至整合,請執行下列步驟:

  1. 前往 Google Cloud 控制台的「Application Integration」頁面。

    前往「應用程式整合」

  2. 在導覽選單中,按一下「整合」

    系統隨即會顯示「Integrations List」頁面,列出 Google Cloud 專案中可用的所有整合項目。

  3. 選取現有的整合,或按一下「建立整合」來建立新的整合。

    如果您要建立新的整合功能:

    1. 在「Create Integration」窗格中輸入名稱和說明。
    2. 選取整合作業的區域。
    3. 選取要用於整合的服務帳戶。您隨時可以透過整合工具列的 「整合摘要」窗格,變更或更新整合作業的服務帳戶詳細資料。
    4. 按一下 [建立]。

    新建立的整合服務會在整合服務編輯器中開啟。

  4. 整合服務編輯器的導覽列中,按一下「觸發條件」,即可查看可用的觸發條件清單。
  5. 在整合服務編輯器中,按一下並放置 Apache Kafka 觸發條件元素。
  6. 如要設定 Apache Kafka 觸發事件,您可以使用 Integration Connectors 提供的現有 Apache Kafka 連線,也可以使用內嵌連線建立選項建立新的 Apache Kafka 連線。

使用現有連線設定 Apache Kafka 觸發事件

您可以使用整合連接器中的現有 Apache Kafka 連線,設定 Apache Kafka 觸發事件。請注意,Apache Kafka 觸發事件連接器事件觸發事件,因此您只能使用已啟用事件訂閱的 Apache Kafka 連線來設定觸發事件。

如要瞭解如何使用新的 Apache Kafka 連線設定 Apache Kafka 觸發事件,請參閱「使用新的連線設定 Apache Kafka 觸發事件

如要使用現有的 Apache Kafka 連線設定 Apache Kafka 觸發事件,請執行下列步驟:

  1. 按一下整合服務編輯器中的「Apache Kafka trigger」元素,開啟觸發條件設定窗格。
  2. 按一下「設定觸發條件」
  3. 在「連接器事件觸發條件編輯器」頁面中提供下列設定詳細資料:
    1. 區域:選取 Apache Kafka 連線的區域。
    2. 連線:選取要使用的 Apache Kafka 連線。

      應用程式整合功能只會顯示已啟用事件訂閱功能的 Apache Kafka 連線。

    3. 主題名稱:輸入主題名稱。
    4. 消費者群組 ID:您可以選擇輸入消費者群組 ID,指定 Kafka 消費者所屬的消費者群組名稱。
    5. 分區:如要訂閱特定分區,請輸入分區。分區是將主題分割成多個部分,並將每個部分儲存在叢集中的不同節點上。
    6. 初始偏移量:選取偏移值重設策略
      • 如果您選取「最早」,連線會消耗未消耗的訊息,包括在消費者群組生命週期前產生的任何訊息。
      • 如果您選取「最新」,連線會使用消費者群組建立後產生的訊息。
    7. 服務帳戶:選取具有 Apache Kafka 觸發程序必要 IAM 角色的服務帳戶。
  4. 按一下 [完成]

使用新連線設定 Apache Kafka 觸發條件

如要使用新的 Apache Kafka 連線設定 Apache Kafka 觸發事件,請執行下列步驟:

  1. 按一下整合服務編輯器中的「Apache Kafka trigger」元素,開啟觸發條件設定窗格。
  2. 按一下「設定 Apache Kafka 觸發條件」
  3. 略過「區域」欄位。
  4. 按一下「連線」,然後從清單中選取「建立連線」選項。隨即會顯示「Create Connection」窗格。
  5. 在「位置」步驟中,選擇新 Apache Kafka 連線的位置:
    1. 區域:從清單中選取區域。
    2. 點按「Next」
  6. 在「連線詳細資料」步驟中,提供新 Apache Kafka 連線的詳細資料:
    1. 連接器版本:從清單中選擇可用的 Apache Kafka 連接器版本。
    2. 連線名稱:輸入 Apache Kafka 連線的名稱。
    3. (選用) 說明: 輸入連線的說明。
    4. (選用) 啟用 Cloud Logging:勾選這個核取方塊,即可儲存連線的所有記錄資料。
    5. 服務帳戶:選取具有 Apache Kafka 連線必要 IAM 角色的服務帳戶。
    6. 根據預設,Apache Kafka 連線會選取「啟用事件訂閱、實體和動作」選項。
    7. 類型偵測配置: 選取 MessageOnly
    8. Registry Service:用於處理主題結構定義的 Schema Registry 服務。
    9. 註冊類型:為特定主題指定的結構定義類型。
    10. 註冊版本:針對指定主題,從 RegistryUrl 讀取的結構定義版本。
    11. 註冊使用者:使用者名稱或存取金鑰值,用於授權 RegistryUrl 中指定的伺服器。
    12. 登錄密碼:Secret Manager 密鑰,內含密碼/密鑰值,可與 RegistryUrl 中指定的伺服器進行授權。
    13. 視需要設定連線節點設定

      • 節點數量下限:輸入連線節點數量下限。
      • 節點數量上限:輸入連線節點數量上限。

      節點是用來處理交易的連線單位 (或備用資源)。處理的交易量越多,就需要越多節點;反之,處理的交易量越少,就需要越少節點。如要瞭解節點對連接器定價的影響,請參閱「 連線節點的定價」。如果您未輸入任何值,系統預設會將最小節點設為 2 (以提高可用性),並將最大節點設為 50。

    14. 您可以按一下「+ 新增標籤」,以鍵/值組合的形式為連線新增標籤。
    15. 啟用安全資料傳輸層:這個欄位可設定是否啟用 SSL。
    16. 點按「Next」
  7. 在「Destinations」部分,輸入要連線的 Kafka 啟動輔助伺服器詳細資料。
    1. 目的地類型:選取目的地類型
      • 從清單中選取「主機位址」,指定目的地的主機名稱或 IP 位址。
      • 如果您想建立與後端系統的私人連線,請從清單中選取「Endpoint attachment」,然後從「Endpoint Attachment」清單中選取所需的端點附件。

      如果您想建立與後端系統的公開連線,並提供額外安全性,建議您為連線設定靜態外連 IP 位址,然後設定防火牆規則,只允許特定靜態 IP 位址進入白名單。

      如要指定其他 Kafka 啟動伺服器,請按一下「+ 新增目的地」

    2. 點按「Next」
  8. 在「Authentication」部分中,輸入驗證詳細資料。
    1. 選取「驗證類型」並輸入相關詳細資料。

      Apache Kafka 連線支援下列驗證類型:

      • 使用者名稱和密碼
        • 使用者名稱:要用於連線的 Apache Kafka 使用者名稱。
        • 密碼:Secret Manager 密鑰,內含與 Apache Kafka 使用者名稱相關聯的密碼。
        • 驗證配置:用於驗證的配置。

          Apache Kafka 連線支援下列驗證機制:

          • Plain
          • SCRAM-SHA-1
          • SCRAM-SHA-256
      • 無法使用

        如果您想使用匿名登入功能,請選取「不適用」

    2. 點按「Next」
  9. 輸入死信設定。如果您設定無效信件,連線會將未處理的事件寫入指定的 Pub/Sub 主題。輸入下列詳細資料:
    1. 死信專案 ID: 您設定死信 Pub/Sub 主題的 Google Cloud 專案 ID。
    2. 無效信件主題: 您要寫入未處理事件詳細資料的 Pub/Sub 主題。
  10. 點按「Next」
  11. 查看:查看連線和驗證詳細資料。
  12. 按一下 [建立]。

觸發輸出

Apache Kafka 觸發事件需要幾分鐘的時間才能完成事件訂閱設定。您可以在觸發事件設定窗格中的「事件訂閱詳細資料」下方,查看事件訂閱的狀態。

Apache Kafka 觸發事件會使用下列狀態來表示事件訂閱狀態:

  • Creating:表示觸發事件正在訂閱事件訂閱項目。
  • Active:表示觸發事件已成功訂閱事件訂閱項目。
  • Error:表示已設定的事件訂閱項目發生問題。

除了事件訂閱狀態之外,「事件訂閱詳細資料」部分還會顯示其他詳細資料,例如連線區域、連線名稱和事件訂閱名稱。

觸發輸出變數

對於每個事件,Apache Kafka 觸發事件都會產生 ConnectorEventPayload 輸出變數 (以 JSON 格式表示),可用於後續工作。輸出變數將包含 Apache Kafka 事件的酬載。例如:

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

查看事件訂閱項目

如要在 Integration Connectors 中查看及管理與連線相關聯的所有事件訂閱,請按照下列步驟操作:

  1. 前往「Integration Connectors」>「Connections」頁面。

    前往「連線」頁面

  2. 按一下要查看訂閱項目的連線。
  3. 按一下「事件訂閱」分頁標籤。

    這會顯示連線的所有事件訂閱項目。

編輯 Apache Kafka 觸發條件

您可以編輯 Apache Kafka 觸發事件,變更或更新連線設定和事件訂閱詳細資料。

如要編輯 Apache Kafka 觸發條件,請執行下列步驟:

  1. 按一下整合服務編輯器中的「Apache Kafka trigger」元素,開啟觸發條件設定窗格。
  2. 按一下「設定 Apache Kafka 觸發條件」
  3. 在「Connector Event Trigger Editor」頁面中執行下列操作:
    1. 如要保留先前設定的事件訂閱項目,請按一下「保留」,否則請按一下「刪除」
    2. 視需要更新連線設定和事件訂閱詳細資料。
    3. 按一下 [完成]
  4. 您可以在「事件訂閱詳細資料」下方的觸發事件設定窗格中,查看更新後的連線和事件訂閱詳細資料。

配額與限制

如要進一步瞭解配額和限制,請參閱「配額與限制」。

後續步驟