Panoramica dell'ottenimento di inferenze su Vertex AI

Un'inferenza è l'output di un modello di machine learning addestrato. Questa pagina fornisce una panoramica del flusso di lavoro per ottenere inferenze dai modelli su Vertex AI.

Vertex AI offre due metodi per ottenere inferenze:

• Le inferenze online sono richieste sincrone effettuate a un modello di cui è stato eseguito il deployment in un Endpoint. Pertanto, prima di inviare una richiesta, devi prima eseguire il deployment della risorsa Model in un endpoint. In questo modo, le risorse di computing vengono associate al modello, in modo che possa pubblicare inferenze online con bassa latenza. Utilizza le inferenze online quando effettui richieste in risposta all'input dell'applicazione o in situazioni che richiedono un'inferenza tempestiva.
• Le inferenze batch sono richieste asincrone effettuate a un modello di cui non è stato eseguito il deployment in un endpoint. Invia la richiesta (come risorsa BatchPredictionJob) direttamente alla risorsa Model. Utilizza le inferenze batch quando non hai bisogno di una risposta immediata e vuoi elaborare i dati accumulati attraverso un'unica richiesta.

Ottenere inferenze da modelli addestrati personalizzati

Per ottenere inferenze, devi prima importare il modello. Una volta importato, diventa una risorsa Model visibile in Vertex AI Model Registry.

Poi, leggi la seguente documentazione per scoprire come ottenere le inferenze:

• Ottenere inferenze batch

  Oppure

• Esegui il deployment del modello nell'endpoint e ottieni inferenze online.

Ottenere inferenze dai modelli AutoML

A differenza dei modelli addestrati personalizzati, i modelli AutoML vengono importati automaticamente in Vertex AI Model Registry dopo l'addestramento.

A parte questo, il flusso di lavoro per i modelli AutoML è simile, ma varia leggermente in base al tipo di dati e all'obiettivo del modello. La documentazione per ottenere le inferenze AutoML si trova insieme all'altra documentazione di AutoML. Ecco i link alla documentazione:

Immagine

Scopri come ottenere inferenze dai seguenti tipi di modelli AutoML per immagini:

• Modelli di classificazione delle immagini
• Modelli di rilevamento di oggetti immagine

Tabulare

Scopri come ottenere inferenze dai seguenti tipi di modelli AutoML tabulari:

• Modelli di classificazione e regressione tabulare

  • Inferenze online
  • Inferenze batch

• Modelli di previsione tabulare (solo inferenze batch)

Video

Scopri come ottenere inferenze dai seguenti tipi di modelli AutoML video:

• Modelli di riconoscimento delle azioni video (solo inferenze batch)
• Modelli di classificazione video (solo inferenze batch)
• Modelli di monitoraggio degli oggetti video (solo inferenze batch)

Ottenere inferenze dai modelli BigQuery ML

Puoi ottenere inferenze dai modelli BigQuery ML in due modi:

• Richiedi inferenze batch direttamente dal modello in BigQuery ML.
• Registra i modelli direttamente in Model Registry, senza esportarli da BigQuery ML o importarli in Model Registry.