Esegui lo streaming delle modifiche ai dati quasi in tempo reale con Datastream

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Enable the Datastream API.

    Enable the API

  7. Assicurati di aver assegnato il ruolo Amministratore Datastream al tuo account utente.

    Vai alla pagina IAM

  8. Se vuoi creare una configurazione di connettività privata per una rete VPC standard o condivisa, devi soddisfare ulteriori prerequisiti. Per ulteriori informazioni, consulta Creare una configurazione di connettività privata.

Requisiti

Datastream offre una varietà di opzioni di origine, destinazione e metodi di connettività di rete.

In questa guida rapida, presupponiamo che tu stia utilizzando un database Oracle autonomo e un servizio Cloud Storage di destinazione. Per il database di origine, dovresti essere in grado di configurare la rete per aggiungere una regola firewall in entrata. Il database di origine può essere on-premise o in un provider cloud. Poiché la destinazione è Cloud Storage, deve trovarsi nel provider di servizi cloud di Google.

Poiché non possiamo conoscere i dettagli del tuo ambiente, non possiamo fornire passaggi dettagliati per la configurazione della rete.

Per questa guida rapida, selezionerai Lista consentita IP come metodo di connettività. L'inserimento degli indirizzi IP nella lista consentita è una funzionalità di sicurezza spesso utilizzata per limitare e controllare l'accesso ai dati nel database di origine agli utenti attendibili. Puoi utilizzare le liste consentite di indirizzi IP per creare elenchi di indirizzi IP o intervalli IP attendibili da cui i tuoi utenti e altri servizi cloud come Datastream possono accedere a questi dati. Per utilizzare le liste consentite di indirizzi IP, devi aprire il database di origine o il firewall alle connessioni in entrata da Datastream.

Creazione di profili di connessione

Quando crei profili di connessione per un database di origine e una destinazione, crei record che contengono informazioni sull'origine e sulla destinazione.

In questa guida rapida, selezionerai Oracle come tipo di profilo per il profilo di connessione di origine e Cloud Storage come tipo di profilo per il profilo di connessione di destinazione. Datastream utilizza le informazioni nei profili di connessione per eseguire la migrazione dei dati dal database Oracle di origine a un bucket di destinazione in Cloud Storage.

Crea un profilo di connessione di origine per il database Oracle

  1. Vai alla pagina Profili di connessione per Datastream nella console Google Cloud .

    Vai alla pagina Profili di connessione

  2. Fai clic su CREA PROFILO.

  3. Nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Oracle (perché vuoi creare un profilo di connessione di origine per il database Oracle).

  4. Fornisci le seguenti informazioni nella sezione Definisci impostazioni di connessione della pagina Crea profilo Oracle:

    • Inserisci My Source Connection Profile come Nome profilo di connessione per il tuo database di origine.
    • Mantieni l'ID profilo di connessione generato automaticamente.
    • Seleziona la regione in cui verrà archiviato il profilo di connessione.

    • Inserisci i dettagli della connessione:

      • Nel campo Nome host o IP, inserisci un nome host o un indirizzo IP pubblico che Datastream possa utilizzare per la connessione al database Oracle di origine. Stai fornendo un indirizzo IP pubblico perché la lista consentita IP verrà utilizzata come metodo di connettività di rete per questa guida rapida.
      • Nel campo Porta, inserisci il numero di porta riservato al database di origine. Per un database Oracle, la porta predefinita è in genere 1521.
      • Inserisci un Nome utente e una Password per l'autenticazione al database di origine.
      • Nel campo Identificatore di sistema (SID), inserisci il SID o il nome del servizio che identifica l'istanza del database. Per i database Oracle, in genere è ORCL.
  5. Nella sezione Definisci impostazioni di connessione, fai clic su CONTINUA. La sezione Definisci metodo di connettività della pagina Crea profilo Oracle è attiva.

  6. Scegli il metodo di networking che vuoi utilizzare per stabilire la connettività tra Datastream e il database di origine. Per questa guida rapida, utilizza il menu a discesa Metodo di connettività per selezionare Lista consentita IP come metodo di networking.

  7. Configura il database di origine in modo da consentire le connessioni in entrata dagli indirizzi IP pubblici di Datastream visualizzati.

  8. Nella sezione Definisci metodo di connettività, fai clic su CONTINUA. La sezione Testa profilo di connessione della pagina Crea profilo Oracle è attiva.

  9. Fai clic su ESEGUI TEST per verificare che il database Oracle di origine e Datastream possano comunicare tra loro.

  10. Verifica che venga visualizzato lo stato "Test superato".

  11. Se il test ha esito negativo, puoi risolvere il problema nella parte appropriata del flusso e poi tornare a ripetere il test. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi.

  12. Fai clic su CREA.

Crea un profilo di connessione di destinazione per Cloud Storage

  1. Vai alla pagina Profili di connessione per Datastream nella console Google Cloud .

    Vai alla pagina Profili di connessione

  2. Fai clic su CREA PROFILO.

  3. Nella pagina Crea un profilo di connessione, fai clic sul tipo di profilo Cloud Storage (perché vuoi creare un profilo di connessione di destinazione per Cloud Storage).

  4. Fornisci le seguenti informazioni nella pagina Crea profilo Cloud Storage:

    • Inserisci My Destination Connection Profile come Nome profilo di connessione per il servizio Cloud Storage di destinazione.
    • Mantieni l'ID profilo di connessione generato automaticamente.
    • Seleziona la regione in cui verrà archiviato il profilo di connessione.
    • Nel riquadro Dettagli connessione, fai clic su SFOGLIA.
    • Nel riquadro Seleziona bucket, seleziona il bucket di destinazione in Cloud Storage in cui Datastream trasferirà i dati dal database di origine, poi fai clic su SELEZIONA.

      Il bucket viene visualizzato nel campo Nome bucket della pagina Crea profilo Cloud Storage.

    • Facoltativamente, nel campo Prefisso di percorso del profilo di connessione, puoi fornire un prefisso per il percorso che verrà aggiunto al nome del bucket quando Datastream trasferisce i dati alla destinazione.

  5. Fai clic su CREA.

Dopo aver creato un profilo di connessione di origine per il database Oracle e un profilo di connessione di destinazione per Cloud Storage, puoi utilizzarli per creare uno stream.

Crea uno stream

In questa sezione, creerai uno stream. Datastream utilizza questo stream per trasferire i dati da un database Oracle di origine a un bucket di destinazione in Cloud Storage.

La creazione di uno stream include:

  • Definizione delle impostazioni per lo stream.
  • Selezionando il profilo di connessione che hai creato per il database di origine (il profilo di connessione di origine). Per questa guida rapida, questo è Il mio profilo di connessione di origine.
  • Configurazione delle informazioni sul database di origine per lo stream specificando le tabelle e gli schemi nel database di origine che Datastream:
    • Può essere trasferito nella destinazione.
    • Non è possibile trasferire il saldo nella destinazione.
  • Determinare se Datastream eseguirà il backfill dei dati storici, oltre a trasmettere in streaming le modifiche in corso nella destinazione, o se trasmetterà in streaming solo le modifiche ai dati.
  • Selezionando il profilo di connessione che hai creato per Cloud Storage (il profilo di connessione di destinazione). Per questa guida rapida, questo è My Destination Connection Profile.
  • Configurazione delle informazioni sul bucket di destinazione per lo stream. Queste informazioni includono:
    • La cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database Oracle di origine.
    • Il formato di output dei file scritti in Cloud Storage. Datastream supporta due formati di output: Avro e JSON. Per questa guida rapida, Avro è il formato del file.

Definisci le impostazioni per lo stream

  1. Vai alla pagina Stream di Datastream nella console Google Cloud .

    Vai alla pagina Stream

  2. Fai clic su CREA STREAM.

  3. Fornisci le seguenti informazioni nel riquadro Definisci dettagli flusso della pagina Crea stream:

    • Inserisci My Stream come Nome stream.
    • Conserva l'ID stream generato automaticamente.
    • Nel menu Regione, seleziona la regione in cui hai creato il profilo di connessione di origine.
    • Nel menu Tipo di origine, seleziona il tipo di profilo Oracle.
    • Nel menu Tipo di destinazione, seleziona il tipo di profilo Cloud Storage.
  4. Rivedi i prerequisiti richiesti generati automaticamente per riflettere la preparazione dell'ambiente per uno stream. Questi prerequisiti possono includere la configurazione del database di origine e la connessione di Datastream al bucket di destinazione in Cloud Storage.

  5. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione Oracle della pagina Crea stream.

Specifica le informazioni sul profilo di connessione di origine

  1. Nel menu Profilo di connessione di origine, seleziona il profilo di connessione di origine per il database Oracle.

  2. Fai clic su ESEGUI TEST per verificare che il database di origine e Datastream possano comunicare tra loro.

    Se il test non riesce, viene visualizzato il problema associato al profilo di connessione. Per la procedura di risoluzione dei problemi, consulta la pagina Diagnostica i problemi. Apporta le modifiche necessarie per correggere il problema e poi esegui di nuovo il test.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura origine stream della pagina Crea stream.

Configura le informazioni sul database di origine per lo stream

  1. Utilizza il menu Oggetti da includere per specificare le tabelle e gli schemi nel database di origine che Datastream può trasferire in una cartella nel bucket di destinazione in Cloud Storage. Il menu viene caricato solo se il database contiene fino a 5000 oggetti.

    Per questa guida rapida, vuoi che Datastream trasferisca tutte le tabelle e gli schemi. Pertanto, seleziona Tutte le tabelle di tutti gli schemi dal menu.

  2. Specifica il metodo CDC. Per questo tutorial, seleziona Logminer.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Definisci profilo di connessione Cloud Storage della pagina Crea stream.

Seleziona un profilo di connessione di destinazione

  1. Nel menu Profilo di connessione di destinazione, seleziona il profilo di connessione di destinazione per Cloud Storage.

  2. Fai clic su CONTINUA. Viene visualizzato il riquadro Configura destinazione stream della pagina Crea stream.

Configura le informazioni sulla destinazione dello stream

  1. Nel campo Prefisso percorso stream, inserisci la cartella del bucket di destinazione in cui Datastream trasferirà schemi, tabelle e dati da un database Oracle di origine.

    Per questa guida rapida, vuoi che Datastream trasferisca i dati dal database di origine alla cartella /root/tutorial nel bucket di destinazione di Cloud Storage. Pertanto, inserisci /root/tutorial nel campo Prefisso percorso stream.

  2. Nel campo Formato di output, seleziona il formato dei file scritti in Cloud Storage. Per questa guida rapida, Avro è il formato del file.

  3. Fai clic su CONTINUA. Viene visualizzato il riquadro Rivedi dettagli flusso e crea della pagina Crea stream.

Crea lo stream

  1. Verifica i dettagli dello stream, nonché i profili di connessione di origine e di destinazione che lo stream utilizzerà per trasferire i dati da un database Oracle di origine a un bucket di destinazione in Cloud Storage.

  2. Fai clic su ESEGUI CONVALIDA per convalidare lo stream. Convalidando uno stream, Datastream verifica che l'origine sia configurata correttamente, che lo stream possa connettersi sia all'origine che alla destinazione e che la configurazione end-to-end dello stream sia corretta.

  3. Dopo aver superato tutti i controlli di convalida, fai clic su CREA.

  4. Nella finestra di dialogo Creare lo stream?, fai clic su CREA.

Dopo aver creato uno stream, puoi avviarlo.

Avviare lo stream

Nella sezione precedente della guida rapida, hai creato un flusso, ma non l'hai avviato. Puoi farlo ora.

Per questa guida rapida, crei e avvii un flusso separatamente nel caso in cui il processo di creazione del flusso comporti un carico maggiore sul database di origine. Per posticipare il carico, crei lo stream senza avviarlo e poi lo avvii quando il carico può essere sostenuto.

Avviando lo stream, Datastream può trasferire dati, schemi e tabelle dal database di origine alla destinazione.

  1. Vai alla pagina Stream di Datastream nella console Google Cloud .

    Vai alla pagina Stream

  2. Seleziona la casella di controllo a sinistra dello stream che vuoi avviare. Per questa guida rapida, è Il mio stream.

  3. Fai clic su AVVIA.

  4. Nella finestra di dialogo, fai clic su AVVIA. Lo stato dello stream cambia da Not started a Starting e poi a Running.

Dopo aver avviato uno stream, puoi verificare che Datastream abbia trasferito i dati dal database di origine alla destinazione.

Verifica lo stream

In questa sezione, confermi che Datastream trasferisce i dati da tutte le tabelle del database Oracle di origine nella cartella /root/tutorial del bucket di destinazione Cloud Storage.

  1. Vai alla pagina Stream di Datastream nella console Google Cloud .

    Vai alla pagina Stream

  2. Fai clic sullo stream che hai creato. Per questa guida rapida, è Il mio stream.

  3. Nella pagina Dettagli stream, fai clic sul link visualizzato sotto il campo Percorso di scrittura della destinazione. La pagina Dettagli bucket di Cloud Storage si apre in una scheda separata.

  4. Verifica che siano visualizzate cartelle che rappresentano le tabelle del database Oracle di origine.

  5. Fai clic su una delle cartelle delle tabelle e visualizza in dettaglio fino a quando non vedi i dati associati alla tabella.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. Utilizza la console Google Cloud per eliminare il progetto, lo stream e i profili di connessione Datastream e il bucket di destinazione Cloud Storage.

Se elimini le risorse che hai creato su Datastream, non occuperanno quota e non ti verranno addebitate in futuro. Le seguenti sezioni descrivono come eliminare o disattivare queste risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per questa guida rapida.

  1. Nella console Google Cloud , vai alla pagina Gestisci risorse.

    Vai alla pagina Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.

  3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Elimina lo stream

  1. Vai alla pagina Stream di Datastream nella console Google Cloud .

    Vai alla pagina Stream

  2. Fai clic sullo stream che vuoi eliminare. Per questa guida rapida, è Il mio stream.

  3. Fai clic su METTI IN PAUSA.

  4. Nella finestra di dialogo, fai clic su METTI IN PAUSA.

  5. Nel riquadro Stato stream della pagina Dettagli stream, verifica che lo stato dello stream sia Paused.

  6. Fai clic su ELIMINA.

  7. Nella finestra di dialogo, inserisci Delete nel campo di testo e fai clic su ELIMINA.

Eliminare i profili di connessione

  1. Vai alla pagina Profili di connessione per Datastream nella console Google Cloud .

    Vai alla pagina Profili di connessione

  2. Seleziona la casella di controllo per ogni profilo di connessione da eliminare. Per questa guida rapida, seleziona le caselle di controllo per Il mio profilo di connessione di origine e Il mio profilo di connessione di destinazione.

  3. Fai clic su ELIMINA.

  4. Nella finestra di dialogo, fai clic su ELIMINA.

Elimina il bucket di destinazione Cloud Storage

  1. Vai alla pagina Browser per Cloud Storage nella console Google Cloud .

    Vai alla pagina Browser

  2. Seleziona la casella di controllo a sinistra del bucket, quindi fai clic su ELIMINA.

  3. Nella finestra di dialogo, inserisci DELETE nel campo di testo e fai clic su ELIMINA.

Passaggi successivi

  • Scopri di più su Datastream.
  • Prova le altre funzionalità di Google Cloud . Dai un'occhiata alle nostre guide rapide.