migrazione di database usando Apache Spark

voti
0

Devo eseguire la migrazione da un database ad un altro abstract (lascia per esempio dire da Oracle a Cassandra) e vogliamo utilizzare Apache Spark Streaming per questo. Non è una semplice mappatura dei tipi di un db ad un altro, ma include anche trasformazioni complesse e convalida. Un caso tipico è quello di controllare prima di validazione / trasformazione qualche condizione dei nostri dati in RDD attraverso alla ricerca di alcune relazioni di questo valore con i valori in tutto (forse anche diversi) set di dati (ad esempio casi in cui il nostro valore da RDD viene utilizzato in qualche altro tavolo e vogliamo controllare questo ed eseguire alcune azioni per ogni occorrenza occorrenza).

Così abbiamo una possibilità di utilizzare Apache Ignite con la sua RDD condiviso per risolvere questo problema. E quando riceveremo tali dati che dovranno controllo esterno è correlazione con gli altri dati di tutto il settore di migrazione allora noi semplicemente per accendere (che verrà utilizzata come deposito temprorary per tali casi), controllare correlazioni ed eseguire tutti le azioni neccessary con il nostro valore.

Così fa smb hanno tale esperienza e quali problemi tipici che sarà eventualmente incontrare. E 'una buona pratica di utilizzare tale architettura o può essere questo può essere fatto in modo più efficiente e con una migliore progettazione in Spark?

È pubblicato 18/12/2017 alle 09:42
dall'utente
In altre lingue...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more