Mentre il settore manifatturiero si muove verso la piena intelligenza, i dati sono diventati uno dei fattori di produzione fondamentali per le aziende.
Negli ultimi anni le principali aziende produttrici di case intelligenti sopra menzionate hanno continuato a costruire un sistema basato sui dati che copre l’intera catena di ricerca e sviluppo, produzione, marketing e servizi, e la piattaforma big data è l’hub principale di questo sistema che è responsabile dell’archiviazione, del calcolo, dell’analisi e dell’invio di grandi quantità di dati.
Poiché la portata aziendale dell’azienda si espande rapidamente e la complessità aziendale continua ad aumentare, la versione 2015 del cluster CDH utilizzata dall’azienda per molti anni ha gradualmente messo in luce carenze quali prestazioni tecniche insufficienti, mancanza di funzionalità di sicurezza e spazio di espansione limitato.
È diventato un collo di bottiglia fondamentale che limita il rilascio della produttività dei dati. Gli aggiornamenti della piattaforma sono imminenti.
Questo progetto di aggiornamento della piattaforma Big Data deve affrontare tre test fondamentali: in primo luogo, i requisiti di continuità aziendale sono estremamente elevati. La piattaforma svolge un gran numero di attività fondamentali come la pianificazione della produzione, il reporting in tempo reale e l’analisi della catena di fornitura. Durante il processo di aggiornamento, deve garantire che l’attività non venga interrotta, che i dati non vengano persi e che le operazioni non vengano interrotte; in secondo luogo, il volume dei dati è enorme e la migrazione La complessità è elevata. I dati storici a livello PB sono sparsi in diversi moduli aziendali. Più team aziendali si affidano alla piattaforma per lavorare contemporaneamente. Devono completare la migrazione completa dei dati entro un intervallo di tempo limitato e garantire che i risultati dell’elaborazione dei dati della vecchia e della nuova piattaforma siano completamente coerenti. In terzo luogo, l’intervallo delle versioni è ampio e la compatibilità e la ricostruzione della sicurezza sono difficili. Dal vecchio CDH L’aggiornamento da 5.x all’ultimo CDP (Cloudera Data Platform) non comporta solo una sostituzione completa del motore sottostante da MapReduce a Tez/Spark, ma richiede anche l’introduzione simultanea di funzionalità di sicurezza come l’autenticazione Kerberos, il controllo granulare delle autorizzazioni Ranger e la desensibilizzazione dei dati, che pone requisiti estremamente elevati sulla trasformazione del lavoro e sull’adattamento delle applicazioni.
In risposta alle difficoltà di cui sopra, il team di assistenza del progetto ha fornito una serie di soluzioni sistematiche di migrazione progressiva: creazione di un nuovo cluster CDP nel nuovo data center, migrazione graduale dei dati e dei carichi di lavoro dal vecchio cluster al nuovo cluster in base agli scenari aziendali e verifica della coerenza dei dati e della stabilità operativa per più cicli prima di mettere offline le vecchie apparecchiature. Allo stesso tempo, le risorse del vecchio server inattive vengono riutilizzate per espandere il nuovo cluster per ridurre al minimo i costi di investimento del progetto.
Per garantire che il processo di migrazione fosse infallibile, il team del progetto ha condotto diversi cicli di stress test e verifiche di simulazione sul percorso di migrazione, sulla compatibilità del lavoro e sulla coerenza dei dati prima del passaggio ufficiale. Contemporaneamente hanno fornito piani di adattamento e trasformazione del lavoro a ciascun team aziendale, hanno stabilito un rigoroso meccanismo di verifica della coerenza dell’elaborazione dei dati e, infine, hanno formulato un piano completo di commutazione del traffico per ottenere un’implementazione regolare senza alcuna percezione dell’azienda.
Dopo il completamento di questo aggiornamento, la piattaforma Big Data dell’azienda ha compiuto un salto multidimensionale in termini di funzionalità: in primo luogo, le prestazioni sono state notevolmente migliorate. Dopo che tutte le attività offline sono state trasferite da MapReduce a Tez/Spark, la velocità complessiva dei dati della piattaforma è aumentata di oltre il 30% e il tempo di elaborazione delle attività di base nelle aree principali è stato ridotto fino al 48%. Ciò ha migliorato significativamente la tempestività dell’output dei dati e può supportare meglio le esigenze in tempo reale come la pianificazione della produzione e l’analisi degli utenti. In secondo luogo, i costi di archiviazione sono stati notevolmente ridotti utilizzando Hadoop. L’algoritmo di compressione RS-3-2-1024k nella tecnologia EC (Error Correcting Code) riduce l’utilizzo dello spazio di archiviazione del 40% senza ridurre l’affidabilità dei dati, controllando efficacemente la pressione sui costi causata dalla continua espansione della scala dei dati; in terzo luogo, le capacità di sicurezza hanno compiuto un salto di qualità e la sicurezza Kerberos è stata pienamente adottata. L’autenticazione realizza l’autenticazione basata sulla fiducia reciproca di vari componenti dei big data. Le macchine non autorizzate non possono accedere a cluster e componenti. Grazie alla gestione capillare delle autorizzazioni di Ranger, supporta il filtraggio dinamico delle colonne, la desensibilizzazione dei dati e policy di accesso personalizzate. Tutti i componenti Hadoop sono unificati nel sistema di gestione e controllo della sicurezza, soddisfacendo pienamente i requisiti di conformità dei dati a livello aziendale.
Gli addetti ai lavori del settore hanno sottolineato che questo progetto di aggiornamento della piattaforma Big Data funge da caso di riferimento per l’iterazione dell’infrastruttura dei dati fondamentali nel campo della produzione.
La sua esperienza di migrazione di “servizio aziendale non-stop e zero errori nei dati” ha un alto valore di riferimento per la maggior parte delle aziende manifatturiere che stanno promuovendo la trasformazione digitale. Fornisce inoltre un percorso replicabile di costruzione di una base di potenza di calcolo affinché l’industria manifatturiera nazionale possa passare dalla “produzione” alla “produzione intelligente”.
