À mesure que l’industrie manufacturière évolue vers une intelligence totale, les données sont devenues l’un des principaux facteurs de production des entreprises. Les principales entreprises de fabrication de maisons intelligentes mentionnées ci-dessus ont continué à construire un système basé sur les données couvrant toute la chaîne de R&D, de production, de marketing et de services au cours des dernières années, et la plate-forme Big Data est la plaque tournante de ce système, responsable du stockage, du calcul, de l’analyse et de la distribution massifs de données. À mesure que l’échelle commerciale de l’entreprise se développe rapidement et que la complexité de l’entreprise continue d’augmenter, la version 2015 du cluster CDH que l’entreprise utilise depuis de nombreuses années a progressivement révélé des lacunes telles que des performances techniques insuffisantes, un manque de capacités de sécurité et un espace d’extension limité. C’est devenu un goulot d’étranglement majeur limitant la diffusion de la productivité des données. Les mises à niveau de la plateforme sont imminentes.
Ce projet de mise à niveau de la plateforme Big Data est confronté à trois tests principaux : Premièrement, les exigences en matière de continuité d’activité sont extrêmement élevées. La plateforme effectue un grand nombre de tâches principales telles que la planification de la production, les rapports en temps réel et l’analyse de la chaîne d’approvisionnement. Pendant le processus de mise à niveau, il doit garantir que l’activité est ininterrompue, que les données ne sont pas perdues et que les opérations ne sont pas interrompues ; Deuxièmement, le volume de données est énorme et la migration est très complexe. Les données historiques au niveau PB sont dispersées dans différents modules métier. Plusieurs équipes commerciales s’appuient sur la plateforme pour fonctionner en même temps. Ils doivent achever la migration complète des données dans un laps de temps limité et garantir que les résultats du traitement des données des anciennes et des nouvelles plates-formes sont totalement cohérents. Troisièmement, l’étendue des versions est importante et la reconstruction de la compatibilité et de la sécurité est difficile. De l’ancien CDH La mise à niveau de 5.x vers le dernier CDP (Cloudera Data Platform) implique non seulement un remplacement complet du moteur sous-jacent de MapReduce vers Tez/Spark, mais nécessite également l’introduction simultanée de fonctionnalités de sécurité telles que l’authentification Kerberos, le contrôle précis des autorisations Ranger et la désensibilisation des données, ce qui impose des exigences extrêmement élevées en matière de transformation des tâches et d’adaptation des applications.
En réponse aux difficultés ci-dessus, l’équipe de service du projet a fourni un ensemble de solutions de migration continue systématique : créez un nouveau cluster CDP dans le nouveau centre de données, migrez progressivement les données et les charges de travail de l’ancien cluster vers le nouveau cluster selon des scénarios commerciaux, et vérifiez la cohérence des données et la stabilité des opérations pendant plusieurs cycles avant de mettre l’ancien équipement hors ligne. Dans le même temps, les anciennes ressources de serveur inutilisées sont réutilisées pour étendre le nouveau cluster afin de minimiser les coûts d’investissement du projet. Afin de garantir que le processus de migration est infaillible, l’équipe du projet a effectué plusieurs séries de tests de résistance et de vérification par simulation sur le chemin de migration, la compatibilité des tâches et la cohérence des données avant le changement officiel. Ils ont simultanément fourni des plans d’adaptation et de transformation du travail à chaque équipe commerciale, établi un mécanisme strict de vérification de la cohérence du traitement des données et finalement formulé un plan complet de commutation du trafic pour parvenir à un déploiement en douceur sans aucune perception de l’entreprise.
Après l’achèvement de cette mise à niveau, la plate-forme Big Data de l’entreprise a réalisé un bond multidimensionnel en termes de capacités : premièrement, les performances ont été considérablement améliorées. Une fois que toutes les tâches hors ligne ont été migrées de MapReduce vers Tez/Spark, le débit global de données de la plateforme a augmenté de plus de 30 % et le temps de traitement des tâches de base dans les zones principales a été réduit jusqu’à 48 %. Cela a considérablement amélioré la rapidité de production des données et peut mieux répondre aux besoins en temps réel tels que la planification de la production et l’analyse des utilisateurs. Deuxièmement, les coûts de stockage ont été considérablement réduits grâce à Hadoop. L’algorithme de compression RS-3-2-1024k de la technologie EC (Error Correcting Code) réduit l’utilisation de l’espace de stockage de 40 % sans réduire la fiabilité des données, contrôlant ainsi efficacement la pression sur les coûts causée par l’expansion continue de l’échelle des données ; troisièmement, les capacités de sécurité ont réalisé un saut qualitatif et la sécurité Kerberos a été pleinement adoptée. L’authentification réalise une authentification de confiance mutuelle des divers composants du Big Data. Les machines non autorisées ne peuvent pas accéder aux clusters et aux composants. Grâce à la gestion fine des autorisations de Ranger, il prend en charge le filtrage dynamique des colonnes, la désensibilisation des données et les politiques d’accès personnalisées. Tous les composants Hadoop sont unifiés dans le système de gestion et de contrôle de la sécurité, répondant pleinement aux exigences de conformité des données au niveau de l’entreprise.
Les initiés du secteur ont souligné que ce projet de mise à niveau de la plateforme Big Data sert de cas de référence pour l’itération de l’infrastructure de données de base dans le domaine manufacturier. Son expérience de migration de « service commercial non-stop et zéro erreur de données » a une valeur de référence élevée pour la majorité des entreprises manufacturières qui promeuvent la transformation numérique. Il fournit également une voie de construction de base de puissance de calcul reproductible permettant à l’industrie manufacturière nationale de passer de la « fabrication » à la « fabrication intelligente ».
