A medida que la industria manufacturera avanza hacia la inteligencia total, los datos se han convertido en uno de los factores de producción centrales para las empresas. Las empresas líderes de fabricación de hogares inteligentes mencionadas anteriormente han seguido construyendo un sistema basado en datos que cubre toda la cadena de I+D, producción, marketing y servicios en los últimos años, y la plataforma de big data es el centro central de este sistema que es responsable del almacenamiento, cálculo, análisis y envío masivo de datos. A medida que la escala comercial de la empresa se expande rápidamente y la complejidad del negocio continúa aumentando, la versión 2015 del clúster CDH que la empresa ha utilizado durante muchos años ha expuesto gradualmente deficiencias como un rendimiento técnico insuficiente, falta de capacidades de seguridad y espacio de expansión limitado. Se ha convertido en un cuello de botella fundamental que restringe la publicación de la productividad de los datos. Las actualizaciones de la plataforma son inminentes.
Este proyecto de actualización de la plataforma de big data se enfrenta a tres pruebas principales: en primer lugar, los requisitos de continuidad del negocio son extremadamente altos. La plataforma incluye una gran cantidad de tareas principales, como programación de producción, informes en tiempo real y análisis de la cadena de suministro. Durante el proceso de actualización, debe garantizar que el negocio no se interrumpa, que no se pierdan datos y que las operaciones no se interrumpan; en segundo lugar, el volumen de datos es enorme y la migración La complejidad es alta. Los datos históricos a nivel de PB se encuentran dispersos en diferentes módulos comerciales. Varios equipos empresariales dependen de la plataforma para funcionar al mismo tiempo. Deben completar la migración de datos completa en un período de tiempo limitado y garantizar que los resultados del procesamiento de datos de las plataformas nuevas y antiguas sean completamente consistentes. En tercer lugar, la variedad de versiones es grande y la reconstrucción de compatibilidad y seguridad es difícil. Desde el antiguo CDH La actualización de 5.x al último CDP (Cloudera Data Platform) no solo implica un reemplazo integral del motor subyacente de MapReduce a Tez/Spark, sino que también requiere la introducción simultánea de capacidades de seguridad como la autenticación Kerberos, el control de permisos detallado de Ranger y la desensibilización de datos, lo que impone requisitos extremadamente altos en la transformación del trabajo y la adaptación de las aplicaciones.
En respuesta a las dificultades anteriores, el equipo de servicio del proyecto proporcionó un conjunto de soluciones de migración continua sistemática: crear un nuevo clúster CDP en el nuevo centro de datos, migrar gradualmente datos y cargas de trabajo del clúster antiguo al nuevo de acuerdo con los escenarios comerciales y verificar la coherencia de los datos y la estabilidad operativa durante varias rondas antes de desconectar el equipo antiguo. Al mismo tiempo, los recursos del servidor antiguo inactivo se reutilizan para expandir el nuevo clúster y minimizar los costos de inversión del proyecto. Para garantizar que el proceso de migración sea infalible, el equipo del proyecto realizó múltiples rondas de pruebas de estrés y verificación de simulación sobre la ruta de migración, la compatibilidad laboral y la coherencia de los datos antes del cambio oficial. Simultáneamente proporcionaron planes de adaptación y transformación del trabajo a cada equipo comercial, establecieron un estricto mecanismo de verificación de la coherencia del procesamiento de datos y finalmente formularon un plan completo de conmutación de tráfico para lograr una implementación fluida sin ninguna percepción del negocio.
Después de completar esta actualización, la plataforma de big data de la empresa ha logrado un salto multidimensional en capacidades: primero, el rendimiento ha mejorado enormemente. Después de que todas las tareas fuera de línea se migraron de MapReduce a Tez/Spark, el rendimiento general de datos de la plataforma aumentó en más del 30 % y el tiempo de procesamiento de las tareas básicas en áreas principales se redujo hasta en un 48 %. Esto ha mejorado significativamente la puntualidad de la producción de datos y puede respaldar mejor las necesidades en tiempo real, como la programación de producción y el análisis de usuarios. En segundo lugar, los costos de almacenamiento se han reducido significativamente gracias al uso de Hadoop. El algoritmo de compresión RS-3-2-1024k en tecnología EC (Código de corrección de errores) reduce el uso del espacio de almacenamiento en un 40% sin reducir la confiabilidad de los datos, controlando efectivamente la presión de costos causada por la expansión continua de la escala de datos; En tercer lugar, las capacidades de seguridad han logrado un salto cualitativo y la seguridad Kerberos se ha adoptado por completo. La autenticación implementa la autenticación de confianza mutua de varios componentes de big data. Las máquinas no autorizadas no pueden acceder a clústeres ni componentes. Con la gestión detallada de permisos de Ranger, admite filtrado dinámico de columnas, desensibilización de datos y políticas de acceso personalizadas. Todos los componentes de Hadoop están unificados en el sistema de control y gestión de seguridad, cumpliendo plenamente con los requisitos de cumplimiento de datos a nivel empresarial.
Los expertos de la industria señalaron que este proyecto de actualización de la plataforma de big data sirve como un caso de referencia para la iteración de la infraestructura de datos central en el campo de la fabricación. Su experiencia de migración de «servicio empresarial ininterrumpido y cero errores de datos» tiene un alto valor de referencia para la mayoría de las empresas manufactureras que están impulsando la transformación digital. También proporciona un camino de construcción de base de potencia informática replicable para que la industria manufacturera nacional pase de «fabricación» a «fabricación inteligente».
