À medida que a indústria transformadora avança em direção à inteligência total, os dados tornaram-se um dos principais fatores de produção das empresas. As empresas líderes de fabricação de casas inteligentes mencionadas acima continuaram a construir um sistema baseado em dados que abrange toda a cadeia de P&D, produção, marketing e serviços nos últimos anos, e a plataforma de big data é o centro central deste sistema responsável pelo armazenamento, cálculo, análise e envio massivo de dados. À medida que a escala de negócios da empresa se expande rapidamente e a complexidade dos negócios continua a aumentar, a versão 2015 do cluster CDH que a empresa tem utilizado durante muitos anos expôs gradualmente deficiências como desempenho técnico insuficiente, falta de capacidades de segurança e espaço de expansão limitado. Tornou-se um gargalo central que restringe a liberação da produtividade dos dados. As atualizações da plataforma são iminentes.
Este projeto de atualização da plataforma de big data enfrenta três testes principais: Primeiro, os requisitos de continuidade dos negócios são extremamente elevados. A plataforma realiza um grande número de tarefas essenciais, como programação de produção, relatórios em tempo real e análise da cadeia de suprimentos. Durante o processo de atualização, deve garantir que os negócios sejam ininterruptos, que os dados não sejam perdidos e que as operações não sejam interrompidas; segundo, o volume de dados é enorme e a complexidade da migração é alta. Os dados históricos ao nível do OP estão dispersos em diferentes módulos de negócio. Várias equipes de negócios dependem da plataforma para funcionar ao mesmo tempo. Eles precisam concluir a migração completa dos dados dentro de um período de tempo limitado e garantir que os resultados do processamento de dados das plataformas antigas e novas sejam completamente consistentes. Terceiro, a extensão da versão é grande e a compatibilidade e a reconstrução da segurança são difíceis. Do antigo CDH, a atualização do 5.x para o mais recente CDP (Cloudera Data Platform) não envolve apenas uma substituição abrangente do mecanismo subjacente do MapReduce para o Tez/Spark, mas também requer a introdução simultânea de recursos de segurança, como autenticação Kerberos, controle de permissão refinado do Ranger e dessensibilização de dados, o que impõe requisitos extremamente altos à transformação do trabalho e à adaptação do aplicativo.
Em resposta às dificuldades acima, a equipe de serviço do projeto forneceu um conjunto de soluções de migração contínua sistemática: criar um novo cluster CDP no novo data center, migrar gradualmente dados e cargas de trabalho do cluster antigo para o novo cluster de acordo com os cenários de negócios e verificar a consistência dos dados e a estabilidade da operação para várias rodadas antes de colocar o equipamento antigo off-line. Ao mesmo tempo, os recursos ociosos do servidor antigo são reutilizados para expandir o novo cluster e minimizar os custos de investimento do projeto. Para garantir que o processo de migração seja infalível, a equipe do projeto conduziu diversas rodadas de testes de estresse e verificação de simulação sobre o caminho de migração, compatibilidade de trabalho e consistência de dados antes da mudança oficial. Eles forneceram simultaneamente planos de adaptação e transformação de trabalho para cada equipe de negócios, estabeleceram um mecanismo rigoroso de verificação de consistência de processamento de dados e, finalmente, formularam um plano completo de mudança de tráfego para alcançar uma implementação tranquila, sem qualquer percepção do negócio.
Após a conclusão desta atualização, a plataforma de big data da empresa alcançou um salto multidimensional em capacidades: primeiro, o desempenho foi bastante melhorado. Depois que todas as tarefas off-line foram migradas do MapReduce para o Tez/Spark, a taxa de transferência geral de dados da plataforma aumentou em mais de 30% e o tempo de processamento das tarefas básicas nas áreas principais foi reduzido em até 48%. Isto melhorou significativamente a pontualidade da saída de dados e pode suportar melhor necessidades em tempo real, como programação de produção e análise de usuários. Em segundo lugar, os custos de armazenamento foram significativamente reduzidos com o uso do Hadoop. O algoritmo de compressão RS-3-2-1024k na tecnologia EC (Error Correcting Code) reduz o uso do espaço de armazenamento em 40% sem reduzir a confiabilidade dos dados, controlando efetivamente a pressão de custos causada pela expansão contínua da escala de dados; em terceiro lugar, as capacidades de segurança alcançaram um salto qualitativo e a segurança Kerberos foi totalmente adotada. A autenticação realiza a autenticação de confiança mútua de vários componentes de big data. Máquinas não autorizadas não podem acessar clusters e componentes. Com o gerenciamento refinado de permissões do Ranger, ele suporta filtragem dinâmica de colunas, dessensibilização de dados e políticas de acesso personalizadas. Todos os componentes do Hadoop são unificados no sistema de gerenciamento e controle de segurança, atendendo totalmente aos requisitos de conformidade de dados de nível empresarial.
Indicadores do setor apontaram que este projeto de atualização da plataforma de big data serve como um caso de referência para a iteração da infraestrutura de dados central na área de manufatura. A sua experiência de migração de “serviços empresariais ininterruptos e zero erros de dados” tem um elevado valor de referência para a maioria das empresas industriais que estão a promover a transformação digital. Ele também fornece um caminho de construção de base de poder de computação replicável para a indústria manufatureira nacional atualizar de “fabricação” para “fabricação inteligente”.
