По мере того, как обрабатывающая промышленность движется к полному интеллекту, данные стали одним из основных производственных факторов для предприятий.
Вышеупомянутые ведущие компании-производители умных домов в последние годы продолжали создавать системы, управляемые данными, охватывающие всю цепочку исследований и разработок, производства, маркетинга и услуг, а платформа больших данных является основным узлом в этой системе, которая отвечает за хранение, расчет, анализ и отправку больших объемов данных.
Поскольку масштабы бизнеса предприятия быстро расширяются, а сложность бизнеса продолжает увеличиваться, версия кластера CDH 2015 года, которую предприятие использовало в течение многих лет, постепенно выявила такие недостатки, как недостаточная техническая производительность, отсутствие возможностей безопасности и ограниченное пространство для расширения.
Это стало основным узким местом, ограничивающим выпуск производительных данных. Обновления платформы неизбежны.
Этот проект модернизации платформы больших данных сталкивается с тремя основными испытаниями. Во-первых, требования к непрерывности бизнеса чрезвычайно высоки. Платформа выполняет большое количество основных задач, таких как планирование производства, отчетность в реальном времени и анализ цепочки поставок. В процессе обновления он должен гарантировать бесперебойность работы, отсутствие потери данных и прерывание операций; во-вторых, объем данных огромен, а сложность миграции высока. Исторические данные уровня PB разбросаны по разным бизнес-модулям. Несколько бизнес-команд полагаются на то, что платформа будет работать одновременно. Им необходимо завершить полную миграцию данных в течение ограниченного периода времени и обеспечить полную согласованность результатов обработки данных на старой и новой платформах. В-третьих, диапазон версий велик, а восстановление совместимости и безопасности затруднено. От старого CDH Обновление с версии 5.x до последней версии CDP (Cloudera Data Platform) не только предполагает комплексную замену базового движка с MapReduce на Tez/Spark, но также требует одновременного внедрения таких возможностей безопасности, как аутентификация Kerberos, детальный контроль разрешений Ranger и десенсибилизация данных, что предъявляет чрезвычайно высокие требования к преобразованию заданий и адаптации приложений.
В ответ на вышеперечисленные трудности команда обслуживания проекта предоставила набор решений по систематической скользящей миграции: создать новый кластер CDP в новом центре обработки данных, постепенно перенести данные и рабочие нагрузки из старого кластера в новый в соответствии с бизнес-сценариями, а также проверить согласованность данных и стабильность работы в течение нескольких раундов, прежде чем отключать старое оборудование.
В то же время простаивающие ресурсы старых серверов повторно используются для расширения нового кластера, чтобы минимизировать инвестиционные затраты на проект. Чтобы гарантировать надежность процесса миграции, перед официальным переходом команда проекта провела несколько раундов стресс-тестирования и симуляционную проверку пути миграции, совместимости заданий и согласованности данных.
Они одновременно предоставили планы адаптации и трансформации должностей каждой бизнес-команде, установили строгий механизм проверки согласованности обработки данных и, наконец, сформулировали полный план переключения трафика для достижения плавного развертывания без какого-либо представления о бизнесе.
После завершения этого обновления корпоративная платформа больших данных достигла многомерного скачка в возможностях: во-первых, значительно улучшилась производительность. После того как все офлайн-задачи были перенесены из MapReduce в Tez/Spark, общая пропускная способность платформы увеличилась более чем на 30 %, а время обработки базовых задач в основных областях сократилось до 48 %. Это значительно улучшило своевременность вывода данных и может лучше удовлетворять потребности в реальном времени, такие как планирование производства и анализ пользователей. Во-вторых, затраты на хранение данных были значительно снижены благодаря использованию Hadoop. Алгоритм сжатия RS-3-2-1024k в технологии EC (код исправления ошибок) сокращает использование пространства хранения на 40% без снижения надежности данных, эффективно контролируя ценовое давление, вызванное постоянным расширением масштаба данных; в-третьих, возможности безопасности достигли качественного скачка, и безопасность Kerberos была полностью внедрена. Аутентификация реализует аутентификацию взаимного доверия различных компонентов больших данных. Неавторизованные машины не могут получить доступ к кластерам и компонентам. Благодаря детальному управлению разрешениями Ranger он поддерживает динамическую фильтрацию столбцов, снижение чувствительности данных и настраиваемые политики доступа. Все компоненты Hadoop объединены в систему управления и контроля безопасности, полностью отвечающую требованиям соответствия данных уровня предприятия.
Инсайдеры отрасли отмечают, что этот проект модернизации платформы больших данных служит эталоном для итерации базовой инфраструктуры данных в производственной сфере. Ее опыт миграции, обеспечивающий «непрерывное бизнес-обслуживание и отсутствие ошибок в данных», имеет высокую ценность для большинства производственных компаний, продвигающих цифровую трансформацию. Он также обеспечивает путь создания воспроизводимой вычислительной базы для отечественной обрабатывающей промышленности, чтобы перейти от «производства» к «интеллектуальному производству».
