运维改革探索(二):构建可视化分布式运维手段
云架构下的IT系统越来越多,数据库管理员需要面对成百上千的数据库,另外随着云架构下的大数据平台等技术的不断深入,数据存储将迈入EB级别,传统手工数据管理的难度越来越大.同时云架构中出于开发、测试、培训以及数据对外共享变现等环节需要从生产环境中同步和迁移大量数据,其中亦会涉及大量用户隐私数据.而之前整体IT系统数据流和业务流的关系不太清晰,业务数据可视化展示程度很低,缺少可视化的企业整体数据地图,对于数据的维护困难重重. 1)云架构下数据管理规划 为解决传统数据管理上的痛点,让数据管理相关工作更加标准化和流程化,我们借鉴国内外IT业界先进的数据管理和运营经验,着手在数据管理领域的自动化运营工具作出了规划.整体规划如下: 在此规划的基础上,着手建设了在云架构下的数据安全管理以及数据生命周期管理两个主要运营场景的自动化工具化建设,其他还处在建设阶段. 2)云架构下数据生命周期管理 根据核心生产系统中数据的特点建立多层次数据存储体系,将用户访问频率较低的远期历史数据按规划从生产环境转移到历史数据中心和大数据平台中,在不影响绝大部分用户应用感知的情况下,有效管控系统整体数据增长,既降低系统运营成本,又满足最终用户的数据需求.我们的数据生命周期管理自动化工具,由数据管理员针对不同种类的数据梳理的数据生命周期策略进行可视化的管理,以自动化方式按不同周期识别历史数据并将历史数据完整地迁移到历史数据中心或其他大数据平台中. 通过作业化自动化的思路,以自动化平台方式实现数据生命周期管理的全程,减少人力在策略管理、数据迁移和数据清理中的人工投入,主要目标在于:
3)云架构下数据安全管理 根据生产系统中敏感数据分布情况,建立敏感数据策略化管理.在数据从生产环境中向未安全环境,包括开发、测试、培训和对外数据共享等,进行数据迁移和同步的过程中,因应数据安全管理员制定的敏感策略对数据进行自动化安全脱敏,减少敏感数据外泄的可能. 目前数据安全自动化管理工具,实现从敏感数据识别,脱敏策略配置,数据迁移配置,以及数据在线和离线脱敏全程,自动化安全地将数据从生产环境向非安全环境迁移,同时在迁移过程中实施敏感数据脱敏. (编辑:开发网_新乡站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |