春节是中华民族最重要的传统节日,人们在与亲友团聚中,回到家乡和家人,获得情感滋养,规划未来。 随着城市数字生态的快速发展,流浪者返乡、家庭团聚、朋友见面、表达亲情、谈友情、表达怀旧之情等新年礼仪习俗,在“云端”上解锁了新的表达方式,“云端新年”也成为见证中国经济奇迹和国家文化与时俱进的最佳窗口。
新年的烟花最能抚慰凡人的心灵。 无论是熙熙攘攘的街市、欢声笑语,还是灯火通明的夜晚,丰富多彩的市民生活被深度“云化”,音频、社交、高速、文旅、物流、汽车、教育等行业的云业务流量高位叠加,流量高峰不同,给城市云服务的稳定性带来了不确定的风险和巨大挑战。
春节对社会稳定和谐具有重要意义,城政云服务承载着春节期间与民生相关的公用事业。 因此,确保城市“云上春节”的稳定,为政府客户创造“确定性”的服务质量成果,是华为e-CLOUD SRE义不容辞的责任和追求。
为做好嘉辰春节期间城市云平台保障服务,政府云上网从11月起提前100天进入“战斗状态”华为云确定性运维体系和解决方案,将云服务的不确定性转化为SLA“确定性”,实现全栈可观测性、故障快速恢复、变更风险管理、弹性评估与优化依托一体化运控平台,联动质量、技术、研发、合规等专家,组成春节安全团队,根据政务服务特点沉淀出一套重大安全解决方案,通过“强超前部署”的“保障三部曲”,为政务客户云业务保驾护航。 活动期间严格把控,活动结束后服务繁重”。
提前“强力部署”:墨菲定律指出,“凡是可能出错的,出错的概率都很高”,这提醒我们,只要任何事件的发生概率大于零,就应该采取预防和缓解措施来预防和减少事故的发生和影响。 因此,政府云保障团队提前梳理了国家基地的重点业务,并利用云分析技术对架构、安全评估、可用性检查、容量分析和资源监控等进行架构优化,对云平台的稳定性进行评估,识别风险并优化资源,从而确保系统的最佳运行状态。 对全网进行深度巡查,对设施、工具和服务进行风险隐患检查,通过重点调研、专项优化、加固支撑、风险整改等措施,开展风险清零化解。同时,根据“因地制宜”,根据各基地气象和业务特点,制定基地应急预案和故障恢复方案,提前部署演练,降低故障发生概率和影响。
此事“严控”如果无法快速识别、响应、恢复和解决现网业务,则会在小范围内影响用户体验,并可能造成经济损失甚至社会负面影响。 正如老话所说,“和平不忘危、生存不忘死、治理不忘乱”,在保障过程中,既要高度警惕“黑天鹅”事件,也要防范“灰犀牛”事件;不仅要带头防范风险,而且要有控制和化解风险的过程。 春节关键保障活动期间,近1000名现场运维工程师7*24小时值班,借助华为云SRE全面协调的关键保障体系,对现场进行24/7全天候监控巡检。 来自习、廊坊、深圳三大运维中心的1000多名SRE专家远程工作,全天候响应待命,一旦发生报警,能力团队快速响应,快速定位分析报警问题,快速实施应急预案, 客户的业务可以快速恢复。同时,通过变更控制、权限控制、网络关闭等措施,降低可能触发变更等操作的风险。 每天推送保障报告,及时交换事件信息,联动多方资源,做好化危为灾、化危为安的遭遇战准备始终尊重商家和直播网络,实现“零重大问题、零重大事故、零投诉”的保障目标。
事后的“繁重服务”保障成功的背后,要靠不断总结和提升“能力”,提高应对风险、迎接挑战、化危为救的能力。 因此,在春节再险结束后,政府云保障团队将重新审视安全亮点和问题,将最佳实战实践固化为经验库和支持操作手册,并与政府客户分享华为云保障经验和建议,为下一次重大保障沉淀“教科书”。 而类似的“风险”可以直接“复制答案”,提升整体支撑能力。
回首2023年,在确定性运维理念的指引下,华为云上网服务已为全国160多个城市提供超过300项运维保障服务。
龙年,城市云经济全面复苏,推广促销、重要节日、线上服务开通、云展等各类城市活动如火如荼,业务稳定、可靠、安全运营,为观众提供优质体验,是社会形象的窗口,也是商业价值的基础。 为了更好地服务政务客户,政务云SRE将溢出行业领先的运维技术能力和多年实践经验,沉淀覆盖政务客户全周期的专业运维服务,为政务云服务创造“确定性”价值。 新的一年,政云SRE将始终保持“零”心态,拼搏进取,以稳定可靠、资源高效、安全可信、业务敏捷为目标,守护数字城市每时每刻的运营,时刻助力数字化转型,共筑数字中国美好未来,让运维成为智能世界的加速器