首页 - 科技 > 业界最大数据湖0故障迁上阿里云！数据量达500PB!

业界最大数据湖0故障迁上阿里云！数据量达500PB!

发布于：2024-11-06 作者：凹凸曼 阅读：55

今天阿里云宣布，小红书技术团队近日完成了一项业界前所未有的壮举，将业界最大数据湖0故障迁移至阿里云。

作为中国头部互联网公司之一，小红书月活用户已超过3亿，其数据湖存储了过去11年的所有原始数据，包括结构化、半结构化和非结构化数据。

随着业务的高速增长，小红书对在线处理数据的需求不断增加，同时离线处理所积累的历史问题也提高了切换的难度。

2023年11月，小红书共有1500人参与迁云项目——计划一年内，把小红书的数据湖搬上阿里云，彼时即便是业界体量最大的案例，也远小于小红书的本次迁移。

业界最大数据湖0故障迁上阿里云！数据量达500PB

2024年5月，项目正式进入双跑阶段，作为切换到正式环境前最后的测试，是稳定性最大的保障。

在这一阶段，团队需要解决的问题数不胜数，每周平均新增500多个问题。

在阿里云团队的全力保障下，小红书技术团队顺利完成了割接，没有发生任何一个P2及以上故障。

2024年11月，小红书迁云项目正式宣告结束，在没有故障的情况下，迁移数据500PB，任务11万，参与人数1500人，涉及部门40多个。

业界最大数据湖0故障迁上阿里云！数据量达500PB


二维码

扫一扫关注我们

版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 3941001135@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

上一篇：小鹏汽车L4智驾新突破：方向盘将从“必选”变为“可无”!

下一篇：华为公布固态电池新专利：解决液态电池衰减严重瓶颈难题!

相关文章

客服QQ：3941001135

客服邮箱：3941001135@qq.com

二维码

本站部分文字及图片均来自于网络，如有侵权请及时联系删除处理

Copyright © 2023 本站技术支持0571YP技术支持 苏ICP备2024129037号-1