21独家丨云音乐“崩了”：或与网易Curve系统相关【IDBD-200】ごくり…！生唾必至の極エロボディセレクション，该团队曾裁人
贺泓源
网易云音乐崩了。
2024年8月19日，词条#网易云音乐崩了#登上微博热搜第一。不少网友示意，网易云音乐“一直刷新不出来”“一条驳斥也刷不出来”“搜歌也搜不出来”。
不久后，网易云音乐在官方微博回复，“因基础步调故障，导致网易云音乐各端无法频频使用，咱们正在加紧建筑，尽头对不起。”
另据21世纪经济报谈记者从多位有过网易职责履历的时刻东谈主员处了解到，此番网易云音乐出当前刻故障， 或与Curve存储系统相关。该系统由网易斥地，团队曾履历过裁人。
对此，网易云音乐方面向21世纪经济报谈记者复兴称，“莫得删库，莫得跑路， 正在加快建筑”。但关于波及Curve团队问题，相关职责主谈主员示意并不澄澈。
真实迷奸女高中生随后，网易云音乐官方微博示意，故障已连接建筑。同期，看成抵偿，8月20日0-24时，云音乐搜“畅听音乐”，可领取7天会员权利到用户的账户。
什么是Curve？
事实上，网易云音乐使用Curve有着历史复古。
据网易云音乐时刻团队在2022年6月对外清楚，云音乐使用云盘的业务主要包括主站、UGC、曲库等Java控制，其中主站是云音乐中枢业务，需要提供最高品级的SLA保险(年可用率>=99.99%)，面临提供上亿级用户量褂讪的云音乐体验，这一直以来亦然该平台的重难点。
2019年之前云音乐主要使用Ceph云盘，但Ceph在大规模场景下存在性能弱势，且很难保证在多样非常(坏盘慢盘、存储机宕机、存储网罗拥塞等)场景下云盘IO反适时延不受影响；Ceph云盘的IO抖动问题，该团队曾尝试花好多东谈主力元气心灵作念优化校正，但齐仅仅稍许有所缓解，无法透顶经管；性能问题也干预深广东谈主力进行分析优化，但仍然不可达到预期。因此网易云音乐才立项了解Curve块存储分散式存储系统。
网易云音乐提到，Curve块存储不错风雅适配主流云贪图平台，而且具备高性能、易运维、褂讪不抖动等上风。在骨子控制中，使用Curve块存储对接Cinder看成云主机云盘存储后端，对接Nova看成云主机系统盘，对接Glance看成镜像存储后端。在创建云主机过程中，Nova和会过 Curve块存储提供的Python SDK克隆出新卷看成云主机系统盘使用。在创建云盘过程中，Cinder和会过Python SDK创建空卷大意通过已有的卷快照克隆出新卷，之后不错挂载到云主机上看成云盘使用。云主机使用Libvirt看成虚构化管控就业，使用QEMU/KVM看成虚构化引擎。Curve块存储为Libvirt/QEMU提供了运转库，编译后就不错径直使用Curve卷看成远端存储，不需要把Curve块存储卷挂载到土产货。
2020年，网易数帆文告，开源一款名为Curve的高性能分散式存储系统。
往日的网易数字+大会上，网易副总裁、网易杭州商榷院本质院长兼网易数帆总司理汪源娇傲，Curve主要具有三大瞎想秉性：高性能、高可用和自治。汪源公布了Curve和CephL版块的测试数据对比，在单卷的场景下，中枢的4K就地读/写的IOPS性能，Curve折柳是Ceph的1.84倍和1.58倍，同期蔓延比拟Ceph折柳裁汰48.39%和37.50%。
那时，网易清楚，Curve系统上线400多天，从未出现数据不一致和丢数据的情况，莫得发生过首要故障，数据可靠性达到100%，就业可用率达到4个9以上。
可变动来得比思象中快，连年网易杭州商榷院裁人外传继续，汪源本东谈主已从网易去职。
机房搬动？
还需细心的是，此刻网易云音乐本就处在机房搬动的顺应关键节点，这可能亦然此番故障诱因。
据网易云音乐时刻团队在2024年7月对外清楚，2023年笃定要将云音乐举座就业搬迁至贵州机房，姿色需要在多样限度条款下，保险2000+控制、100w+QPS的就业褂讪搬动，是云音乐历史上规模最大、东谈主员最多、难度最高的时刻姿色。在此过程中，经管了深广历史时刻债务，同期化解了深广新增系统性风险。
具体来看，这次需要云音乐以及旗下零丁App的就业均举座搬动至贵州。波及2000+控制、100w+QPS的褂讪搬动，同期波及中间件、存储、机房、三方依赖就业等举座的搬迁，搬迁规模大。
业务复杂度亦高。其中，场景复杂。搬动规模大，带来更广的业务场景掩盖。而不同的场景对数据一致性要求不同、蔓延敏锐度不同。搬动有筹办需要研究多样场景带来的问题，并提供程序化的经管有筹办。
另外，就业间依赖复杂。这次带来约2000+控制的搬迁，各就业间的调用和依赖情况复杂，在分批搬动有筹办中需要互助，以及经管迁少顷间跨机房30msRT上涨带来的问题。
此外，相关历史积弊也多。网易云音乐提到，搬动贵州前，存在诸多历史时刻积弊，影响着全站举座的褂讪性。
这次搬迁还有新增风险。网易云音乐提倡，搬动贵州带来诸多新增风险，且经管难度高。部分场景无法作念到信得过环境全经由预演。在基础时刻建立上，也有一些不及的情况，影响举座搬迁本质后果、搬动准确性。
限度条款也严苛。云音乐有着深广的用户基数，这次搬迁要求：继续机搬动、不产生P2及以上事故。除此以外还有机器、网罗带宽、网罗褂讪性、网罗RT、搬动有筹办等限度条款。
总体来看，前述搬迁鼓吹、互助难度大。“这次搬迁规模大，雷同，参与东谈主员规模大，举座互助难度大。此外带来较多的东谈主因风险。可能因极小的细节未本质到位，就会变周至局事故。”网易云音乐时刻团队相关著述表态。
结构转念
回到网易云音乐运营来看，该公司处于结构转念期。
财报娇傲，2023年，云音乐营收78.67亿元，同比下滑13%；经转念净利润为8.19亿元，上年同期为亏蚀1.15亿元。
具体到业务来看，2023年，网易云音乐在线音乐就业收入为43.51亿元，同比增长18%。其中，会员订阅收入为36.49 亿元，同比增长20%，平均付费会员数同比增长15%达到4412万，月均ARPU值同比增长5%达到6.9元。非订阅收入为7亿元，同比增长6%。
但受战略影响，以直播为主要业务的酬酢文娱业务收入在2023年同比下滑34%至35.16亿元。付用度户为160万，同比普及20%，月均ARPU同比下滑45%达到179元。
好讯息是，网易云音乐毛利率在普及。2023年，该公司内容就业本钱45.99亿元，同比下滑31%，占收入比从2022年的75%下落至2023年的58%，主要因为音乐版权本钱十足值基本褂讪，转念了酬酢文娱业务的分红比例，收入因流量分拨转念等身分也有较大幅度的下滑，聚拢分红比例收窄，带来内容本钱的大幅缩减。
2023年下半年，网易云音乐毛利率较上半年进一步普及，达到28.7%。2023年举座运营用度的十足值同比小幅收窄。
2024年一季度，网易云音乐公布营收39.6亿元，同比增长3.6%。
客不雅上，结构转念亦然种行业性趋势。
财报娇傲，本年二季度，腾讯音乐营收71.6亿元，同比下滑2%；经转念净利润19.85亿元，同比增长25.7%。具体来看，在线音乐业务收入54.24亿元，同比增长28%；酬酢文娱业务收入17.36亿元，同比下滑43%。
其中，酬酢文娱MAU在二季度同比下滑31.6%至9300万。付用度户为790万，同比增长5%。季度ARPU为220元，同比下滑45%。
总体而言【IDBD-200】ごくり…！生唾必至の極エロボディセレクション，跟着竞争加重，网易音乐每一步齐需要更严慎。