当前位置：首页 > 抖音培训 > 正文

日活跃用户超6亿，扒一扒抖音背后的“黑科技”

2021-01-07 12:56:56 暂无评论抖音培训

粉丝经济时代，抖音成为现象级流量平台

在粉丝经济时代，抓住流量意味着拥有一切可能。抖音作为现今最火的短视频平台，日活跃用户已超过6亿，每天数以亿计的视频被播放、转发和评论。如此庞大的数据规模和访问压力，没有强大且稳定的IT基础设施显然是hold不住的。

即便内容创作者没有粉丝基础，但上传的视频内容足够优质，同样有机会成为点播量过千万的网红博主。这得益于平台的智能推荐机制，将短视频推送到对它感兴趣的用户面前，进而促进转发和关注，增加用户黏性。抖音火爆的背后，离不开IT发展带来的技术红利，今天我们就来扒一扒抖音背后的“黑科技”。

短视频平台如何将你想看的视频推送到你面前？

如下图所示，一条短视频从制作到呈现在用户面前，大致会经历以下过程：内容制作者负责拍摄视频素材、剪辑成片，并上传到短视频平台；短视频平台对上传的视频进行高度智能化的消重、审核以及特征识别，并根据识别标签自动匹配用户群进行智能推荐分发；最后，用户就能在移动端看到平台推送的各类短视频了。

图1.短视频从制作到呈现的全流程

海量视频场景，主流玩家为何青睐对象存储？

在上述流程中，短视频平台会将上传成功的视频存到对象存储中，基于对象存储实现视频内容从上传到处理再到分发的全生命周期管理。无独有偶，随着“互联网电视”的风靡，传统的数字电视业务（包括视频直播和点播服务）也在不断扩张，传统NAS已捉襟见肘，主流的服务提供商同样面临着向对象存储转型的刚需。

即便SAN、NAS、分布式文件系统等存储产品十分成熟，可主流玩家纷纷选择对象存储作为数字底座，原因何在？

海量空间成本可控

作为短视频领域的顶流，抖音的母公司——字节跳动每天处理的数据就超过50PB，存量数据早已达到EB级。另据亚太CDN产业联盟大数据平台监测统计，字节跳动及旗下公司的CDN峰值总带宽已超过100Tbps。

在传统的数字电视领域，趋势同样明显。以天威视讯为例，作为深圳地区数字电视服务的提供商，其用户规模超过百万级，存储需求早已突破PB级。面对海量存储、高并发访问以及大规模部署场景下成本优化等现实问题，传统的集中式存储显然无法应对，对象存储成为管理海量数据的必然选择。

基于HTTP协议访问更友好

大多数文件系统使用的是POSIX接口，而对象存储采用基于HTTP协议的RESTful Web API，应用端可直接通过HTTP协议读写数据，这更适合短视频、数字电视等涉及海量视频存储的应用场景。

海量视频文件读取性能好

在这类场景中，底层存储承载了动辄千万甚至上亿个文件，并发访问量也达到了前所未有的量级。对比文件系统，对象存储的扁平化数据结构，能够提供更好的访问性能。

另外，各类应用广泛采用元数据检索的方式进行数据管理，通过对元数据的匹配得到唯一索引，再据此找到并读取数据。对象存储的扁平化数据结构和K/V（键值对）访问方式更适合这样的数据管理方式。

MOS为海量视频存储而生

针对上述场景，杉岩基于MOS海量对象存储，打造了完善的海量视频存储解决方案，满足数字电视服务、媒资管理等应用场景对存储的需求，为广电、传媒等行业客户带来了新的选择。

图2.基于杉岩MOS的视频存储解决方案

匹配海量视频场景

MOS存储集群可弹性扩展至数千个节点，提供EB级容量、百TB级聚合带宽，轻松应对海量存储和高并发访问压力，应用无感知扩容。

为视频处理提供支撑

MOS集成智能数据处理引擎，可对视频内容进行二次加工，比如智能压缩、智能标签等等，同时提供精细化的检索工具，快速获取视频内容。此外，MOS支持引入第三方视频处理插件，实现数据处理能力的按需扩展。

丰富的管理策略

MOS提供基于标签控制的共享、转移、删除等策略，结合智能数据处理引擎的自动标签、智能处理等能力，实现视频内容在上传、存储、处理、分发等阶段的自动化管理，在提升业务效率的同时，也简化了管理运维。

综合成本优化

MOS通过大比例纠删策略提升硬盘空间利用率，通过数据重删和压缩特性缩减无效数据，通过数据自动分层均衡容量与成本，通过配置大容量数据盘和恰当地服务器硬件节省硬件开支，这使得综合成本显著降低。

市场认可度高

从市场认可度来看，在IDC发布的《IDC China SDS Object Market Overview（2020 Q2）》报告中，杉岩对象存储软件市场份额名列第二。至今已累计服务数百家行业客户，产品及方案成熟，赢得了客户一致认可。

图3.杉岩对象存储软件市场份额排名国内第二

成功实践：帮助天威视讯搭建近5PB视频存储平台

天威视讯是我国有线电视网络行业的第一家股份制企业，负责深圳地区有线电视及宽带网络的建设、经营和维护，提供有线电视收视服务、电视增值业务以及互联网接入服务等。

2020年初，天威视讯采用杉岩MOS海量对象存储作为中心CDN的后端存储。该项目部署7节点对象存储集群，总存储空间近5PB。新建的存储系统通过S3接口与威视云平台的中心CDN完成业务交互，实现直播频道的实时注入和点播节目的非实时注入，以及二级CDN回源流量的分发。集群带宽高达90Gbps，为视频直播、点播服务提供稳定支撑。