426 次阅读
标签：至少1个，最多5个
欢迎大家前往，获取更多腾讯海量技术实践干货哦~
本文由 BestSDK 团队发布在腾讯云+社区
2016 年中国移动短视频用户数为 1.5 亿，今年预计会达到 2.4 亿，增长率高达 58.2%，可见短视频的热度在一直提升；近几年，短视频的生产模式在不断演进，从 UGC 到 PGC，再到最新的 MCN，内容的产能和质量均得到了巨大提升。
短视频发展史
图 1 所示是短视频及直播的发展史，众所周知，2016 年是直播元年，在这期间诞生了很多直播平台，比如熊猫、映客、斗鱼等；而在 2017 年，短视频的火爆程度并不亚于直播，可能大家都以为短视频是从 2017 年开始火爆起来的，但其实早在 2015 年就已经诞生出快手、秒拍、美拍等短视频 App。
图 2 所示是短视频在各个行业的综合应用。
研发短视频 App 的难点
前面介绍完有关短视频的历史以及发展趋势，下面着重介绍一下关于短视频开发需要的预备知识及难点：
1、音视频领域固有门槛
深刻理解音视频编码格式 H.264 和 AAC 的编码细节；混音时如何将两个音频调整到一致的参数，使用什么样的算法去混合等等。
2、图形图像、OpenGL 处理
摄像头预览数据，图像处理，音视频编解码都需要了解 RGB 和 YUV 色彩空间的数据格式，以及它们之间转换的方式等等。
3、平台相关
要对相应平台的摄像头、麦克风、编解码、多媒体处理等 API 十分熟悉，否则它们的一些坑会耗费你大量时间。
4、高级功能
视频编辑少不了特色和高级的功能，例如美颜，滤镜，MV 特效，倍数拍摄，文字特效等，每一个高级功能都对各方面技术提出很高的要求。
5、系统版本，机型等兼容性问题
这算是一个老生常谈的问题，无论 iOS 还是 Android，机型和系统版本都越来越多了，必然会带来兼容性问题。比如会有小部分 Android 机型编码的视频在 iOS 端播放不了的情况，类似这种兼容性问题都是需要进行解决的。
6、性能以及资源占用的优化
移动应用的计算资源受到相应系统的严格制约，在进行音视频采集，渲染，编码等复杂计算的同时，还要确保应用有足够的资源流畅运行，这要求开发人员有丰富的调优能力。
短视频 SDK 架构设计
接下来介绍一下我们团队在进行短视频 SDK 实践中主要做的一些事情，这其中最重要的就是短视频 SDK 的架构设计，包括架构设计理念、架构图、整体数据流程、模块架构设计等。
1、SDK 架构设计理念
说到 SDK 的设计理念必定要提到命名规范，就跟七牛的企业理念「简单.可信赖」一样，我们的命名规范是统一、简单并且精炼的，比如我们将对外的核心类统一以 PLShortVideo 为前缀，如图 3 所示分别是录制、编辑以及剪辑等模块的命名；参数配置类则均以 PLxxxSetting 为标准进行命名（图 4）；接口回调类则均以 PLxxxListener 为标准命名。
第二点我们遵循的是高模块化、模块可插拔的一个理念；高模块化必须要保证每个类每个方法都「名副其实」并「各司其职」，这样才能编写更清晰的逻辑；高模块化同时可以促进高复用，减少重复代码；图 5 所示是 SDK 内的转码核心类，因为编辑、剪辑在最后保存的时候都需要一个解码并重新编码的过程，在这里，转码核心类可以达到一个高复用。
图 6 所示为短视频 SDK 的包体划分，从表中我们可以清晰地看到每个包体的功能划分，不同的功能放在了不同的包体当中。我们并没有使用 ffmpeg 的软解软编，而是尽量使用 Android 和 iOS 的系统 API 进行硬编硬解，这样不仅减少了包体大小，而且速度要快很多，尽管在技术层面上会增加很多难度，会踩很多坑，但我们还是坚持选用这个方案。在引入第三方库时，我们也都是会经过充分配置和裁剪去严格控制包体的大小，这样一来，所有包体总和才能有现在「小而精」（1.5M）的成果。表中最后的内置滤镜模块，其中的滤镜资源可以选择性拷贝，SDK 内部会自动判断。这是关于模块设计方面的一些理念。
第三点是要和 UI 解耦，如图 7 所示，是从不同 App 中截图得到的画面，可以看出每一个App 都有各自的设计，作为一款短视频 SDK，是绝对不可以在 UI 方面限制客户发挥的。市面上有些短视频 SDK 将 UI 写死并作为 SDK 的一部分，这样对于客户在设计 UI 界面上来说，是非常不友好的；我们采用的是另一种方法，SDK 与 UI 进行解耦，客户的 UI 是可自定义的，整个 SDK 中接受 view 的地方只有一处：
接着是扩展性这一块，我们遵循高扩展，开放性的理念。在录制以及编辑过程中，都会有数据的回调并支持第三方库进行美颜，滤镜，贴纸，特效等功能。
2、短视频SDK架构
图 8 所示为 Android 短视频 SDK 的架构图，可以划分为四层。第一层为应用层；第二层为 SDK 对外的接口层；第三层为核心层，主要是内部的一些模块；第四层主要是 Android 系统层。
图 9 所示是整体数据流程图；输入模块支持通过两种方式采集数据，一种是通过摄像头和麦克风采集数据，采集到的数据可以进行数据处理，另一种则是通过文件导入并进行解码处理；编辑模块有着十分丰富的功能比如添加字幕、MV 特效、添加背景音乐等等；编码模块主要支持 H.264 软编/硬编以及 ACC 软编/硬编。下面将着重就几个模块进行介绍。
图 10 为录制模块的示意图。录制模块的重点在于帧数据获取，除了可以通过摄像头获取视频帧，还可以通过屏幕录制获取视频帧，而音频帧数据主要还是通过麦克风进行获取；虚线部分的 Filter 模块主要实现了内置美颜/滤镜功能，另外因为有纹理和 YUV 数据的 CallBack 回调机制，所以也支持第三方库的美颜、滤镜、特效等功能；处理后的数据会经过 OpenGL 进行裁剪，缩放，旋转等操作，这些工作虽然可以由 CPU 来进行，但是会比较耗时，利用 GPU 是更明智的选择。
图 11 所示为编辑模块的示意图。首先需要导入一个视频文件，解包之后会得到相应的帧数据，接着分别通过音视频解码器得到 PCM 和纹理，然后把它们送进编辑引擎，在这里面可以进行各种各样的处理数据经过编辑之后，与录制相同会分两路，其中一路进行播放渲染，另一路会进行转码保存。
图 12 所示是 MV 特效的实现思路。通过摄像头采集的数据无需解码，而 MV 视频文件的帧数据则需要解码后才可以进行处理。SurfaceTexture 的主要作用是将解码后的数据帧进行回调通知你可以在 OpenGL 线程中更新纹理了，这个通知可以是多线程同时进行的操作，所以在帧回调时一定要对其进行上锁，防止出现 MV 画面之间不同步的问题。
图 13 为日志系统的模块图。日志系统主要是为了方便排障，快速定位问题以及调试问题，我们会将 SDK 版本、设备机型、系统版本，关键配置等一一进行输出，以方便用户根据这些信息进行排障。
当然，研发过程不可能一帆风顺，总要踩过一些坑才能使整个 SDK 更加完善。下面就列举一些我们踩过的坑以及排查的过程。
部分视频剪辑出现花屏
我们通过对客户提供的一些样本视频进行分析后，发现出问题的都是带有双向引用 B 帧的 High profile 视频，如图 14 所示，B 帧（3）位于中间，其引用左右两边的 P 帧（2、4）在显示时是这样的顺序，但是在进行帧存储以及视频解码时，B 帧（3）是在这 2 个 P 帧其后的。
最后给大家分享一句话，也算是对自己的一个鼓励，就是「Fake it until you make it」。对于我们客户端团队，要将 SDK 打磨到最完美的状态我们进行了很多尝试，也历经了很多血泪，最后才有今天的成果，我们需要努力的地方也还有很多，也会再接再厉，谢谢大家！
问答 更多与短视频相关的，尽在腾讯云+社区！
此文已由作者授权腾讯云+社区发布，转载请注明
原文链接：
0 收藏&&|&&2
分享到微博？
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。个回答我能想到的是你没有购买资源，以及没有配置licence，安好检查你的licence配置是否正确，是否购买了资源购买了没？红客学院 · 创始人 (已认证)做测试用的话。可以登陆腾讯云在线申请为期两周的基础版试用LICENSE。来使用，腾讯云这方面还是很良心的认真看文档才是出路，我只能帮你到这里了，自己的事，还是得自己解决https://cloud.tencent.com/document/product/584/9368SDK 有两种版本和两种授权 LICENSE:SDK 版本分为基础版和商业版，区别在于AI特效的有无；LICENSE 分为基础版和商用版，基础版需要申请基础功能的license；商业版除了要申请基础功能的license外，还需要申请AI动效的license；两种都可申请试用版的license。扫描二维码扫描关注云+社区腾讯云短视频sdk哪里买比较便宜呢？_百度知道
腾讯云短视频sdk哪里买比较便宜呢？
选择哪种付费方式比较划算呢？
我有更好的答案
亲是这样：（腾讯云提供采集、剪接、特效、分享、播放等客户端组件），然后基于快速上传、转码、存储等强大云端能力，整合腾讯的IM、社交、用户画像等数据，令开发者可以轻松制作出基于移动端的短视频内容业务。短视频服务的费用使用腾讯云点播服务当的预付费套餐方式计费，根据情况选择套餐，不过我也不懂这个，是问了（腾讯云蓝色航线才搞明白的），他们非常热情。帮公司很大忙还打了很低的折扣。
采纳率：40%
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。互联网中间件
域名与网站
开发者工具
人工智能（AI）
大数据基础服务
大数据可视化服务
大数据应用服务
行业解决方案
大数据与AI解决方案
物联网解决方案
安全与运维解决方案
微信解决方案
微信小程序
服务与培训
短视频 UGSV
基于快速上传、转码、存储等强大云端能力，令开发者可以轻松制作出基于移动端的短视频内容业务
关于短视频
点击观看短视频拍摄
点击观看短视频制作
点击观看特效剪辑
短视频 ( User Generated Short Video，UGSV )，基于腾讯云强大的上传、存储、转码、分发的云点播能力，提供集成了采集、剪辑、拼接、特效、分享、播放等功能的客户端 SDK，并整合腾讯的 IM、社交、用户画像数据以及最顶尖的 AI 人脸识别和图像检测技术，帮助用户聚焦业务本身，快速轻松实现基于移动端的短视频应用。
扫码体验&Demo
社交创意短视频
用户在移动端可自由拍摄短视频，可采用美颜滤镜、动效挂件、特效插件、绿幕抠像、智能剪辑和拼接等功能来制作视频，将个人创意加入短视频，通过快速上传实时与他人分享精彩内容。
在移动端聊天过程中，通过随拍随传的短视频传递更生动的信息，突破传统图文聊天方式、实时短视频使聊天更有趣，气泡字幕加实拍短视频可实现更高效更真实的互动。
短视频新闻
通过移动端实时拍摄的新闻内容，与他人分享身边的最新资讯，比传统图文信息更具可读性和真实性。短视频的快速上传、智能编辑和云端存储，让更多读者更快看到有趣且真实的新闻内容。
特定场景的专业咨询可通过高效且方便的短视频传递更加丰富和真实的解答，专家精心录制的短视频与气泡字幕配合，可有效且快速地解答问询者的疑问，提升咨询效率和准确性。
用户可在现场实时拍摄和剪辑竞技实况，将精彩且关键的环节分享给全网关注者。通过快速上传，将最新赛况同步分享，结合短视频的特效制作、智能剪辑等更能引爆赛事相关讨论。
多种屏比拍摄
多种屏比切换
支持多种屏比拍摄和切换、拍摄控制、变速控制、分段录制、背景音乐、基础美颜和高级美颜等
支持帧时间线、按帧预览、截取游标、设置速度等
支持&AI&贴纸、AI&抠图、绿幕抠像、时间特效、滤镜特效、变声特效等
选择声音文件
截取声音片段
设置声音大小
选择字幕容器
设置字幕起始帧
支持选择声音文件、截取声音片段、设置声音大小、选择字幕容器、设置字幕起始帧和文字设置等
贴纸起始帧
支持选择动态或静态贴纸、设置贴纸位置、设置贴纸起始帧等
购买短视频&SDK
体验版&SDK
您可以免费试用短视频基础版&SDK&28&天
包含：短视频&SDK&基础版&28&天使用权限。
基础版&SDK&1
包含除需要人脸识别能力支撑的全部功能，购买资源包即可获得
包含：短视频&SDK&基础版一年使用权限，及&50T&点播流量，有效期为一年
基础版&SDK&2
包含除需要人脸识别能力支撑的全部功能，购买资源包即可获得
包含：短视频&SDK&基础版一年使用权限，及&100T&点播流量，有效期为一年
商业版&SDK
可以使用&AI&人脸识别高级功能，授权费用为&500000&元/年
请拨打&&联系我们的商务团队，以腾讯云点播资源带宽/流量置换的方式，获得短视频商业版&SDK&的折扣价格，或从下方申请试用
丰富可扩展
集成&SDK&后，可通过摄像头拍摄，也可从直播中截取生成文件。
可直接在手机端进行剪辑、拼接、添加滤镜、人脸挂件、绿幕抠像等特效制作，令开发者的&APP&具备多种短视频创作玩法。
强大的云端配套
结合腾讯云点播服务的云端能力，可以让用户的作品快速上传存储到云端，并由腾讯云点播服务无缝提供快速转码、鉴黄和视频分发。保证用户的作品能在第一时间分享、观看。
教你一步一步接入短视频 SDK
关注公众号，移动管理云服务
长按识别或截图保存关注公众号，移动管理云服务互联网中间件
域名与网站
开发者工具
人工智能（AI）
大数据基础服务
大数据可视化服务
大数据应用服务
行业解决方案
大数据与AI解决方案
物联网解决方案
安全与运维解决方案
微信解决方案
微信小程序
服务与培训
互动直播ILVB客户案例卓越的音视频质量端到端延时小于400ms；抗丢包率超过30%，抗800ms的网络抖动；支持百万级超大规模互动房间，支持千万级同时并发在线。SPEAR 音视频通信引擎新一代音视频媒体传输、处理引擎；采用传输通道选路智能化，流控策略控制云端化，分布式混音等技术手段覆盖全球接入点覆盖国内和国外主要国家，完善的智能接入系统可以为用户选择质量最佳的通道。产品架构功能介绍跨平台互通支持Android、iOS、PC、Web主流平台开播、观看及互通；支持一对多，多对多的互动直播，满足视频社交、在线教育、远程医疗等多种应用场景。音频通信支持窄带、宽带语音链接，保证高质量音频通信。视频通信支持最高720P高清视频，云端流控策略优化，保证高质量视频通信。手势识别手势识别是专门用于跟踪和识别流媒体中人物手势的 SDK，使用自研的级联网络架构,基于 caffe 完成模型训练,利用腾讯终端前馈计算框架进行终端运算,从而达成框选与识别流媒体中的手势，准确率高，体积小，性能优异。桌面分享支持全屏及选定区域的桌面分享，支持清晰（）、流畅（920×720）2种分享模式。录制支持云端录制，结合腾讯云点播服务及其完善的API可实现存储、转码、分发等功能。旁路直播支持旁路直播，结合腾讯云直播服务可实现HLS、RTMP的直播下发。腾讯登录服务TLS支持自有账号体系登录集成；支持QQ，微信，新浪微博等第三方开放账号体系登录集成。产品价格
互动直播的费用由基础网络费用、附加能力费用、技术支持费用三部分组成
SDK下载SDK资源文档常见问题新手指南开发指南快速直达
关注公众号，移动管理云服务
长按识别或截图保存关注公众号，移动管理云服务