腾讯云音视频技术开发实战沙龙:干货满满,收获颇多

  • 时间:
  • 浏览:8
  • 来源:bet登录入口网站

原标题:腾讯云音视频技术开发实战沙龙:干货满满,收获颇多

  有奖调研

1TB硬盘等你拿 AI+区块链的发展趋势及应用调研

【51CTO.com原创稿件】近年来,得益于移动互联网的普及和智能终端设备的广泛应用,短视频、直播、在线教学等各类形式的音视频通信模式风靡大众,成为大伙日常沟通的新模式。音视频功能为用户带来了沟通的便捷性,也启发了应用平台基于音视频功能开拓业务模式的创新思路。不可敲定的是,使用起来很“普遍”的音视频通话功能不可能 是使用起来很“酷”的短视频功能,在底层技术开发上却有“千山万水”需要踏遍。

腾讯凭借在QQ、腾讯视频等海量业务发展过程中,在音视频领域多年积累的核心技术与优势能力,集成了一体化的云视频处里方案,为包括在线教育、视频社交、视频网站新媒体、广电网络电视等应用领域,提供囊括基础网站及数据,内容生产及架构设计 ,用户及内容运营的一揽子服务,都需要说是音视频行业的领军人物。

对于音视频技术研发中的高门槛、重投入的痛点,腾讯云+社区推出了“音”你而来,“视”而可见--音视频技术开发实战沙龙活动。在活动中, 腾讯视频云资深产品经理王奇,腾讯音视频实验室高级工程师张轲, OnVideo视频创作平台CTO刘歧,腾讯高级产品经理董燚,腾讯视频云终端技术总监常青,进行了精彩演讲。

腾讯视频云产品全景

王奇 腾讯视频云高级产品经理

王奇:2011年毕业后,先后在华为、网宿及腾讯从事产品经理工作,先后负责无线网通信、直播、互动直播与实时音视频等产品的需求规划、市场分析、宣传推广工作,近距离的了解并提炼客户需求,以较合理的土土法律法律依据实现,对音视频行业的发展趋势有较深理解。

从视频行业的发展来看,从黑白到彩色电视,从线上点播视频到直播千播大战,从连麦互动到实时音视频沟通,视频总爱在处里用户信息获取的痛点。在未来娱乐的同時 是是不是能结合社交,不可能 满足用户认同感和自我尊重的获得,不可能 是用户粘性都需要提高的另一个 关键点; 信息获取方面,内容是最为重要的,短视频继直播时候崛起,不无道理;最后如可结合新的行业技术,从内容的产生到内容的消费,进行闭环,是腾讯云规划的另一个 重点。

十余年来,腾讯云为QQ、微信、QQ空间等业务提供互联网服务能力,为企业提供公有云、混合云、专有云、金融专区等云服务,所含IaaS、PaaS、SaaS,并提供万象优图、人脸识别、大数据分析、机器学习、音视频技术、安全防护等全球领先的互联网技术;同時 向不同垂直行业的客户(所含政务、电子商务、O2O服务、游戏、视频直播以及互联网金融等)提供优质的行业处里方案。

作为腾讯连接互联网生态的重要桥梁和开放战略的重要组成次责,腾讯云坚信以高速(speed)、稳定(stability)、安全(security)为竞争核心的3S品牌理念, 继续加强云基础设施投入,全力支持各行各业的协作土土法律法律依据伙伴在“互联网+”领域的实践,共建云端生态。

接下来,王奇主要对点播、直播、实时音视频、短视频,以及视频+AI一个产品进行了完整篇 介绍。

2018腾讯云视频及通信产品矩阵图

1. 点播

根据制作成本、播放土土法律法律依据,大致都需要分为四类:PC端的视频,如优酷、土豆、腾讯视频等;传统广电,如芒果TV和CNTV;最近火爆的短视频;在2015、2016年一阵一阵火的直播应用,都需要把直播的内容录制下来,转成点播。

腾讯云的点播支持UGC内容、版权视频、自媒体内容、直播录制。都需要通过短视频的SDK、WebSDK、本地上传、API上传,传到云端,进行冷热存储和视频的媒资管理。都需要对点播的内容进行区分,不可能 需要进行在线播放,就把它作为冷资源进行存储,不支持随时调用。

2. 直播

直播平台的另一个 非常明显的趋势要是我“直播+”。直播和点播的形式,本质是承载信息,随着基础网络设施的完善,视频必将承载更多的信息。

此外,“互动”、“广告”也是直播平台的另一个 趋势。

直播跟点播一样,是非常难的另一个 技术。它需要基础服务、音视频计算、直播加速网络、终端能力、社交互动系统。需要耗费多量的人力和时间。腾讯云把这块基础的能力提取出来,为大伙提供平台服务,倘若手里有靠谱的主播,几周就都需要快速上线。目前,超过1000%的Top1000的直播平台用的是腾讯云的服务,这来源于腾讯云积累了十几年的音视频技术。

3. 实时音视频

目前,腾讯云在APP基础上提供了微信公众号和微信小任务管理器,以及手机QQ、谷歌浏览器等多端的通信能力,合适在各个终端都都需要进行通信。这要是我腾讯云融合的视频通信能力。

腾讯云的实时音视频支持腾讯结构1000%的音视频的需求。结构客户不可能 超过1000家。

4. 短视频

“抖音有的大伙的SDK完整篇 都是”。短视频是点播的这种。区别在于短视频提供了其他其他架构设计 拍摄、剪辑拼接、特效制作、混音字幕、动态贴纸功能。SDK跟点播后台是无缝对接的,点播的所有功能:上传、转码、存储、架构设计 等功能完整篇 都是互通的。

5. 视频+AI

视频+AI涉及了非常多的与AI相关的功能,比如暗影高清、智能字幕、语音识别等。

腾讯云H5双向音视频语音质量优化

张轲 腾讯音视频实验室 高级工程师

张轲,10004年参加工作,2011年加入腾讯。现任职腾讯音视频实验室高级工程师,曾负责QQ自研音视频引擎SPEAR的设计,开发,运营等工作,近年来专注于QQ语音通话,腾讯云实时SDK,腾讯云H5双向音视频,游戏多媒体引擎GME等的QOE提升上。

CallStatus.io公司中途中断;10% -15%的用户反馈显示通话质量不好;有7%左右的大丢包;有95%左右的用户往返流失在240毫秒以下。

H5 双向音视频(T-H5)是腾讯云基于 QQ 十多年来在音视频通话技术上积累,结合腾讯浏览服务 TBS WebRTC 能力与腾讯实时音视频 SDK ,为客户提供多平台互通高品质视频通话能力的一款产品,终端用户只需要在手机 QQ/微信/QQ 浏览器和其它所有接入了 TBS 的 APP 中,通过 H5 页面发起视频请求,即可轻松接入企业的实时视频服务。

H5双向/多向音视频处里方案提供了这种差异化服务质量:

1:TBS和 Chrom等浏览器对通,支持WeBRTC规范的互通。

2:TBS 之间互通仍然是WeBRTC的互通,但都需要做其他WeBRTC内核级别的Bug FIX,以及其他高级扩展。

3:TBS 与NativeSDK互通,提供了差异化的通信质量。

服务器端实现SFU/MCU质量控制示意图

上图是后台音频质量控制系统示意图,在拓扑层面,提供SFU 和 MCU这种模式。时候通过三级决策机制来保障转发环节的质量。

张轲总结了FEC应用要点:设计一套好的FEC算法。

1:抗丢包算法要纳入拥塞控制算法,需要是我网络自适应的,这是非常重要的前提。

2:如可在保证抗丢包能力的前提下减少冗余流量。

3:如可最大化发挥各种FEC机制的优点:场景反馈。

4:FEC算法,分组大小的选择,对流量、延时、抗丢包性能的影响均要考虑到,这是通用思考土土法律法律依据。

5:动态冗余率机制,收敛速率。

6:FEC效果评价。

7:一对多场景,需要针对每路接收定制化FEC保护方案。

张轲表示,优化是永无止境的课题。WebRTC从M56到前二天发布的M66版本,WebRTC处里了10000多个Bug。

在线音视频素材创作合法化实际应用

刘歧 OnVideo视频创作平台 CTO

刘歧, 10007 年毕业参加工作,总爱从事图形图像及音视频流媒体相关工作,FFmpeg 官方代码开发者及顾问,曾供职于蓝汛,高升,金山云任职为架构师/技术总监/资深技术专家,现创业开发在线多媒体创作平台,主要包括素材汇聚,音视频在线处里等等,《FFmpeg从入门到精通》作者。

OnVideo致力于打造另一个 专业级的云端视频创作平台,人人都能上手并快速地创作专业级影片。

OnVideo主要有以下哪几块功能:

云端素材汇聚、素材裁剪与精编辑、多平台发布与运营、超高清视频生成、全球节点部署。

其中,云端素材汇聚包括:国内视频素材对接与处里、国外视频素材对接与处里、非常规类网站素材处里。素材裁剪与精编都需要对音视频进行:裁剪与拼接、转场特效、文字处里、模板定制、滤镜处里、调色处里等操作。多平台发布与运营不仅都需要与国内视频平台发布接口对接,还都需要和国外视频平台发布接口对接。超高清视频生成主要用到的是Super-Resolution Using a Generative Adversarial Network(SRGAN)、Super-Resolution Convolutional Neural Network (SRCNN)和腾讯云的明眸处里方案。OnVideo不可能 在大陆、东南亚、欧美部署了节点。

音视频处里素材库各种各样,所含种类繁多,不可能 是UGC业务,PGC 与 UGC 技术方面指在着素材上传速率低下、格式兼容千奇百怪、Metadata 内容支持、拼接处里异常支持的等问題。在业务反面又指在着用户视频素材涉黄涉恐、用户视频内容踩红线等问題。为了处里合法化和安全化问題,OnVideo采用腾讯云平台进行相关的处里,处里了根本问題。

未来,OnVideo将在 自动编排视频、自动去 logo、AR 支持等方面继续努力。

小任务管理器音视频典型应用场景剖析

董燚 腾讯视频云高级产品经理

董燚,先后供职于乐视云、腾讯云。现为腾讯云小任务管理器处里方案产品负责人。善于深入的探索行业,反复地尝试创新,实现行业落地。

小任务管理器中运用实时音视频,是微信发展的大趋势。小任务管理器为速率而生,音视频的融入将提供减慢捷、更便利的服务模式。首先,相较于H5,小任务管理器的体验更优。其次,不可能 有量的优势,小视频的价格更优。第三,小任务管理器带来了更好的分享体验。

噪声消除、回声抑制、Qos流控、丢包恢复等是自行实现音视频功能面临的困境。微信也对音视频提出了更加苛刻的要求。

微信将音视频所需的端能力进行封装,以小任务管理器标签的形式提供给开发者

腾讯云提供底层音视频组件,助力微信生态。有了腾讯云的小任务管理器处里方案,客户完会考虑整个音视频的处里技术,只需集中精力完成业务次责。

接下来,董燚分享了小任务管理器音视频在教育、医疗等场景下的落地。

构建另一个 小任务管理器音视频应用

简单极致,是腾讯云音视频小任务管理器处里方案的产品理念。

董燚完整篇 介绍了在线车险理赔的业务场景模式。保险理赔流程长,时候体验很差,而开发APP性价比很低。

其中,有另一个 核心的流程:报案、查勘、赔付。报案首没法考虑的要是我速率。在查勘过程中,图片容易伪造。保证实时通话交流更顺畅,可信度高,是重中之重。

微信小任务管理器:车险理赔

一键报案、智能定损、坐席拍照、从根本上处里了内网穿透问題、硬件落地问題、引流转化问題。

在司法场景中完整篇 都是着诸多痛点。首先对于法院来说,不可能 被委托人在其他城市,需要往返奔波,时间、精力耗费巨大,而民商事简易任务管理器、小额诉讼,被委托人双方对判决结果完会有太多争议。第二,对于检察院来说,律师办理阅卷、听取意见、律师会见等业务均需要律师到检察院现场提交预约申请,检察院将申请反馈给对应的经办人安排接待时间,而后通过电话或短信等的土土法律法律依据通知律师到现场办理业务。流程多样化,律师需要在路途上花费多量的时间。第三,对于司法局来说,法律咨询有较强私密性,群众不愿轻易到现场寻求服务不可能 另一个 城市几十到几百名律师在呼叫中心每天接待群众电话咨询,成本消耗大。人民调解形式单一,以线下调解居多,不都都都还可以很好摆脱地域限制进行调解。

智慧司法:让信息多跑路,让群众少跑腿

上图是法院小任务管理器的Demo,被委托人都需要通过小任务管理器完成注册、咨询引导、纠纷申请、提交审核、远程调解协议签收整个过程。并通过智能语音识别自动记录所有笔录。纠纷类案件可快速、有效的处里完毕,让群众少跑腿。

被委托人通过小任务管理器都需要完成诉前引导、立案、诉讼、庭审、文书送达全流程闭环,完会反复前往法院,极大节省了精力、时间。全链路加密,每次均使用不同的非对称密钥,保障安全性。并通过智能笔录转写还原庭审完整篇 内容,大幅减轻书记员工作量。

群众都需要一键了解司法知识,发起法律咨询,全链路加密,确保隐私,使用便捷、易于推广,咨询律师不受地点限制,都需要更广泛的调动律师资源、降低成本。群众还都需要通过小任务管理器视频远程进行预约、申请在线视频调解,摆脱地域限制;有针对性指在理行业性、专业性的调解。

小任务管理器都需要通过真人身份核验确认律师身份,律师可完会到检察院,在线预约,在线与案件经办人“面对面”听取意见,不受恶劣天气影响,处里来回奔波。

整个核身过程所含身份证OCR、唇语活体鉴别和人脸识别技术。人脸识别过程中,腾讯优图技术比对手机端自拍照和储存于公安部证件查询中心的身份证,以此保证用户身份的真实性与安全性。

董燚表示,出于政策合规性考虑,微信只对以下哪几块类目开放了小任务管理器音视频能力:社交、教育、医疗、政务民生、金融,时候每另一个 类目,完整篇 都是有其他其他相关资质要求。

小任务管理器音视频技术实现以及在相关行业的实际应用

常青 腾讯视频云终端 技术总监

常青,10008 年毕业加入腾讯,总爱从事客户端研发相关工作,先后参与过 PC QQ、手机QQ、QQ物联 等产品项目,目前在腾讯视频云团队负责音视频终端处里方案的优化和落地工作,帮助客户在可控的研发成本投入之下,获得业内一流的音视频处里方案,目前产品线包括:互动直播、点播、短视频、实时视频通话,图像处里,AI 等等。

常青的演讲从市场前景、原理剖析、技术演化、WebRTC、快速上手五方面进行展开。

音视频能力总爱以来完整篇 都是小任务管理器上的另一个 短板,微信产品的市场定位是对用户的。这完整篇 都是了比较高的要求。第一要开源;第二接口需要简单,另一个 标签就能完成;第三是定制性强;第四,出了问題要方便检查。2017年 Q4, 腾讯视频云终端团队与微信团队同時 协作土土法律法律依据,将腾讯视频云的技术积累以SDK的形式落地到了微信版本上,从而为小任务管理器增加了直播和实时音视频能力。

标签 + 内核

在音视频处里方案里,把所有的问題都拆解成上行和下行,困难就迎刃而解了。

上行,要是我把音视频的画面和声音送到云上去,要经过哪几块基本过程。第另一个 架构设计 ,比如图片不可能 声音的模拟信号,时候转成数字信号。架构设计 时候做基础处里和降噪处里。第二是编码。生成网络时候,把它传到服务器上去。

下行则相反。网络并完整篇 都是永远都平稳,其他其他要在播放器上准备另一个 “应急仓库”,用以处里缓冲较大的问題。

技术演化路线图

如上图所示,从在线直播到远程遥控,到双向视频,再到多人视频,分别加入了UDP加速、延时控制、噪声消除、回声抑制、Qos、丢包恢复、房间管理、IM系统等技术。

小任务管理器 vs WebRTC

小任务管理器和WebRTC各有千秋,时候不可能 把二者融在同時 ,就会有事半功倍的效果。

小任务管理器 + WebRTC

最后,常青总结了使用腾讯云音视频处里方案快速上手的步骤:

1.授权登录腾讯云。

2.开通标签使用权限。

3.开通腾讯云服务。

4.安装小任务管理器开发工具。

5.下载Demo。

此次沙龙活动现场火爆,有1000余名音视频爱好者参加,体验区也吸引了众多的开发者,参会者纷纷表示干货颇多,收获满满!

【51CTO原创稿件,协作土土法律法律依据站点转载请注明原文作者和出处为51CTO.com】