tryit-jssip看到声网总结的18个开源项目，特此向各位同行分享下；实时音视频的开发学习有很多可以参考的开源项目。一个实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等。 我们今天汇总了一些能帮助到正在学习或进行音视频开发的实时音视频开发者们的开源项目与几个也在为开源社区贡献力量的商业服务。这些项目分为几类：音视频编解码类、视频前后处理、服务端类等。音视频编解码类开源项目视频编解码的作用，就是在设备的摄像头采集画面和前处理后，将图像进行压缩，进行数字编码，用于传输。编解码器的优劣基本在于：压缩效率的高低，速度和功耗。 目前，主流的视频编码器分为3个系列：VPx（VP8，VP9），H.26x（H.264，H.265），AVS（AVS1.0，AVS2.0）。VPx系列是由Google开源的视频编解码标准。在保证相同质量情况下，VP9相比VP8码率减少约50%。H.26x系列在硬件支持上比较广泛，H.265的编码效率能比上一代提高了30-50%，但是复杂度和功耗会比上一代大很多，所以纯软件编码实现的话有一定瓶颈，现有的技术下，还是需要依靠硬件编解码为主。AVS是我国具备自主知识产权的第二代信源编码标准，目前已经发展到第二代。WebRTC首先会用到的肯定是WebRTC，是一个支持网页浏览器进行实时语音对话或视频对话的开源项目。它提供了包括音视频的采集、编解码、网络传输、显示等功能。如果你想基于WebRTC开发实时音视频应用，需要注意，由于WebRTC缺少服务端设计和部署方案，你还需要将WebRTC与Janus等服务端类开源项目结合即可。官网地址：https://webrtc.org/x264H.264是目前应用最广的码流标准。x264则是能够产生符合H.264标准的码流的编码器，它可以将视频流编码为H.264、MPEG-4 AVC格式。它提供了命令行接口与API，前者被用于一些图形用户接口例如Straxrip、MeGUI，后者则被FFmpeg、Handbrake等调用。当然，既然有x264，就有对应HEVC/H.265的x265。官网地址：https://www.videolan.org/developers/x264.htmlFFmpegFFmpeg大家应该不陌生，提供了编码、解码、转换、封装等功能，以及剪裁、缩放、色域等后期处理，支持几乎目前所有音视频编码标准（由于格式众多，我们就不一一列列举了，可以在Wikipedia中找到）。同时，FFmpeg还衍生出了libav项目，从中诞生了视频解码器LAV，许多播放软件都可调用LAV进行解码，并且LAV本身也支持利用显卡进行视频硬解。很多主流视频播放器中都以FFmpeg作为内核播放器。不仅仅是视频播放器，就连Chrome这类可以播放网页视频的浏览器也受益于FFmpeg。很多开发者也基于FFmpeg做过很多开发并开源出来，比如大神雷霄骅（代码可见他的sourceforge）。官网地址：http://ffmpeg.org/ijkplayer在介绍ijkplayer之前，要先提到ffplay。ffplay是一个使用了FFmpeg和sdl库的可移植的媒体播放器。ijkplay是Bilibili开源的基于ffplay.c实现的轻量级iOS/Android视频播放器，API易于集成，且编译配置可裁剪，利于控制安装包大小。在编解码方面，ijkplayer支持视频软解和硬解，可以在播放前配置，但在播放过程中则不能切换。iOS和Android上视频硬解可分别使用大家熟悉的VideoToolbox和MediaCodec。但ijkplayer对音频仅支持软解。Github地址：https://github.com/Bilibili/ijkplayerJSMpegJSMpeg是一个基于JavaScript的MPEG1视频的解码器。如果要做H5端的视频直播，可以考虑使用JSMpeg在移动端进行解码。在H5端做音视频直播，可以使用JSMpeg进行视频解码，这也是最近比较火的H5抓娃娃的主流策略。Github地址：https://github.com/phoboslab/jsmpegOpus音频编码器Opus是用C语言开发的一个高灵活度的音频编码器，针对ARM、x86有特殊优化，fix-point实现。Opus在各方面都有着明显优势。它同时支持语音与音乐的编码，比特率为6k-510k。它融合了SILK编码方法和CELT编码方法。SILK原本被用于Skype中，基于语音信号的线性预测分析（LPC），对音乐支持并不好。而CELT尽管适用于全带宽音频，但对低比特率语音的编码效率不高，所以两者在Opus中形成了互补。Opus是“取代”了Speex。但是Speex中有的功能，Opus却没有，比如回声消除。这个功能已经从编码器中独立出来。所以如果想实现好的回声消除，可以配合WebRTC的AEC和AECM模块做二次开发。官网地址：https://opus-codec.org/live555live555是一个C++流媒体开源项目，其中不仅包括了传输协议（SIP、RTP）、音视频编码器（H.264、MPEG4）等，还包括流媒体服务器的例子，是流媒体项目的首选，里面的传输模块是非常值得视频会议开发作为参考的。官网地址：http://www.live555.com/音视频前后处理开源项目前后处理包含很多细分技术，应用正确的话，对视频质量或多或少都有提升。不过每增加一个处理环节，必然会增加运算量与延时，所以如何取舍，还要大家各自斟酌。SeetafaceSeetaface是由中科院山世光老师开源的一套完整的人脸检测，人脸对齐和人脸验证方案。代码基于C++实现，开源协议为BSD-2，可供学术界和工业界免费使用。且不依赖于任何第三方的库函数，在使用对齐好的LFW图片上，检测对齐全部使用该开源软件的情况下可达到97.1%。Github地址：https://github.com/seetaface/SeetaFaceEngineGPUImage现在在iOS端做美颜效果、加水印，基本都会采用GPUImage，它内置了125种渲染效果, 还支持脚本自定义。该项目实现了图片滤镜、摄像头实时滤镜。它优势在于处理效果是基于GPU实现，相对于CPU处理性能更高。Github地址：https://github.com/BradLarson/GPUImageOpen nsfw modelOpen nsfw model是雅虎开源项目，全名是Open Not suitable for work model，专门鉴别不适合工作时间浏览的图片（言而言之就是小黄图）。它是基于Caffe框架训练的模型，用于音视频后处理。不过，它还不能鉴别恐怖、血腥图片。Github地址：https://github.com/yahoo/open_nsfwSoundtouchSoundtouch是一个开源的音频处理框架，主要功能对音频变速、变调，实现变声的效果。同时，它也能对媒体流实时处理。采用32位浮点或者16位定点，支持单声道或者双声道，采样率范围为8k - 48k。官网地址：http://www.surina.net/soundtouch/服务端类开源项目正如开始时我们所说，WebRTC缺少服务端的设计与部署，利用MCU、SFU实现多人聊天，提高传输质量，都需要开发者自己动手。而下面这些开源项目能够帮到你。JitsiJitsi是开源的视频会议系统，可以实现在线视频会议，文档共享和即时消息的分享。它支持网络视频会议，使用SFU模式实现视频路由器功能。开发语言是Java。它支持SIP帐号注册电话呼叫。不仅支持单机本地安装方式，还支持云平台安装。官网地址：https://jitsi.org/JsSIPJsSIP是基于WebRTC的JavaScript SIP协议实现的库，可以在浏览器和Node.js中运行。它可以与 OverSIP、Kamailio、Asterisk、OfficeSIP等SIP Server一起运行。Github地址：https://github.com/versatica/JsSIPSRSSRS是一个采用MIT协议授权的国产的简单的RTMP/HLS 直播服务器。最新版还支持FLV模式，同时具备了RTMP的实时性，以及HLS中属于HTTP协议对各种网络环境高度适应性，并且支持更多播放器。它的功能与nginx-rtmp-module类似, 可以实现RTMP/HLS的分发。Github地址：https://github.com/ossrs/srsJRTPLIBJRTPLIB 是一个开源的 RTP协议实现库，支持Windows和unix平台。它支持多线程，处理性能较好。它还支持RFC3550、UDP IPV6，支持自定义扩展传输协议。但它不支持TCP传输，这需要开发者自己来实现。同时，它也不支持音视频的分包，代码要你自己来实现。Github地址：https://github.com/j0r1/JRTPLIBOPALOPAL是OpenH323的下一个版本，继承了Openh323协议，其新包含了SIP协议栈，是实现SIP协议的首选，缺点是参考例子较少。代码地址：http://sourceforge.net/projects/opalvoip/files/KurentoKurento是一个基于WebRTC的媒体服务端，并包含了一系列API，可以简化web与移动端实时视频应用的开发。Github地址：https://github.com/KurentoJanusJanus是一个WebRTC媒体网关。不论是做流媒体、视频会议、录制、网关，都可以基于Janus来实现。Github地址：https://github.com/Kurento其它服务Callstats.io实时通信过程中的，延时、丢包、接通率、掉线率等质量问题，都影响用户体验。商用项目尤其需要关注。Callstats是一家通过对WebRTC呼叫进行专业监测，来帮助用户搜集通讯数据，提升通话质量的服务商。Callstats也通过Github开放很多案例，可供使用Jitsi-videobridge,、turn-server、JsSIP的开发者参考。Github地址：https://github.com/callstats-ioMeetechoMeetecho是著名的开源WebRTC网关项目Janus的开发者。他们还提供基于Janus开发的技术咨询与部署服务、建立视频会议直播与录制服务等。Github地址：https://github.com/carlhuda/janus 声网Agora声网提供了从编解码到端到端传输的全套服务，开发者可以接入上文所述的音视频前后处理的开源项目，配合使用声网SDK可以建立高质量的实时音视频应用。四行代码，30分钟即可让完成集成。在Web端，Agora Web SDK可以帮助WebRTC开发者解决服务端传输中会遇到的卡顿、延时、回声、多人视频不稳定等问题。同时，声网在Github上也有70多个可供开发者参考、实践的demo，覆盖了从网页端、iOS到Android平台，以及音视频直播、游戏连麦、企业会议、AR、直播答题、小程序等多种实时互动应用场景。官网地址：https://Agora.ioGithub地址：https://github.com/AgoraIO我们在这里列出了18个开源项目，以及3个能有效保证实时音视频传输质量的服务。不过篇幅有限，还有很多开源项目我们没有详细列出，比如在音视频方面，Xiph.org的Speex、FLAC，还有Xvid、libvpx、Lagarith、Daala、Thor等。
实时音视频技术（WebRTC/voip/Linphone/P2P）
用MediaCodec实现多段视音频的截取与拼接- http://blog.csdn.net/qq_/article/details/Android提供的MediaCo...
什么样的音视频SDK才算是真正的音视频开发
什么样的音视频SDK才算是真正的音视频开发
什么是云智真音视频SDK，云智真音视频SDK提供了实时音视频、音视频录制，视频直播、屏幕分享、白板批注等能力，支持包括Andorid/ios手机平板，...
微信小程序实时音视频开发记录
以前做过一个简单的小程序，但是到现在回想怎么开发小程序，竟然一点也想不起来，鉴于学过的东西老是忘掉毛病，现在借项目需要小程序音视频功能，记录一下小程序开发步骤和小程序视频音视频功能的使用。
从互动直播到在线抓娃娃，实时视频超低延迟架构的思考与实践
作者介绍：
关旭，即构科技音视频引擎核心专家，硕士毕业于南开大学数学系，先后就职于中兴通讯、腾讯等公司负责音视频相关的研发工作，在实时音视频技术上有多年积累，当前在即构科技主要负责音视频引擎...
WebRTC实时音视频技术基础：基本架构和协议栈
本文主要介绍WebRTC的架构和协议栈。
最基本的三角形WebRTC架构
为了便于理解，我们来看一个最基本的三角形WebRTC架构（见下图）：
在这个架构中，移...
对于一个实时互动的音视频系统而言，存在很多技术难点，有几个比较重要的点：
首先是低延迟，如果要满足比较流畅地进行实时互动，那么单向的端到端的迟延大概要在400毫秒以下才能保证流畅沟通;
没有更多推荐了，Messenger6.0音频通话怎么连接不上？
[问题点数：50分，结帖人flybird70]
本版专家分：0
结帖率 96.3%
CSDN今日推荐
本版专家分：2368
2004年4月 硬件使用大版内专家分月排行榜第三2004年1月 硬件使用大版内专家分月排行榜第三2003年9月 硬件使用大版内专家分月排行榜第三2003年8月 硬件使用大版内专家分月排行榜第三2003年7月 硬件使用大版内专家分月排行榜第三2003年6月 硬件使用大版内专家分月排行榜第三
本版专家分：0
本版专家分：608
本版专家分：0
本版专家分：0
本版专家分：30080
2003年3月 硬件使用大版内专家分月排行榜第一2003年2月 硬件使用大版内专家分月排行榜第一2003年1月 硬件使用大版内专家分月排行榜第一2002年12月 硬件使用大版内专家分月排行榜第一2002年11月 硬件使用大版内专家分月排行榜第一2002年12月 硬件/嵌入开发大版内专家分月排行榜第一
2003年5月 硬件使用大版内专家分月排行榜第三
本版专家分：0
本版专家分：377
本版专家分：0
本版专家分：30
本版专家分：377
本版专家分：10
本版专家分：377
匿名用户不能发表回复！
其他相关推荐最近研究一下 webrtc ，看了几篇paper，之前也尝试运行验证了几个demo，现在把我的理解总结到这里。
WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术，是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。
这是百度百科上的介绍，维基百科也差不多。对完全小白来讲，可能不是很理解这句话。
首先，什么是实时通信？
举个直白的例子，我们平时打电话就是实时通信。现在有很多实时通信的软件，比如 丁丁、有信……这是手机app。PC客户端像Xlite、Linphone等等。这些客户端接入网络，注册到相应的服务器上就可以进行音频通信了，支持视频的还能进行视频通信。拿Xlite来说，它的信令机制采用的是sip协议。SIP协议是IMS网络广泛使用的信令协议，已经很成熟。两个uesr 通过Xlite客户端注册到sip server（如 Asterisk）上，就可以互相拨打对方的号码音视频通信了，不过就Xlite来说，语音通话是免费的，但是视频的话，是要支付money软件才提供视频功能的……
其次，为什么要提出WebRTC？
一直以来，用户如果想通过互联网进行实时通信，就需要安装软件，要么就得在浏览器中安装插件。WebRTC的宗旨是不需用户安装任何插件，直接使用浏览器就可以进行实时音视频通信。就是如果WebRTC实现了，我们打开浏览器，输入网址，登陆进去，拨打号码，就可以互相音视频了。不再需要安软件，也不需要安装额外的浏览器插件。Web版QQ大家都用过吧，现在还只能发发消息发发表情，如果引入WebRTC，那音视频传文件都不在话下，现在QQ客户端有的功能，通过网页访问都能体验，估计到时候都不愿意再装体积越来越大的QQ客户端了吧。
最后，需要知道的内容
WebRTC已经纳入HTML5标准
目前支持webrtc的浏览器有 Chrome Firefox Opera，IE不支持~
WebRTC没有指定具体的信令协议，具体的信令协议留给应用程序实现。
webRTC使用JSEP协议建立会话，什么是JSEP后面说
WebRTC采用ICE实现NAT穿越
WebRTC客户端之间可以进行点对点的媒体传输。
JSEP（JavaScript Session Establishment Protocol，JavaScript会话建立协议）是一个信令API，允许开发者构建更强大的应用程序以及增加在信令协议选择上的灵活性。
建立会话最关键的就是媒体的协商，WebRTC虽然没有指定具体的信令协议，但是媒体协商采用了SDP协议。JSEP是干什么的呢，一方面提供接口如createOffer()供web应用程序调用生成SDP，另一方面提供ICE功能接口。这些功能都由浏览器实现，浏览器
WebRTC传输信令（offer/answer）采用Websocket。
需要说明的是，如果web应用程序不使用额外的信令协议，仅使用JSEP，两个WebRTC client （同一个WebRTC client程序，两处登陆） 之间也是可以建立链接的，即只要应用程序能解析用WS传递过来的Offer/Answer消息，提取出其中的SDP和ICE信息就可以了。
github上codelabdemo 就是不用其他信令协议，直接使用JSEP生成offer/answer信令，然后采用ws协议传输实现的。
JSEP并不是信令协议，可以在JSEP的基础上引入SIP等信令协议，使WebRTC应用功能更加完备。
要想让WebRTC与sip互通，要解决两个层面的问题：信令层和媒体层。
两个网络使用的信令机制不同，所以要进行信令的转换，才能完成媒体的协商，建立会话。媒体层要完成编码的转换，以及rtp/srtp转换等功能。这里主要说项信令层面的互通。
目前sip和webrtc信令上互通有两种解决方案：
用JavaScript实现sip协议栈，webrtc应用程序基于这个协议栈开发。这样webrtc
client发出的信令就是sip信令，但一般采用websocket为信令传输协议。这样的webrtc
client就可以直接注册到支持ws的sip server上了。jssip 、sipml5 都是这种解决方案。
通过转换网关实现协议的转换，从而互通。一个开源的网关项目就是 webrtc2sip。
webrtc2sip是一个功能很完善的网关，既实现了信令层，也实现了媒体层，编码转换功能很强大，也可以直接当做媒体网关，用于编解码，沟通两端的媒体。
阅读(...) 评论()18.3k 次阅读
最近研究一下 webrtc ，看了几篇paper，之前也尝试运行验证了几个demo，现在把我的理解总结到这里。
WebRTC，名称源自网页实时通信（Web Real-Time Communication）的缩写，是一个支持网页浏览器进行实时语音对话或视频对话的技术，是谷歌2010年以6820万美元收购Global IP Solutions公司而获得的一项技术。
这是百度百科上的介绍，维基百科也差不多。对完全小白来讲，可能不是很理解这句话。
首先，什么是实时通信？
举个直白的例子，我们平时打电话就是实时通信。现在有很多实时通信的软件，比如 丁丁、有信……这是手机app。PC客户端像Xlite、Linphone等等。这些客户端接入网络，注册到相应的服务器上就可以进行音频通信了，支持视频的还能进行视频通信。拿Xlite来说，它的信令机制采用的是sip协议。SIP协议是IMS网络广泛使用的信令协议，已经很成熟。两个uesr 通过Xlite客户端注册到sip server（如 Asterisk）上，就可以互相拨打对方的号码音视频通信了，不过就Xlite来说，语音通话是免费的，但是视频的话，是要支付money软件才提供视频功能的……
其次，为什么要提出WebRTC？
一直以来，用户如果想通过互联网进行实时通信，就需要安装软件，要么就得在浏览器中安装插件。WebRTC的宗旨是不需用户安装任何插件，直接使用浏览器就可以进行实时音视频通信。就是如果WebRTC实现了，我们打开浏览器，输入网址，登陆进去，拨打号码，就可以互相音视频了。不再需要安软件，也不需要安装额外的浏览器插件。Web版QQ大家都用过吧，现在还只能发发消息发发表情，如果引入WebRTC，那音视频传文件都不在话下，现在QQ客户端有的功能，通过网页访问都能体验，估计到时候都不愿意再装体积越来越大的QQ客户端了吧。
最后，需要知道的内容
WebRTC已经纳入HTML5标准
目前支持webrtc的浏览器有 Chrome Firefox Opera，IE不支持~
WebRTC没有指定具体的信令协议，具体的信令协议留给应用程序实现。
webRTC使用JSEP协议建立会话，什么是JSEP后面说
WebRTC采用ICE实现NAT穿越
WebRTC客户端之间可以进行点对点的媒体传输。
JSEP（JavaScript Session Establishment Protocol，JavaScript会话建立协议）是一个信令API，允许开发者构建更强大的应用程序以及增加在信令协议选择上的灵活性。
建立会话最关键的就是媒体的协商，WebRTC虽然没有指定具体的信令协议，但是媒体协商采用了SDP协议。JSEP是干什么的呢，一方面提供接口如createOffer()供web应用程序调用生成SDP，另一方面提供ICE功能接口。这些功能都由浏览器实现，浏览器
WebRTC传输信令（offer/answer）采用Websocket。
需要说明的是，如果web应用程序不使用额外的信令协议，仅使用JSEP，两个WebRTC client （同一个WebRTC client程序，两处登陆） 之间也是可以建立链接的，即只要应用程序能解析用WS传递过来的Offer/Answer消息，提取出其中的SDP和ICE信息就可以了。
github上codelabdemo 就是不用其他信令协议，直接使用JSEP生成offer/answer信令，然后采用ws协议传输实现的。
JSEP并不是信令协议，可以在JSEP的基础上引入SIP等信令协议，使WebRTC应用功能更加完备。
WebRTC与SIP互通
要想让WebRTC与sip互通，要解决两个层面的问题：信令层和媒体层。
两个网络使用的信令机制不同，所以要进行信令的转换，才能完成媒体的协商，建立会话。媒体层要完成编码的转换，以及rtp/srtp转换等功能。这里主要说项信令层面的互通。
信令互通方案
目前sip和webrtc信令上互通有两种解决方案：
用JavaScript实现sip协议栈，webrtc应用程序基于这个协议栈开发。这样webrtc client发出的信令就是sip信令，但一般采用websocket为信令传输协议。这样的webrtc client就可以直接注册到支持ws的sip server上了。jssip 、sipml5 都是这种解决方案。
通过转换网关实现协议的转换，从而互通。一个开源的网关项目就是 webrtc2sip。
webrtc2sip是一个功能很完善的网关，既实现了信令层，也实现了媒体层，编码转换功能很强大，也可以直接当做媒体网关，用于编解码，沟通两端的媒体。
7 收藏&&|&&31
有没有具体点的实现方法呢？如果要实现web端接打电话的话一定要用webrtc 了？
有没有具体点的实现方法呢？
如果要实现web端接打电话的话一定要用webrtc 了？
linphone 插件化 集成进网页是什么意思？
linphone 插件化 集成进网页是什么意思？
分享到微博？
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。