音视频技术的概述
Posted on Wed, 25 Dec 2024 10:36:56 +0800 by LiangMingJian
概述
音视频技术，即图像、音频、视频的处理技术，主要包括采集、渲染、处理、传输这个四个方面。
- 采集：它解决，数据从哪里来的问题
- 渲染：它解决，数据怎么展现的问题
- 处理：它解决，数据怎么加工的问题
- 传输：它解决，数据怎么共享的问题
采集
采集，它解决的是，数据从哪里来的问题？
显而易见，无论在哪个平台，图像和视频数据最初都来自于摄像头，而音频数据最初都来自麦克风。
因此，对于音视频采集，就要掌握如下的技术知识：
- 系统的摄像头采集接口是什么，怎么用？比如：Windows：DirectShow，Linux：V4L2，Android：Camera，iOS：AVCaptureSession
- 系统的摄像头采集的参数怎么配置，都是什么含义？比如：分辨率、帧率、预览方向、对焦、闪光灯等
- 系统的摄像头输出的图像/视频数据，是什么格式，不同格式有什么区别？比如：图片：JPEG；视频数据：NV21，NV12，I420 等
- 系统的麦克风采集接口是什么，怎么用？比如：Windows：DirectShow，Linux：ALSA & OSS，Android：AudioRecord，iOS：Audio Unit
- 系统的麦克风采集参数怎么配置，都是什么含义？比如：采样率、通道号、位宽等
- 系统的麦克风输出的音频数据，是什么格式？比如：PCM
渲染
渲染，它解决的是，数据怎么展现的问题。
在计算机系统中，图像和视频的展示最终都要通过绘画进行实现，而音频最终都要输出到扬声器进行播放。
因此，对于音视频渲染，就要掌握如下的技术知识：
- 系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的？比如：Windows：DirectDraw, Direct3D, GDI，OpenGL 等，Linux： GDI， OpenGL 等，Android：ImageView，SurfaceView，TextureView，OpenGL 等，iOS： CoreGraphics，OpenGL 等
- 系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据？比如：Windows：DirectSound 等，Linux：ALSA & OSS 等，Android：AudioTrack 等，iOS： AudioQueue 等
处理
处理，它解决的是，数据怎么加工的问题。
如下图所示，对于图像和视频，可以进行剪裁，缩放，旋转等操作。而对于音频，则可以进行去噪，回声消除，重采样等操作。
需要注意的是，在现代技术中，图像和音视频的加工，除了使用系统的 API，大多数都会依赖一些跨平台的第三方库的，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了。这些可以使用的第三方库包括但不限于：
- 图像处理：OpenGL，OpenCV，libyuv，ffmpeg 等
- 视频编解码：x264，OpenH264，ffmpeg 等
- 音频处理：speexdsp，ffmpeg 等
- 音频编解码：libfaac，opus，speex，ffmpeg 等
传输
传输，它解决的是，数据怎么共享的问题。
传输共享，最重要的一点，就是协议。因为无论什么数据，要想在不同的国家、不同设备之间互联互通，就离不开一个公用的标准，有了标准，大家才能互相读懂对方。这里的这个标准就是我们所说的协议。因此，研究音视频传输，其实就是在研究音视频传输协议。
现代技术中常用的音视频协议包括但不限于：
- 音视频编码协议，如：FLV，ts，mpeg4 等
- 直播推流协议，如：RTMP，RSTP 等
- 直播拉流协议，如：RTMP，HLS，HDL，RTSP 等
- 基于 UDP 的协议，如：RTP/RTCP，QUIC 等
————————————