音視頻是一個很好玩，也是一個發展了很久的技術，現在的很多技術知識都還是沿用原來的。不過音頻的東西，是挺好玩的。下面就由聯誠發LED顯示屏小編帶大家一起看看音視頻方面的知識資料。

音視頻開發要掌握圖像，視頻，音頻的基礎知識，并學會如何對他們進行采集，渲染，處理，傳輸等一系列開發和應用。

采集解決了數據從哪里來的問題，渲染解決的是數據怎么嶄新的問題，處理解決的是數據怎么加工的問題，傳輸解決的是數據怎么共享的問題。這里的每一個門類都可以深挖，衍生出一 個個充滿技術挑戰的話題。

一、音頻

音頻技術是為了記錄、存儲和回放聲學現象才發明的，所以先了解聲學現象對學習數字音頻是有很大幫助的。

1、聲音的基礎知識

聲音的產生是由于物體的振動，造成空間內空氣的波動而共鳴發音，再由大氣的傳播，使人的聽覺神經感受到的一種物理現象。

聲音的三要素是響度，音調和音色。

響度，和聲音震動的幅度有關，用的力越大，人的鼓膜震動幅度就越大，發出的聲音越響。

音調，主要是和頻率有關。聲波的頻率越高，音調也越高。

音色在同樣的音調（頻率）和響度（振幅）下，鋼琴和小提琴的聲音聽起來是完全不相同的，因為它們的音色不同。

聲音傳播的介質是固體、液體、氣體。介質不同，傳播的速度也不同。真空的情況下聲音是無法傳播的。

2、數字音頻

對自然界的聲音（模擬信號）進行采樣，采樣就是根據奈奎斯特定理在時間軸上對信號進行數字化信號，即按照一定時間間隔△t 在模擬信號 x(t)上逐點采取其瞬時值。采樣率越高，聲音的還原程度越高，質量就越好，同時占用空間會變大。

量化是用有限個幅度值近似原來連續變化的幅度值，把模擬信號的連續幅度變為有限數量的有一定間隔的離散值。

編碼是按照一定的規律，把量化后的值用二進制數字表示，然后轉化成二值或多值的數字信號流。這樣得到的數字信號通過可以通過電纜，衛星通道等數字線路傳輸。在接收端與上述模擬信號數字化過程相反，再經過后置濾波再恢復成原來的模擬信號。

上面數字化的過程又叫做脈沖編碼調制，通常我們說的音頻的裸數據格式就是脈沖編碼調制(PCM)數據。描述一段 PCM 數據需要幾個量化指標，常用的量化指標是采樣率，位深度，字節序，聲道數。

采樣率(Sample rate)：每秒鐘采樣多少次，以 Hz 為單位。

位深度(Bit-depth)：表示用多少個二進制位來描述采樣數據，一般為 16bit。

字節序：表示音頻 PCM 數據存儲的字節序是大端存儲（big-endian）還是小端存儲（little-endian），為了數據處理效率的高效，通常為小端存儲。

聲道數（channel number）：當前 PCM 文件中包含的聲道數，是單聲道（mono）、雙聲道

3、音頻編碼

以 CD 音質來說，量化格式是 2 字節，采樣率是 44100，聲道數是 2，這些信息就描述了 CD 的音質。那么 CD 的數據采樣率 =44100*16*2=1378.125kbps, 在 1 分鐘的時間里 ，需要占用的存儲空間=1378.125 * 60/8/1024=10.09MB。并不小。

壓縮算法包括有損壓縮和無損壓縮。

常用的音頻編碼方式有以下幾種：

MP3，MPEG-1 or MPEG-2 Audio Layer III，是曾經非常流行的一種數字音頻編碼和有損壓縮格式 ， 它被設計來大幅降低音頻數據量 。

AAC，Advanced Audio Coding，是由 Fraunhofer IIS、杜比實驗室、AT&T、Sony 等公司共同開發， 在 1997 年推出的基于 MPEG-2 的音頻編碼技術。AAC 比 MP3 有更高的壓縮比，同樣大小的音頻文件，AAC 的音質更高。

WMA，Windows Media Audio，由微軟公司開發的一種數字音頻壓縮格式，本身包括有損和無 損壓縮格式。

二、視頻

像素：屏幕顯示是把有效面積化為為很多個小格子，每個格子只顯示一種顏色，是成像的最小元素，因此就叫做“像素”。

分辨率：屏幕在長度和寬度這倆個方向上各有多少像素，就叫做分辨率，一般用 AXB 來表示。分辨率越高，每個像素的面積越小，顯示效果就越平滑細膩。

每一個像素點的 RGB 通道分別對應屏幕位置上的子像素點繪制到屏幕上，進而顯示整個圖像。

1、RGB 表示圖像

一張圖像是由每個像素點繪成的，那么一像素點的 RGB 又該如何表示呢？

浮點表示

歸一化表示，取值范圍 0.0~1.0，如 openGL 對每個子像素點的表示方式。

整數表示

取值范圍 0～255 或者 00～FF，8bit 表示一個子像素。

如圖像格式 RGBA_8888，表示 4*8bit 表示一個像素，而 RGB_565 用 5 + 6 + 5 bit 表示一個像素。一張 1280 * 720， RGBA_8888 格式的圖片的大小= 1280 * 720 * 32bit = 1280 * 720 * 32 / 8 byte，也是位圖在內存中占用 的大小。所以每一張圖像的裸數據都是很大的。

2、YUV 表示圖像

YUV，是另外一種顏色編碼方法，視頻的裸數據一般使用 YUV 數據格式表示。Y 表示明亮度，也稱灰度 值（灰階值）。UY 表示色度，均表示影響的色彩和飽和度，用于指定像素的顏色。

亮度需要透過 RGB 輸入信號建立，方式為將 RGB 信號的特定部分（g 分量信號）疊加到一起。

色度定義了顏色的色調和飽和度，分別用 Cr、Cb 表示，(C 代表分量(是 component 的縮寫))。Cr 反映 RGB 輸入信號紅色部分與 RGB 信號亮度值之間的差異。Cb 反映 RGB 輸入信號藍色部分與 RGB 信號亮度值之間的差異。

視頻幀裸數據之所以采用 YUV 色彩空間，使用為亮度信號 Y 和色度信號 UV 是分離的。當無 UV 色度信號，只有 Y 亮度信號時，那么這樣表示的圖像就是黑白灰度圖像。彩色電視正是使用 YUV 空間使用 Y 亮度信號解決彩色電視與黑白電視的兼容問題、使黑白電視也能接收彩色電視信號。最常用的 YUV 都使用 8 個 字節來表示，所以取值范圍就是 0～255。

音頻最開始需要采樣，圖像也是一樣的，YUV 最常用的采樣格式是 4:2:0。

YUV 格式有兩大類：planar 和 packed

1.對于 planar 的 YUV 格式，先連續存儲所有像素點的 Y，緊接著存儲所有像素點的 U，隨后是所有像素 點的 V。

2.對于 packed 的 YUV 格式，每個像素點的 Y,U,V 是連續存儲的。YUV420（YUV420-Package），分辨率為 84（wh）的 YUV 圖像，則內存分布如下

YUV420P（YUV420-Planar） 分辨率為 84（wh）的 YUV 圖像，則內存分布如下

YUV 碼流的存儲格式其實與其采樣的方式密切相關，主流的采樣方式有三種，YUV4:4:4，YUV4:2:2， YUV4:2:0。

YUV 4:4:4 采樣，每一個 Y 對應一組 UV 分量。YUV 4:2:2 采樣，每兩個 Y 共用一組 UV 分量。YUV 4:2:0 采樣，每四個 Y 共用一組 UV 分量。

3、YUV 和 RGB 轉化

凡是渲染到屏幕上的東西（文字、圖片或者其他），都要轉換為 RGB 的表示形式，那么 YUV 的表示形 式和 RGB 的表示形式之間是如何進行轉換的呢？

為了實現格式轉換，我們首先要明確待轉換格式和目標格式的特點和相互轉換關系，這是編程實現轉換的核心。對于 RGB 轉 YUV 的過程，我們要首先拿到 RGB 文件的數據，再通過上圖的 YUV 計算公式對其做 運算，得到 YUV 數據，從而實現轉換。而對于 YUV 轉 RGB 則要首先獲得 YUV 數據，用第二組 RGB 公式計 算得到 RGB 數據。在本實驗中，轉換公式如下。

4、視頻編碼

我們為什么要編碼呢？原因很簡單，因為 YUV RGB 形式的視頻數據太大了。編碼的目的就是為了壓縮， 讓各種視頻的體積變得更小，有利于存儲和傳輸。

視頻編碼的作用：將視頻像素數據（RGB，YUV 等）壓縮成視頻碼流，從而降低視頻的數據量。視頻編碼方式有以下幾種方式：

5、編碼標準

國際上主流制定視頻編解碼技術的組織有兩個，一個是“國際電聯（ITU-T）”，它制定的標準 有 H.261、H.263、H.263+、H.264 等，另一個是“國際標準化組織（ISO）”它制定的標準有 MPEG-1、MPEG-2、 MPEG-4 等。

WMV 是微軟推出的一種流媒體格式，它是在“同門”的 ASF 格式升級延伸來得。在同等視頻質量下，WMV 格式的文件可以邊下載邊播放，因此很適合在網上播放和傳輸。

VP8 來自 On2 的 WebM, VPX(VP6,VP7,VP8,VP9)，這個編碼設計用于 web 視頻。

WebRTC，在 2010 年 5 月，Google 以大約 6820 萬美元收購了 VoIP 軟件開發商 Global IP Solutions 公司，并因此獲得了該公司擁有的 WebRTC 技術。WebRTC 集成 VP8, VP9。

AV1 是一個開放，免專利的視頻編碼格式，針對互聯網傳輸視頻而設計。

AVS 是中國具備自主知識產權的第二代信源編碼標準，是《信息技術先進音視頻編碼》系列標準的簡稱， 其包括系統、視頻、音頻、數字版權管理等四個主要技術標準和符合性測試等支撐標準。

H265與 H.264 編解碼器相比，HEVC 在壓縮方面提供了重大的改進。HEVC 壓縮視頻的效率比 H.264 要高出兩倍。使用 HEVC，相同視覺質量的視頻只占用一半的空間。

VP9 是由 Google 開發的開放式、無版權費的視頻編碼標準，VP9 也被視為是 VP8 的下一代視頻編碼標準。

6、H.265 與 VP9

H.265 與 VP9 編碼質量的對比測試，數值越小，則表示編碼質量越好。從對比中我們發現 H.265、VP9 兩者的差別并不大，整體平均分只差了 0.001，在實際應用中幾乎不存在差異。

在編碼時間對比中，VP9 完勝 H.265，無論是 4K 視頻還是 1920、1280 分辨率的視頻，VP9 的編碼 耗時都比 H.265 短很多。但是 H.265 的解碼效率略高于 VP9 。

H.265 繼承了 H.264 的視頻編碼標準體系，在商業應用中更加廣泛，多使用于安防、軍政、企業等場 景中，但由于其專利持有者過多，導致其商用費用過高，在推廣中面臨較大阻力。

VP9 由 Google 研發，可以免費使用。在實際推廣中，微軟、蘋果等公司不愿看到 VP9 一家獨大，其 他互聯網廠商也不希望主流視頻編碼格式被壟斷，因此目前在主要在 Google 自家的產品中得到支持，其他 使用 VP9 的大廠并不多。

在聯誠發LED顯示屏小編看來，就目前而言，H.265 在企業、安防中使用較為廣泛，而 VP9 因其簡易、實用的解決方案以及開發便捷的特性在互聯網應用場景中使用較多。