7.3.1 仕組みと特性
パケット多重によるマルチメディア多重化の原理と一般的なパケット構成を図7-8に示します．連続するビット列からなる個々のメディア情報は，パケットと呼ばれる固定長もしくは可変長のデータの固まりに区切られます．それぞれのパケットには，パケットの始まりを示す同期符号やメディアの種類を示す情報などを含むパケット・ヘッダがつき，その後にメディア情報がペイロードとして載せられます．ペイロードの後ろにはパケット内の誤り符号を検出するためなどのトレイラがつく場合もあります．受信側では，同期符号によってパケットの先頭を検出し，ヘッダの内容を読み取って，そのパケットをビデオ，オーディオなど各メディアの復号器に振り分けます．トレイラがある場合には，誤りの有無を検査し，誤りが検出されればその旨を表示して復号器にペイロードを渡すなどの処理を行います．図7-8では説明のためにオーディオとビデオのビットレート比が1:5の場合を示しており，例えば50バイト長のオーディオパケットと250バイト長のビデオパケットを交互に多重しています．
符号化されたメディア情報をある単位の固まりに集めたものをパケットと呼びます．音声，映像など各メディアをパケット化し，それを交互に伝送チャネルに送り出すのがパケット多重によるマルチメディア多重化です．パケット化に伴い，遅延を生じますので，特に低ビットレートのメディア情報パケット化では注意を要します．また，この図では一般的なパケット構成は，ヘッダ，ペイロード，トレイラであることも示しています．
パケット多重は，前述（第7.2節）のビット多重に比べ，自由度が大きく，ソフトウェア処理に適する，という特徴があります．ビット多重が電話技術に由来しているのに対し，パケット多重はコンピュータ技術に由来しています．
各メディアのパケットを多重した結果は，連続したパケット列となりますが，ときには送るべきパケットが何もない状態が発生し，その場合にはダミー情報を入れた空パケットを送ります．また，送るべきパケットが情報メディア間で一つの伝送機会に衝突することも発生し，このときには，片方のパケットは次の伝送機会まで待ち合わせなければなりません．これにより，パケットの到着時刻にゆらぎが生じます．
パケットのペイロード・サイズが大きければ，ヘッダやトレイラの比率が相対的に小さくなり，パケット化効率が増します．しかし，図7-8に示しましたように，パケット化のための遅延が生じ，リアルタイム系のシステムでは，これが問題となります．伝送効率と遅延時間の両者を勘案して適当なパケットサイズを選択しなければなりません．パケット化遅延は，毎秒パケット数が与えられると，メディア情報の速度が低いほど大きくなりますので，ビデオよりはオーディオのパケット化遅延が大きくなることに注意を要します．またあるパケットサイズを想定すると，ビットレートが低いほどパケット化遅延時間が長くなるので，特に低ビットレートのリアルタイム通信では注意が必要です．例えば音声符号化に16 kbit/sのG.728[7-6]を用いた場合，1400バイト（イーサネット・パケットで運べる最大データサイズ）のペイロードを作るには700 msを要します．