9.2 プロトコルスタック
通信システムの構成を視覚的に理解するうえで，プロトコルスタック（protocol stack）図が役に立ちます．"stack"とは積み重ねを意味する言葉で，通信プロトコルが階層的に設計されることを表しています．
通信プロトコルは，通常，最上位にユーザと直接向き合うアプリケーションが配置され，最下位にはネットワークが配置されます．またネットワークの中も更に階層化され，上位がネットワークを利用するシステムとのやり取り，下位が物理的な構成要素とのやり取りを実行します．
マルチメディア通信システムの一般的なプロトコルスタックを図9-4に示します．これは，サービスが会話形（ここではオーディオビジュアル通信と呼んでいます）かビデオ・オン・デマンドのような検索形かテレビのような放送形かを問わず，またネットワーク環境が異なっても共通に適用できます．
会話形のみならず検索形，放送形にも共通なプロトコルスタックです．放送などには存在してテレビ会議には今のところ使われていないプロトコルは，シーンを形作るマルチメディア符号化です．H.320やH.323システムにおいてMCUで複数拠点を同時表示する場合も，MCUで各宛先の映像を作って送り出し，素材と画面合成方法を送って端末側で表示画面を作ることはしていません．
表現メディアとしての音声，映像はもとはアナログ情報ですが，符号化によりそれぞれのディジタル・ストリームを構成します．システムが必要とする品質とビットレートに合わせ帯域圧縮符号化が適用されます．「データ」は，それ以外の表現メディア情報で，テレビ会議におけるホワイトボード画面情報や静止画，PCデータ，テレビのデジタル放送における画面付随の文字情報，データ放送情報などです．
マルチメディア符号化は，これらモノメディアを統合して利用者に提示するための仕組みで，送り手の意図どおりの空間的な位置関係，時間的な順序関係でマルチメディア情報を再現する役目を担っています．我が国のデジタル放送におけるBML（Broadcast Markup Language, 放送用マークアップ言語）[9-21]がマルチメディア符号化の一例です．もう一つの例は，MPEG-4のBIFS (BInary Format for Scene)[9-22][9-23]です．MPEG-4ではオブジェクト単位の符号化を特徴とし，それを一つのシーンに再合成する際に使われます．テレビ会議システムでは，いまだマルチメディア符号化のプロトコルは適用されていません．
各種の表現メディア情報は，マルチメディア多重化し一つのストリームとして通信ネットワークで運ばれます．その際，音声と映像さらにはデータを同期させ，意図した時間関係でマルチメディア表現を実現することも「マルチメディア多重・同期」の機能です．
端末・端末間制御は，テレビ会議のようなシステムでは端末装置相互間あるいは端末装置とMCUやゲートウェイなどの要素間で，ビデオ・オン・デマンドのようなシステムではクライアントとサーバ間で制御情報をやりとりして，システムをユーザの望むように動作させるための機能です．
網アクセス制御は，端末がその属するゾーンへの登録情報などのやりとりを司り，呼制御は，ネットワークが提供するチャネルを，二つの端末間あるいはクラインアントとサーバ間などに設定します．電話網やISDNでは，網アクセス制御と呼制御は一体になっています．
マルチメディア多重情報および通信制御情報は，利用するネットワークに応じたアダプテーション，インタフェースを介してディジタルチャネルに流れて行きます．