3.3.3 MCUにおける映像処理
MCUにおける映像処理には，図3-17に示しますように，大きく分けて，映像切替と映像合成の2方法があります．
各拠点からMCUに集められた映像は，配信先の拠点に応じ，いずれかが選択・切替されるか，(n-1)合成されるかします．MCUは，各端末から別の端末に見えるような形式の映像信号を生成，送出します．
映像切替の方法では，例えば拠点5に送る映像は何らかの基準で拠点1〜4の中からいずれかを選びます．自動的に切り替える場合は，発言者の映像を選ぶのが一般的で，発言の拠点にはその前の発言拠点映像を送ります．そのほか，議長を定める会議では，議長が選択する方法もあります．また，利用者が望みの拠点映像をMCUに伝え，MCUはその映像を送り出す制御も行われます．この方法では，映像切替時に受信映像が乱れないようにする制御が必要です．これまで受信中の映像を一旦フリーズし，切替先の映像符号器には全イントラ符号化を要求して，復号の初期化を行います．映像切替の方法では，MCUで映像符号化ストリームを切り替えるだけですから，切替時に映像が一旦フリーズする他は，MCUに起因して映像品質が劣化したり遅延が増えたりすることはありません．ただし，ある瞬間には1拠点の映像しか受信出来ませんので，他の参加拠点の様子を眼で確かめることはできません．
映像合成の方法では，各拠点からの圧縮符号化映像はMCUで復号しPCM信号に戻して新たな合成映像を作り，それを再符号化して各拠点に届けます．参加拠点の全てを同時に見ながら会議ができるcontinuous presenceのメリットがあります．ここでも音声の合成で述べたと同様，自らの送出映像をMCUから戻す必要はありませんので，MCUでは(n-1)合成を行います．図3-17の例では，拠点5には拠点1〜4を田の字形に配置していますが，この合成の仕方は相互接続性には関わらないことからMCUの工夫に委ねられています．映像合成の方法では，MCUで復号，再符号化を行いますので，映像品質の劣化，遅延時間の増加が避けられません．もし，MCUで符号化されたストリームのままで映像合成ができれば品質劣化の問題はなくなるのですが，これは相当に挑戦的な課題で，ごく限られた研究例[3-22]以外，未だに開発されていません．
映像切替にしろ，映像合成にしろ，MCUを用いるマルチポイントテレビ会議システムでは，それに参加する端末は基本的にポイント・ツー・ポイントテレビ会議端末のままでよいことが特徴です．すなわち，端末からはMCUはもう一つの端末のように見えます．厳密には，端末にもマルチポイントのための若干の制御を理解・実行可能であれば，議長制御などの高度な制御が可能になります．