6.3.1 映像信号の性質
1) 周波数帯域
周波数帯域はアナログ信号の特性を表すパラメータです．日本の525/60テレビジョン放送方式（走査線525本，フィールド周波数60 Hz）では，輝度信号は4.2MHz，色信号Iは1.5 MHｚ，色信号Qは0.5 MHzと規定されていました．これらは，音声信号とともに多重され，6 MHzのチャネルに収められています（第3章コラム3-1の図C3-1参照）．
ディジタル映像の場合，勿論アナログ映像を帯域の2倍以上の周波数で標本化しなければならない，という意味で周波数帯域が基本のパラメータではありますが，映像の1枚ずつは2次元の構造をもっていますので，縦横何画素からできているかが周波数帯域に代わる直接的表現です．アナログテレビジョン信号をディジタル化したときの画素数は，放送の規格では縦480，横720です．
2) レベル分布
映像信号は，真黒（最小値），真白（最大値），その間に存在する灰色をレベル値としています．その分布は画柄によって変わり，音声信号のような規則性はありません．レベル分布の一例を後述の図6-33でご覧下さい．
3) 周波数スペクトラム
図6-24に1枚の画像とそれをアナログテレビ放送信号にしたときの周波数スペクトラムを示します[6-28]．周波数が高くなるにつれ電力が減少する低域通過形の分布をしています．低い周波数はレベル変化が滑らかであることを意味し，このことは，画面内のレベル変化が滑らかであることを意味していて，帯域圧縮符号化の可能性を示唆しています．なお，図6-24では水平走査周波数（15.734 kHz）ごとのピークが見られ，図C3-1で示した走査に基づく微細構造を反映しています．
左の画像a)をテレビ信号にしたときの周波数に対するエネルギー強度の測定結果がb)に示されています．低周波にエネルギーが集中していて，波形の上ではなだらかな変化の多いことがわかります．
4) スキャン方式
テレビジョンでは，水平，垂直の走査により，2次元の画面を1次元の信号に変えています．アナログ時代には撮像管を用い電子ビームを文字取り撮像面に走らせて映像信号を得ていました．現代では固体撮像素子が用いられ，画素情報を走査の順番に読み出すことで映像信号を得ます．いずれにしても走査の概念が適用されています．
テレビジョンにおける走査には，図6-25に示しますように，2:1インタレース（interlace，飛び越し走査）とプログレッシブ（progressive，順次走査）の二通りがあります．
いま1枚のフレーム（画像）の水平走査線番号を1, 2, 3, 4, ..., Nとしたとき，順次走査では各フレームとも全走査線の画像信号が取り出されます．2対1飛び越し走査では，1フレームを時間的にずれた2フィールドで構成し，最初のフィールドでは走査線番号が奇数1, 3, 5, ...の画像信号が取り出され，次のフィールドで偶数2, 4, 6, ...の画像信号が取り出されます．
飛び越し走査は，アナログテレビジョン方式では，伝送帯域を半減できることから有効な技術で，放送の世界ではSDTV（標準解像度テレビ，帰線期間を含む水平走査線数は525本），HDTV（高精細テレビ，帰線期間を含む水平走査線数は1125本）で採用されました．ただ，インタレースでは表現できない画像があります．垂直方向に細かい絵柄や，動きの速いシーンでは歪みが生じます．ディジタル信号処理の観点では，水平，垂直，時間の3次元画素配置が，順次走査では規則正しい格子構造であるのに対し，インタレース画像では，複雑な構造となることから，歓迎されません[6-29]．
デジタル放送標準でも，2K放送（現在のHDTV放送で，水平画素数が1920と約2000であることからこう呼ばれます）までは飛び越し走査ですが，4K放送（水平画素数3840），8K放送（水平画素数7680）では順次走査となっています．
なお，1フレームの水平，垂直画素数が同じ方式を，飛び越し走査ではIと表示し，順次走査ではPと表示される場合があります．例えば1080Iは垂直方向の画素数が1080，水平方向の画素数が1920の飛び越し走査HDTVを，1080Pは同じ画素数の順次走査HDTVを指しています．
5) 色情報の表現
どんな色でも，光の3原色，R（Red：赤），G（Green：緑），B（Blue：青）を混ぜ合わせて実現できることがわかっています．したがって，カラーテレビ信号はこの光の3原色成分の大きさを表す3つの色信号（R,G,B）で構成されます．ちなみに白黒テレビの場合は、明るさを表す1つの信号（輝度信号）のみで構成されています．
実際のカラーテレビではR, G, B信号を直接送るのではなく，次の式により，輝度成分Yと二つの色差成分Cb, Crに変換して伝送します[6-30]．
輝度信号: Y = 0.2126R + 0.7152G + 0.0722B
色差信号: Cb = (B - Y)/1.8556 = -0.1146R - 0.3854G + 0.5000B
色差信号: Cr = (R - Y)/1.5748 = 0.5000R - 0.4542G - 0.0458B
色差成分の高解像度部分は人間の眼に識別できないことを利用し，Cb，Cr信号は画素数を半分に減らしても構いません．圧縮符号化すべきカラーテレビ信号の画素構成には図6-26に示す3フォーマットがあります．4:4:4は3成分とも全ての画素を送る場合に対し，4:2:2フォーマットは色差信号の水平方向画素数を1/2に削減したもので，テレビスタジオ内で配送あるいは記録する信号のフォーマットです．さらに色差信号の垂直方向画素数を1/2にしたフォーマットは4:2:0と呼ばれ，テレビジョン放送，DVD (Digital Versatile Disc)録画，テレビ会議システムなど一般的な用途で使われています．
図6-26と見比べ，4:4:4と4:2:2の名前は直接的ですが，4:2:0の名前はどこに由来しているのか定かでありません．数字3個を足し合わせると輝度信号と色差信号の総画素数になっています．あまり考えないで，c)のフォーマットは4:2:0と呼ばれる，と憶えて下さい．総画素数は3フォーマットで12, 8, 6の違いがあり，非圧縮映像信号のビットレートはこの比になっています．
テレビジョンでは，R, G, Bの三原色成分は輝度信号Yと二つの色差成分Cb, Crに変換して送られます．色差信号に対しては解像度が低いという視覚特性を利用し，Cb, Cr信号の画素数は半減することができます．水平方向だけ半減するのが4:2:2フォーマット，水平方向にも垂直方向にも半減するのが4:2:0フォーマットです．
6) 原信号のビットレート
ディジタル映像のフォーマットが与えられると，非圧縮映像信号のビットレートは次の式で表されます．
ビットレート = (1画面の輝度信号画素数) x (1画素のビット数) x (色差信号による画素数増加比率) x (毎秒像数)
ここで，1画面の輝度信号画素数は水平方向画素数と垂直方向画素数の積で表され，色差信号による画素数増加比率は，4:4:4フォーマットでは3，4:2:2フォーマットでは2，4:2:0フォーマットでは1.5となります．1画素のビット数は通常8（黒から白までを256段階で表現する）ですが，4K/8Kテレビの原画では10ビット精度の表現（1024段階）が用いられます．具体的な原画ビットレートの計算例を図6-27に示します．
図6-28に各種サイズ映像フォーマットのパラメータと4:2:0フォーマット，1画素8ビット精度の場合のビットレートを示します．いずれの場合も原画のビットレートは極めて高く，例えばHDTVでは746 Mbit/sで，これをそのまま伝送したり蓄積することは現実的ではありません．圧縮符号化の求められる所以（ゆえん）です．
図6-29は，各種映像フォーマットについて，その大きさ，あるいは画像の精細度を視覚的に比較するために，長方形の大きさで表現しています．さらにこの上にHDTVの縦横とも2倍，4倍の4Kテレビ，8Kテレビがありますが，この図からはみ出してしまいます．時代とともに急速に高精細化が進んでいることを実感できます．
7) H.261 CIFフォーマット
フォーマットの最後に，筆者が標準化作業に携わったITU-T H.261[6-7]のCIF (Common Intermediate Format)を述べます．作業開始の1980年代半ばにはまだアナログテレビしかなく，残念ながら世界は日米などの地域で使われる525本方式と欧州などの地域で使われる625本方式に二分されていました．このような状況で地域間にまたがるテレビ会議の接続性を確保する方法として，たとえ端末装置の映像フォーマットが違っていたとしても，テレビ会議システムの中では映像codecの入出力信号として両地域に中間的な統一映像フォーマットを用いる考えが採用されました．
各地域のテレビジョン放送標準とH.261 CIFのパラメータを図6-30に示します．色信号の解像度は4:2:0，走査は信号処理に好都合な順次走査です．1ラインの画素数は，ITU-R BT.601[6-31]で世界的に単一の720が定義されていますので，CIFではその半分の360です．1画面当たりのライン数は，625/50テレビ方式由来の576を半分にした288が，毎秒像数は525/60テレビ方式由来の29.97が採用されました．いわば二つのテレビ方式を折衷したフォーマットになっています．
映像フォーマットは人々が熱くなるテーマです．そのことは後述のコラム6-4で触れます．
勧告ITU-T H.261では，二つのテレビ放送方式を折衷した世界単一の映像フォーマットCIFを定義しています．世界中の全てのcodecが同じ映像フォーマットの符号化，復号を行うことで，通信相手の地域によらず相互接続性を確保できます．