組み合わせ爆発もとりこむUnicode

ふと思い出した話だが、Unicodeの第0面でハングルというのは妙に文字数が多い。

Rodemap to the BMP (Unicode)

CJK統合漢字を別にすればハングルはぶっちぎりで多いことが分かる。

U+AC00からU+D7AFまで11183文字分割りあてられてる。

他にもハングル関係の割り当てはあるのが主にはこれ。


なんで多いのかという話だが、理論上ありえる全ての組み合わせを収録したからですね。

ハングルというのは見た目からも分かるとおり字母を組み合わせて文字を作る。

子音が14個、母音が10個あるが、組み合わせて作られる字母もある。

これらの組み合わせは19×21+19×21×27=11172文字となるようだ。

こうしてこんな異常に多い数の文字をUnicodeに収録することになった。

実にUnicodeの第0面の65536文字のうち17%を占めることとなった。


ところでUnicodeが使われる以前に韓国で主に使われてきた文字コードはEUC-KRである。

EUC-KRのキャラクタセットはKS X 1001で、これはEUC-JPでいうところのJIS X 0208に相当する。

キャラクタセットは94の区と94の点からなるから、8836文字収録することが出来る。

おっと、これではハングルが全部収まらない。漢字もある程度は収めたいのに。

というわけでハングルは2350文字だけ収録していて、これで一応は困らないらしい。

Unicodeは世界中のよく使われる文字が第0面に収まったと言うんだからいかにUnicodeのキャラクタセットが多いかよくわかるはなし。

まぁUTF-8で表すと3バイトぐらいになるので当然と言えば当然なのかも知れんけど。


実際にはEUC-KRを拡張したUHCというコードが使われているようで、

これでは全部のハングルを表すことが出来るらしい。

126区と178点に拡張したようだ。

Shift_JISとはコード体系はずいぶん違うけど、拡張できる部分に追加で文字を入れたという点では同じこと。


しかしハングルにも日本語のかなにも言えることですが、母音と子音のセットで表すとやたら文字数多くなるね。

ラテン文字が基本は26文字なのを考えると確かに多いよね。

日本のかなは全部収録しても高々知れているけど、ハングルは考えられる組み合わせはこれだけあるという。

それを全部収録するのでなく合成すればよいのではないか。

という考えがあるかどうかはしらないけど、実はU+1100~U+11FFにハングル字母というのが登録されている。

えらい若いところにマッピングされてるけど、UTF-8で2バイトで表せるのはU+7FFまでだから、字母1つで3バイトになるなどなにかと都合が悪そう。

特に使う必要は無いと思うけどこういうのもあるんだと知っておくと良さそう。


組み合わせで文字数が増えているというのはハングルにも限らん話なんだけどね。

ラテン文字なんてドイツ語で言うとウムラウトとかああいう拡張された文字もあるから。

それでも元の文字数が少ないからハングルほどにはならないけど、ラテン文字も相当幅を食っているのは確か。

で、これも合成で表すことが出来るんだな。

これもどれぐらい使われているのか知らないけど。