Unicode・文字コード変換｜U+・UTF-8・UTF-16を相互変換

Unicodeとは

Unicodeは世界中の文字へ一意なコードポイントを割り当てる標準です。UTF-8・UTF-16・UTF-32は、そのコードポイントをbyteやcode unitとして表現するencoding formです。このツールはブラウザ標準APIが扱えるUnicodeを対象とし、Unicodeの版を固定しません。

Unicodeコードポイントとは

コードポイントは文字へ割り当てられた0～10FFFFの番号です。例えば「あ」はU+3042です。D800～DFFFはUTF-16のサロゲート用範囲で、単独のUnicode scalar valueとしては使用できません。

U+XXXXとは

U+の後へ大文字の16進数を最低4桁で書く標準的な表記です。AはU+0041、😀はU+1F600です。HTML数値文字参照とは別物で、HTML用途にはHTMLエスケープ・アンエスケープをご利用ください。

UTF-8とは

UTF-8はコードポイントに応じて1～4byteを利用する可変長encodingです。「あ」はE3 81 82です。URL percent encodingの%E3%81%82とは用途が異なり、URL用途にはURLエンコード・デコードをご利用ください。

UTF-16とは

UTF-16は16bit code unitを使用します。「あ」は3042、BMP外の😀はhigh・low surrogateのD83D DE00です。😀はUnicode code pointでは1個、UTF-16 code unitでは2個です。

UTF-8とUTF-16の違い

UTF-8は1～4byte、UTF-16は1個または2個の16bit code unitでコードポイントを表します。UTF-16LEとUTF-16BEは各code unitのbyte順が異なります。BOMはbyte順やencodingを示す先頭markerであり、通常の本文コードポイント一覧へ追加するものではありません。

JavaScript Unicode escapeとは

BMP内は\u3042、BMP外のコードポイントは\u{1F600}と書けます。\uD83D\uDE00は同じ😀をUTF-16 surrogate pairの2 code unitsで表したものです。このツールは専用parserで解析し、evalは使用しません。

絵文字とサロゲートペア

絵文字にはBMP外のコードポイント、variation selector、ZWJ、複数コードポイントsequenceがあります。家族emojiなどは見た目が1文字でも複数コードポイントです。このツールはZWJ sequenceを一つのコードポイントへまとめません。

見た目が同じ文字でもコードが異なる場合

precomposedの「é」と、e + U+0301のcombining sequenceは見た目がほぼ同じでもコードポイント列が異なります。このツールはtrim、空白圧縮、全角半角変換、Unicode normalizationを行わず、入力どおり解析します。

よくある質問