Shift_JISで保存すると消える文字、変わる文字。「?」になる11文字を数えた
名簿をShift_JISのCSVにして開いたら、髙橋 が ?橋 になっていた。別の人は 𠮷田 が ?田 だった。「Shift_JIS」と一言で言っても、表せる文字の範囲が2種類ある。それが、消える文字と消えない文字を分けている。Unicode.org の対応表で確かめた。
「Shift_JIS」は、2つの範囲を指している
- JIS X 0208 の範囲:JIS規格の漢字・かな・記号。Unicode.org の対応表には6,879文字が載っている。
- CP932:Microsoftが、これに NEC特殊文字(①・㈱・Ⅲ など)と IBM拡張文字(髙・﨑 など)を足したもの。手元のWindows 11(日本語)のコードページは932だった。
Unicode.org が公開している2つの対応表(出典に記載、確認日:2026年11月3日)を読み、代表的な文字を引いた。
| 文字 | JIS X 0208 | CP932 |
|---|---|---|
| 邉・齋・★ | あり | あり |
| 髙 | なし | あり(FB FC または EE E0) |
| 﨑 | なし | あり(FA B1 または ED 95) |
| ① | なし | あり(87 40) |
| ㈱ | なし | あり(87 8A) |
| Ⅲ・㌔・㎡ | なし | あり |
| 𠮷 | なし | なし |
| ¥(U+00A5)・é・™・©・♥・✓ | なし | なし |
| 絵文字(😀) | なし | なし |
3つに分かれた。どちらにもある(邉・齋)、CP932にだけある(髙・﨑・①・㈱)、どちらにも無い(𠮷・絵文字・é など)だ。髙や﨑は、JIS X 0208 には無いので、その範囲では保存できない。ただし、Windowsの範囲(CP932)では保存できる。同じ文字に2つのコードがあるのは、CP932 の表が、NEC選定の位置と IBM の位置の両方に、同じ文字を載せているためだ。
架空の名簿を、2つの範囲で保存した
実在しない名前・住所で、6行の名簿を作った(作り方は末尾)。各行を、2つの対応表だけを使って書き出し、表に無い文字を ? に置き換えた。
| 元の行(備考欄まで) | JIS X 0208 だけ | CP932 |
|---|---|---|
| 髙橋 …千代田区①丁目 …㈱サンプル商事 | ?橋 ?丁目 ?サンプル商事 | そのまま |
| 﨑山 …エリアⅢ | ?山 エリア? | そのまま |
| 𠮷田 …札幌市〜テスト町 …−マイナス | ?田(〜と−は残る) | ?田、〜は ~、−は - に変わる |
| 渡邉 …¥1,000 é™ | ¥・é・™ が ? | 同じく3文字が ? |
| 山田 一郎 … | そのまま | そのまま |
| 絵文字 …😀♥ | ?? | ?? |
数えると、非ASCIIの文字のうち、JIS X 0208 だけでは11文字(髙・﨑・①・㈱・Ⅲ・𠮷・¥・é・™・😀・♥)、CP932では6文字(𠮷・¥・é・™・😀・♥)が ? になった。髙・﨑・①・㈱・Ⅲの5文字は、CP932なら残る。𠮷・¥・é・™・絵文字・♥は、どちらの範囲でも残らない。
〜 と − は、CP932では ? にはならず、別の文字に変わる(次の節)。
変わる文字:〜と−
JIS X 0208 の表は、コード 81 60 に 〜(U+301C、波ダッシュ)、81 7C に −(U+2212、マイナス記号) を対応させている。CP932 の表は、同じ 81 60 に ~(U+FF5E、全角チルダ)、81 7C に -(U+FF0D、全角ハイフンマイナス) を対応させている。
同じバイト列なのに、別の文字として読む。CP932で 〜 を書き出して読み戻すと、別の文字(~)になる。書き出しの実装によって、結果も違った。このサイトのツールと同じ変換(encoding-japanese)は 81 60 で書き出し、Chrome の TextDecoder("shift_jis") はそれを ~ と読み戻した。.NET Framework の GetEncoding(932) は、〜 を 3F(?)にした。
同じ「CP932で保存」でも、〜 が ~ になるツールと、? になるツールがある。保存前に、その環境が何をするかを見ておくしかない。
「?」になる理由と、見えない置き換え
表に無い文字は、?(コード 3F)に置き換えられる。元の文字を示す情報は、ファイルに残らない。一度 ? で保存すると、開き直しても ? で、元の文字は復元できない。名簿なら、?橋 が誰なのかを、元のデータから探し直すことになる。
置き換え方は、環境で違う。.NET の GetEncoding(932) で、既定の動作と、置き換えを ? に固定した動作を比べた。
| 文字 | 既定の動作 | ? に固定 |
|---|---|---|
| ¥(U+00A5) | \(5C) | ? |
| é | e | ? |
| © | c | ? |
| 😀 | ??(2文字分) | ?? |
Microsoft の変換表(Windows Best Fit)に、¥ を \ に、é を e に、© を c に置き換える規則があり、既定の動作は、この表と同じ結果になった。気づきにくいのは、? より、こちらの置き換えだ。¥1,000 が \1,000 になり、é が e になって、エラーも警告も出ずに、別の文字で保存される。絵文字は、コンピュータの内部では2つの単位(サロゲートペア)で表されるため、? が2つ並ぶ環境(.NET)と、1つになる環境(このサイトのツールと同じ変換)がある。
機種依存文字は、保存はできるが、渡す先で消える
①・㈱・Ⅲ・髙・﨑は、CP932 では保存できるが、JIS X 0208 だけの環境では、表に無い文字になる。上の表のとおり、?橋 や エリア? として扱われる。このため、保存したときは問題が出ず、渡した先で初めて消えることがある。Windowsで作った名簿を、JIS X 0208 だけを基準にしたシステムに取り込む場合などだ。どの環境でどう見えるかまでは、手元では確かめていない。確実に言えるのは、表に無い文字は、その環境では書き出せないことだけだ。
保存する前に確かめる
一番確実なのは、書き出す前に、表せない文字の位置を調べることだ。このサイトのツールは、貼り付けたテキストやファイルを、Shift_JISで書き出したときに、次の3つに分けて、文字と位置(行・列)を出す。
1. 保存できない:? になる文字(𠮷・絵文字・é など)2. 別の文字に変わる:〜 → ~ など3. 機種依存文字:保存はできるが、環境で表示が変わりうる文字(①・㈱・髙 など)
文字コードを選び直して、UTF-8 に直したファイルも書き出せる。ファイルはブラウザの中で処理し、サーバーには送らない。そもそも、受け取る側の都合がなければ、UTF-8 で保存すれば、ここに挙げた文字はすべて残る。CSVをExcelで開く場合の注意は、CSVの文字コードの記事に書いた。
測定の条件
- サンプルは、架空の名前・住所・店名の6行(実在の人物・住所は使っていない)。
- 「JIS X 0208 だけ」「CP932」の列は、2つの対応表の
Unicode → コードを引き、表に無い文字を?に置き換えた結果だ。ただしCP932の〜と−だけは、対応表には無いが、このサイトのツールと同じ変換(encoding-japanese)で~・-になるので、そう書いた。JIS0208.TXT の冒頭にも、これは可能な対応の1つで、実際の製品が使うものとは違いうる、と書かれている。 - 〜・¥ の動作は、Windows 11 Pro(10.0.26300、日本語、コードページ932)の .NET Framework 4.0.30319 の
GetEncoding(932)、encoding-japanese(このサイトのツールが使うもの)、Chrome 152 のTextDecoderで確かめた。 - macOS・Linux、Excel、各種システムへの取り込みは試していない。JIS X 0213 が追加した文字は、対応表を確認していないので、扱っていない。
参考
- Unicode.org, CP932.TXT(Microsoft の cp932 ↔ Unicode 対応表):https://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP932.TXT(2026年11月3日確認)
- Unicode.org, JIS0208.TXT(JIS X 0208 (1990) ↔ Unicode 対応表):https://www.unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/JIS0208.TXT(2026年11月3日確認)
- Unicode.org, bestfit932.txt(Windows Best Fit、コードページ932):https://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WindowsBestFit/bestfit932.txt(2026年11月3日確認)