Shift_JISで保存すると消える文字、変わる文字。「?」になる11文字を数えた

2026-11-03

名簿をShift_JISのCSVにして開いたら、髙橋 が ?橋 になっていた。別の人は 𠮷田 が ?田 だった。「Shift_JIS」と一言で言っても、表せる文字の範囲が2種類ある。それが、消える文字と消えない文字を分けている。Unicode.org の対応表で確かめた。

「Shift_JIS」は、2つの範囲を指している

  • JIS X 0208 の範囲:JIS規格の漢字・かな・記号。Unicode.org の対応表には6,879文字が載っている。
  • CP932:Microsoftが、これに NEC特殊文字(①・㈱・Ⅲ など)と IBM拡張文字(髙・﨑 など)を足したもの。手元のWindows 11(日本語)のコードページは932だった。

Unicode.org が公開している2つの対応表(出典に記載、確認日:2026年11月3日)を読み、代表的な文字を引いた。

文字JIS X 0208CP932
邉・齋・★ありあり
髙なしあり(FB FC または EE E0)
﨑なしあり(FA B1 または ED 95)
①なしあり(87 40)
㈱なしあり(87 8A)
Ⅲ・㌔・㎡なしあり
𠮷なしなし
¥(U+00A5)・é・™・©・♥・✓なしなし
絵文字(😀)なしなし

3つに分かれた。どちらにもある(邉・齋)、CP932にだけある(髙・﨑・①・㈱)、どちらにも無い(𠮷・絵文字・é など)だ。髙や﨑は、JIS X 0208 には無いので、その範囲では保存できない。ただし、Windowsの範囲(CP932)では保存できる。同じ文字に2つのコードがあるのは、CP932 の表が、NEC選定の位置と IBM の位置の両方に、同じ文字を載せているためだ。

架空の名簿を、2つの範囲で保存した

実在しない名前・住所で、6行の名簿を作った(作り方は末尾)。各行を、2つの対応表だけを使って書き出し、表に無い文字を ? に置き換えた。

元の行(備考欄まで)JIS X 0208 だけCP932
髙橋 …千代田区①丁目 …㈱サンプル商事?橋 ?丁目 ?サンプル商事そのまま
﨑山 …エリアⅢ?山 エリア?そのまま
𠮷田 …札幌市〜テスト町 …−マイナス?田(〜と−は残る)?田、〜は ~、−は - に変わる
渡邉 …¥1,000 陥・é・™ が ?同じく3文字が ?
山田 一郎 …そのままそのまま
絵文字 …😀♥????

数えると、非ASCIIの文字のうち、JIS X 0208 だけでは11文字(髙・﨑・①・㈱・Ⅲ・𠮷・¥・é・™・😀・♥)、CP932では6文字(𠮷・¥・é・™・😀・♥)が ? になった。髙・﨑・①・㈱・Ⅲの5文字は、CP932なら残る。𠮷・¥・é・™・絵文字・♥は、どちらの範囲でも残らない。

〜 と − は、CP932では ? にはならず、別の文字に変わる(次の節)。

変わる文字:〜と−

JIS X 0208 の表は、コード 81 60 に 〜(U+301C、波ダッシュ)、81 7C に −(U+2212、マイナス記号) を対応させている。CP932 の表は、同じ 81 60 に ~(U+FF5E、全角チルダ)、81 7C に -(U+FF0D、全角ハイフンマイナス) を対応させている。

同じバイト列なのに、別の文字として読む。CP932で 〜 を書き出して読み戻すと、別の文字(~)になる。書き出しの実装によって、結果も違った。このサイトのツールと同じ変換(encoding-japanese)は 81 60 で書き出し、Chrome の TextDecoder("shift_jis") はそれを ~ と読み戻した。.NET Framework の GetEncoding(932) は、〜 を 3F(?)にした。

同じ「CP932で保存」でも、〜 が ~ になるツールと、? になるツールがある。保存前に、その環境が何をするかを見ておくしかない。

「?」になる理由と、見えない置き換え

表に無い文字は、?(コード 3F)に置き換えられる。元の文字を示す情報は、ファイルに残らない。一度 ? で保存すると、開き直しても ? で、元の文字は復元できない。名簿なら、?橋 が誰なのかを、元のデータから探し直すことになる。

置き換え方は、環境で違う。.NET の GetEncoding(932) で、既定の動作と、置き換えを ? に固定した動作を比べた。

文字既定の動作? に固定
¥(U+00A5)\(5C)?
ée?
©c?
😀??(2文字分)??

Microsoft の変換表(Windows Best Fit)に、¥ を \ に、é を e に、© を c に置き換える規則があり、既定の動作は、この表と同じ結果になった。気づきにくいのは、? より、こちらの置き換えだ。¥1,000 が \1,000 になり、é が e になって、エラーも警告も出ずに、別の文字で保存される。絵文字は、コンピュータの内部では2つの単位(サロゲートペア)で表されるため、? が2つ並ぶ環境(.NET)と、1つになる環境(このサイトのツールと同じ変換)がある。

機種依存文字は、保存はできるが、渡す先で消える

①・㈱・Ⅲ・髙・﨑は、CP932 では保存できるが、JIS X 0208 だけの環境では、表に無い文字になる。上の表のとおり、?橋 や エリア? として扱われる。このため、保存したときは問題が出ず、渡した先で初めて消えることがある。Windowsで作った名簿を、JIS X 0208 だけを基準にしたシステムに取り込む場合などだ。どの環境でどう見えるかまでは、手元では確かめていない。確実に言えるのは、表に無い文字は、その環境では書き出せないことだけだ。

保存する前に確かめる

一番確実なのは、書き出す前に、表せない文字の位置を調べることだ。このサイトのツールは、貼り付けたテキストやファイルを、Shift_JISで書き出したときに、次の3つに分けて、文字と位置(行・列)を出す。

1. 保存できない:? になる文字(𠮷・絵文字・é など)2. 別の文字に変わる:〜 → ~ など3. 機種依存文字:保存はできるが、環境で表示が変わりうる文字(①・㈱・髙 など)

文字コードを選び直して、UTF-8 に直したファイルも書き出せる。ファイルはブラウザの中で処理し、サーバーには送らない。そもそも、受け取る側の都合がなければ、UTF-8 で保存すれば、ここに挙げた文字はすべて残る。CSVをExcelで開く場合の注意は、CSVの文字コードの記事に書いた。

測定の条件

  • サンプルは、架空の名前・住所・店名の6行(実在の人物・住所は使っていない)。
  • 「JIS X 0208 だけ」「CP932」の列は、2つの対応表の Unicode → コード を引き、表に無い文字を ? に置き換えた結果だ。ただしCP932の〜と−だけは、対応表には無いが、このサイトのツールと同じ変換(encoding-japanese)で ~・- になるので、そう書いた。JIS0208.TXT の冒頭にも、これは可能な対応の1つで、実際の製品が使うものとは違いうる、と書かれている。
  • 〜・¥ の動作は、Windows 11 Pro(10.0.26300、日本語、コードページ932)の .NET Framework 4.0.30319 の GetEncoding(932)、encoding-japanese(このサイトのツールが使うもの)、Chrome 152 の TextDecoder で確かめた。
  • macOS・Linux、Excel、各種システムへの取り込みは試していない。JIS X 0213 が追加した文字は、対応表を確認していないので、扱っていない。

参考

  • Unicode.org, CP932.TXT(Microsoft の cp932 ↔ Unicode 対応表):https://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP932.TXT(2026年11月3日確認)
  • Unicode.org, JIS0208.TXT(JIS X 0208 (1990) ↔ Unicode 対応表):https://www.unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/JIS/JIS0208.TXT(2026年11月3日確認)
  • Unicode.org, bestfit932.txt(Windows Best Fit、コードページ932):https://www.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WindowsBestFit/bestfit932.txt(2026年11月3日確認)

この記事に対応するツール