テキストの文字コード・改行コードを調べる
テキストファイルの文字コードと改行コードを調べ、Shift_JISで保存すると消える文字や、機種依存文字を一覧にします。UTF-8・Shift_JISへの保存もできます。
ここにドラッグ&ドロップもできます(.txt・.csv・.tsv など。1ファイル 20.00 MB まで)
貼り付けたテキストは、文字コードと改行コードを調べられません(ブラウザが貼り付けのときに改行を LF にそろえるため)。 文字そのものの調べと、保存はできます。
このツールについて
テキストファイル(.txt・.csv・.tsv など)や貼り付けたテキストについて、文字コードと改行コードを調べます。変換することよりも、調べて原因を知ることが中心のツールです。文字コードは、UTF-8(BOMあり・なし)・UTF-16・Shift_JIS(CP932)・EUC-JP・JIS(ISO-2022-JP)のどれかを推定し、その根拠(BOMがあるか、UTF-8として不正なバイト列がいくつあるか、Shift_JISやEUC-JPとして読めるか)を示します。推定が違う場合は、読み方を選び直せます。改行コードは、CRLF・LF・CRのそれぞれの数を数え、混在しているときは、少数派の改行がある行を示します。
もう1つの中心が、Shift_JISで保存したときに問題になる文字の洗い出しです。文字を1つずつ実際に書き出して調べ、「保存できず『?』に置き換わる文字」(𠮷・絵文字・é・™・円記号の¥ など)、「保存はできるが別の文字に変わる文字」(波ダッシュの〜が全角チルダの~になる、など)、「保存はできるが機種依存の文字」(①・㈱・Ⅰ などのNEC特殊文字、髙・﨑 などのIBM拡張文字)を、文字・コード・個数・位置(何行目の何文字目)つきで一覧にします。髙や﨑は、WindowsのShift_JIS(CP932)では保存できますが、JIS X 0208だけのShift_JISでは保存できません。そのため、相手の環境によっては文字化けや「?」になる機種依存文字として扱います。
調べたテキストは、UTF-8(BOMあり・なし)またはShift_JISで保存し直せます。改行コードをCRLFかLFにそろえることもできます。Shift_JISで保存するときは、置き換わる文字があることを保存の前に表示します。置き換わった文字は元に戻せません。
判定は、バイト列だけを手がかりにした推定です。短いファイルや、日本語が少ないファイルでは、決め手が弱いことがあります。そのときは、その旨を表示します。貼り付けたテキストは、ブラウザが貼り付けのときに改行をLFにそろえるため、文字コードと改行コードは調べられません。ファイルは1つあたり20MBまでです。
- テキストファイルを選ぶか、点線の枠にドラッグ&ドロップします。複数選択もできます。テキストを貼り付けて調べることもできます。
- 文字コードの判定と、その根拠が表示されます。違うと思うときは「読み方を選び直す」で変えます。読めない文字(�)が出ていれば、その読み方は違います。
- 改行コードの内訳を確認します。混在していると赤字で表示され、少数派がある行番号がわかります。
- 「Shift_JIS(CP932)で保存したとき」の一覧で、保存できない文字・別の文字に変わる文字・機種依存文字を確認します。位置の行・列を手がかりに、元のテキストを直せます。
- 保存したい形式(UTF-8のBOMあり・なし、Shift_JIS)と、改行コードを選んで「保存する」を押します。
- Shift_JISで保存するときは、置き換わる文字の警告を確認してください。置き換わった文字は元に戻せません。
ブラウザ内で完結します
選んだファイルや貼り付けたテキストはサーバーに送っていません。ブラウザのFile APIでバイト列を読み込み、文字コードの判定とUTF-8・Shift_JIS・EUC-JPなどの読み取りにはブラウザ標準のTextDecoderを使っています。Shift_JISへの書き出しと、保存できない文字の判定だけは、encoding-japaneseというライブラリをブラウザの中で使っています。処理はすべて端末の中で終わるため、ページを開いたあとは通信が発生しません。開発者ツールのネットワークタブを開いたままファイルを選んで操作し、リクエストが増えないことで確かめられます。
関連する解説
同じ分類のツール
- CSVの文字コード変換ExcelでCSVを開いたときの文字化けを直します。文字コードを自動判定し、変換前後の中身を見比べながらUTF-8とShift_JISを相互に変換できます。
- QRコード生成入力したテキストやURLからQRコードをPNGで作成できます。誤り訂正レベル・サイズ・余白を指定できます。
- 2つの文章の違いを調べる2つの文章を貼り付けて、追加・削除・変更された行と、行の中の違う文字を調べます。空白・改行コード・大文字小文字・全角半角の違いを無視する設定もあります。
- 重複行の削除と並べ替え行ごとに並んだ大量のテキストから重複行を取り除き、出現回数と行番号を示します。前後の空白・全角半角・大文字小文字の違いを同じとみなすかも選べます。
- CSVを行数で分割する大きなCSVファイルを、指定した行数ごとに分割してZIPで受け取れます。セルの中に改行を含む行があっても、区切りを誤りません。