重複行の削除と並べ替え

行ごとに並んだ大量のテキストから重複行を取り除き、出現回数と行番号を示します。前後の空白・全角半角・大文字小文字の違いを同じとみなすかも選べます。

(.txt・.csv・.log など。UTF-8・Shift_JIS などを自動判定します。20.00 MB まで)

このツールについて

行ごとに並んだ大量のテキスト(メールアドレスの一覧、ログ、名簿など)から、重複している行を取り除きます。1件ずつAIチャットに貼って確かめるのは数万行では現実的でなく、外部のサービスに貼れない名簿やログもあるため、ブラウザの中だけで処理します。テキストを貼り付けるか、ファイル(.txt・.csv・.log など)を読み込みます。ファイルの文字コードは、UTF-8・Shift_JIS・EUC-JP・JIS(ISO-2022-JP)・Unicode(UTF-16)・ASCIIを自動判定し、判定できなかったときはUTF-8として読み込みます(text-diff・csv-encodingと同じ判定の仕組みです)。改行は、CRLF・CR・LFのどれでも1行の区切りとして数え、結果の改行はLFにそろえます。

重複の判定は、行の文字がそのまま一致するかで行い、次の3つを、それぞれ同じとみなすかどうか選べます。前後の空白の違い、全角・半角の違い(NFKCで比べます)、大文字・小文字の違いです。これらを有効にしたときも、残す行の文字は、最初に出てきたときの元の文字(空白を詰めたり変換したりする前の文字)です。重複と判定された行は、最初に出てきた1行だけを残し、2行目以降を取り除きます。結果には、取り除いた行の総数と、2回以上出てきた行を出現回数の多い順(同数のときは最初に出てきた順)に一覧にして、それぞれの行番号(並べ替え前の、元のテキストでの行番号)を示します。1つの行の出現が多いときは、行番号の先頭20件だけを表示し、残りは件数で示します。

並べ替えは、そのまま(最初に出てきた順)・文字コード順(昇順・降順)・出現回数が多い順・出現回数が少ない順から選べます。文字コード順は、辞書的な並びではなく、JavaScriptの文字列比較(UTF-16のコード単位の値での比較)による並びです。処理は、行を順に読んで記録する1回の処理と、指定した並べ方で並べ替えるだけなので、行数にほぼ比例した時間で終わります(並べ替えの分だけ、行数に対してやや増えます)。

空の行も1つの行として数え、複数の空行があれば重複として取り除かれます。1行の中のどの文字が違うかを示す機能はありません(それは2つの文章の違いを調べるツールの役割です)。ファイル・貼り付けのテキストは、どちらも20MBまでです(全体を一度にメモリへ読み込んで処理するため)。

  1. テキストを貼り付けるか、「ファイルを読み込む」でファイル(.txt・.csv・.log など)を選びます。ファイルの文字コードは自動判定します。
  2. 前後の空白・全角半角・大文字小文字の違いを同じとみなすかどうかを、チェックで選びます。
  3. 並べ方を、そのまま・文字コード順(昇順・降順)・出現回数が多い順・出現回数が少ない順から選びます。
  4. 「重複行を取り除く」を押します。取り除いた行数と、2回以上出てきた行の一覧(出現回数・行番号つき)が表示されます。
  5. 行番号は、並べ替え前の、元のテキストでの番号です。1つの行の出現が多いときは、先頭20件だけ表示されます。
  6. 結果は「結果をコピーする」か「.txtでダウンロード」で受け取ります。テキスト・ファイルとも20MBまでです。

ブラウザ内で完結します

貼り付けた文章や読み込んだファイルは、サーバーに送っていません。ファイルの読み込みと文字コードの判定・変換には、csv-encoding・text-diffと同じencoding-japaneseというライブラリを、このページを開いたときに動的importで読み込んで使っています。重複の判定と並べ替えはライブラリを使わず、JavaScriptのMap(行の記録)と配列のsort(並べ替え)だけで行っています。処理はすべて端末の中で終わるため、ページを開いたあとは通信が発生しません。開発者ツールのネットワークタブを見れば、重複を取り除いている間に送信が無いことを確認できます。

関連する解説

解説記事は準備中です。

同じ分類のツール