ブラウザに大きなファイルを読ませると、どこで落ちるか。1GBと2GBの上限はどう決めたか
ファイルのハッシュ値を計算するツールは1ファイル1GBまで、ZIPを展開するツールはZIP全体で2GB、取り出す1ファイルは500MBまでという上限を置いている。数字がばらばらなのは適当に決めたからではない。ブラウザがファイルを「全部読む」処理と「必要な分だけ読む」処理が、ツールによって違うためだ。
ファイルは、読むまで中身を持っていない
別の記事で書いたとおり、File オブジェクトは選んだ時点では名前とサイズだけを持っていて、中身はまだ読まれていない。ここからが今回の続きで、読み方には2種類ある。file.arrayBuffer() はファイル全体を一度にメモリへ読む。file.slice(start, end) は、読みたい範囲だけを指すオブジェクトを返し、実際に読まれるのは .arrayBuffer() などで中身を取り出した時だ。どちらを使うかで、処理できるファイルの大きさの限界が変わる。
一度に全部読むしかない処理:ハッシュ値の計算
ファイルのハッシュ値は、ブラウザ標準の Web Crypto(crypto.subtle.digest)で計算している。この関数のMDNの説明にはこう書かれている。
> "Note that this API does not support streaming input: you must read the entire input into memory before passing it into the digest function."> (このAPIはストリーミング入力に対応していない。digest関数に渡す前に、入力全体をメモリへ読み込む必要がある。)
Node.jsの crypto.createHash() にある .update() のような、データを少しずつ渡して積み上げていく仕組みがブラウザには無い。だからこのサイトのツールは、file.arrayBuffer() でファイル全体を読み、それを丸ごと digest() に渡している。ファイルが大きくなるほど、必要なメモリもそのまま大きくなる。コードのコメントにも「crypto.subtle.digest は一括読み込みが要るため、メモリに載せられる範囲で上限を決める」と書いていて、1GBという数字は、読み込みそのものが必ず一度に起きることを前提に、安全側に決めた値だ。
末尾の数十KBだけで済む処理:ZIPの一覧
一方、ZIPの中身一覧は、ファイル全体を読まなくても作れる。ZIPの仕様書(PKWAREのAPPNOTE.TXT、6.3.10版)の4.3.6節には、ファイルの並び順が書かれている。
[各ファイルの本体データ](1件目〜n件目)
[central directory](全ファイルの一覧)
[end of central directory record]
一覧(central directory)は、すべてのファイルの本体データより後ろ、ファイルの末尾付近に置かれる。この並びのおかげで、ZIPを展開するツールの一覧作成は、file.slice() でファイルの末尾の数十KBだけを読めば足りる。実際のコードも、まず末尾 22 + 65,535 バイトだけを読んで end of central directory record を探し、そこに書かれた位置を使って central directory だけを読みに行く。ZIP全体が500MBでも2GBでも、一覧作成にかかる読み込み量はほとんど変わらない。
ZIP全体の上限を2GBにしているのは、メモリの都合ではない。このツールはZIP64(4GBを超えるZIPや、65,535件を超えるZIP用の拡張形式)を扱わない作りにしていて、コード側の上限コメントにも「ZIP64を扱わないので4GB未満」とある。4GBという仕様上の境界に対して余裕を持たせた数字が2GBだ。
入力はストリームでも、出力はまとめている:ファイルの取り出し
一覧は末尾だけで済むが、1件のファイルを取り出す(展開する)ときは話が変わる。圧縮されたデータを解凍するのに使っている DecompressionStream は、WHATWGのCompression Streamsの仕様上、書き込まれたデータをチャンク(部分データ)ごとに処理する作りになっている。つまり、圧縮されたデータを読む側は、最初から最後まで一度に持たなくてよい。
ところが、このサイトのコードは、解凍で出てきたチャンクを配列に積んでおき、最後に1つの Uint8Array へまとめてから返している。入力は少しずつ読めても、展開した結果は1つのまとまりとして持つ実装になっているため、ピーク時のメモリは、結局そのファイルの展開後の大きさに近づく。コード側の上限コメントにも「1ファイルあたりに展開してよい大きさ(メモリを守るため。展開は1件ずつメモリ上で行う)」とあり、500MBという数字はこの制約から来ている。
境界を分けているのは「読み方」ではなく「処理」
| 処理 | 上限 | 読み方 | 上限の理由 |
|---|---|---|---|
| ハッシュ値の計算 | 1ファイル1GB | 全体を一度に読む | digest() にストリーミング入力が無い |
| ZIPの一覧作成 | ZIP全体2GB | 末尾の数十KBだけ読む | ZIP64を扱わない仕様上の境界(4GB)に余裕を持たせた |
| ZIPから1件取り出す | 1件500MB | 入力はチャンクで読むが、出力はまとめる | 展開結果を1つのまとまりとして保持する実装 |
3つの上限がばらばらなのは、File.slice() を使っているか使っていないかの差ではない。「読み込み」が少しずつ済んでも、その先の処理(ハッシュ計算・解凍)が結果を一括でしか返さないなら、メモリの必要量は結局ファイルの大きさに縛られる。 境界を決めているのは読み方よりも、その後の処理が少しずつ進められるかどうかだった。
確認した方法
- Web Crypto(
SubtleCrypto.digest())がストリーミング入力に対応していないこと:MDN Web Docsの該当ページの記述(確認日:2026年11月14日)。 - ZIPの central directory がファイル末尾付近に置かれること:PKWARE APPNOTE.TXT 6.3.10版 4.3.6節の記述(確認日:2026年11月14日)。
DecompressionStreamがチャンク単位で入力を処理すること:WHATWG Compression Streams仕様の該当アルゴリズムの記述(確認日:2026年11月14日)。- 各ツールの実際の上限値と、その理由として書かれているコメント:このサイトの
components/tools/hashCheck.ts・components/tools/zipParse.tsの実装そのもの。
ブラウザの開発者ツールで実際にメモリ使用量を計測する比較は、今回は行っていない。それぞれの処理がストリーミングに対応しているかどうかは、各ツールの実装とAPIの仕様で確認できることなので、今回はそちらを根拠にした。
参考
- MDN Web Docs, SubtleCrypto: digest() method:https://developer.mozilla.org/en-US/docs/Web/API/SubtleCrypto/digest(2026年11月14日確認)
- PKWARE, APPNOTE.TXT 6.3.10(4.3.6節):https://pkware.cachefly.net/webdocs/casestudies/APPNOTE.TXT(2026年11月14日確認)
- WHATWG, Compression Streams Standard(Decompression Stream):https://compression.spec.whatwg.org/#decompression-stream(2026年11月14日確認)