画像アップロードサービスの設計

要件

機能要件

• ユーザーはブラウザ／モバイルアプリから画像ファイルをアップロードできる

• アップロードした画像は多様なサイズにリサイズされ変換される

• 元画像と変換された画像のURLは画像のIDを用いて取得できる

• 取得したURLから画像を高速に配信できる

非機能要件

• 高スケーラビリティ、特に画像変換

• 高信頼なサービス、画像データは失われてはいけない

• 画像配信は低レイテンシ、全世界のユーザーから利用される

• 高可用なサービス

想定質問

データモデル

• id: ユニークID

• name: ユーザー名

• id: ユニークID

• userId: ユーザーID

• imagePath: 画像のパス

• width: 画像の横の長さ

• height: 画像の縦の長さ

• status: ドラフト、処理中、完了、失敗

• id: ユニークID

• originalImageId: 元画像のID

• imagePath: 画像のパス

• width: 画像の横の長さ

• height: 画像の縦の長さ

• status: ドラフト、処理中、完了、失敗

API

画像をアップロードする

POST /images
Content-Type: multipart/form-data

• file: 画像バイナリ

• fileName: 元ファイル名（任意）

画像メタデータと派生画像を取得する

GET /images/{imageId}

• imageId: 画像のID

{
  "id": "uuid-1234",
  "userId": "user_f7b3c4",
  "url": "https://interviewcat.com/uuid-1234/img_s2ds.jpg",
  "width": 4000,
  "height": 3000,
  "variants": [
    {
      "id": "uuid-sus1",
      "url": "https://interviewcat.com/uuid-sus1/img_200x150_d8f1.jpg",
      "width": 200,
      "height": 150
    },
    {
      "id": "uuid-1f3i",
      "url": "https://interviewcat.com/uuid-1f3i/img_800x600_5e91.jpg",
      "width": 800,
      "height": 600
    },
    {
      "id": "uuid-9ks7",
      "url": "https://interviewcat.com/uuid-9ks7/img_1920x1080_s892.jpg",
      "width": 1920,
      "height": 1080
    }
  ]
}

アーキテクチャ図

1. クライアントはUpload Serviceへmultipartで画像を送信

2. ロードバランサーはリクエストをアプリケーションサーバーへ振り分ける

3. Upload Serviceはmultipartのデータ（オリジナル画像）をそのままオブジェクトストレージへ転送し、メタデータ（Images）をDBに保存

4. 同時に「画像変換リクエスト」をWorkerへ転送

5. 画像変換Workerが各種サイズに変換しストレージへ保存、ImageVariantsもDBに保存

6. クライアントはImage Metadata Serviceで画像のメタデータ（Images & ImageVariants）を取得し、CDN経由で画像をダウンロードする

7. CDNはストレージをオリジンとしてキャッシュし、世界中へ低レイテンシ配信

設計の深堀りについて

1. 画像変換のスケーラビリティと非同期処理について

メッセージキューとワーカーにより非同期処理（オススメ）

画像変換リクエストをメッセージとしてキューに投入し、ワーカープールが取り出して実行するパターンはどうでしょうか？メッセージの単位はVariantごとに用意しましょう。

この方法ではスケーラビリティが大きな利点となります。メッセージキューがバッファとして機能するため、アップロードピーク時にメッセージがたまってもアプリケーションサイドは影響を受けません。ワーカーはメッセージキュー内のメッセージの数のメトリクスをに対してコンテナもしくはVMをオートスケールで増減でき、スループットを動的に確保できます。これにより、ピーク時にリクエストが増えても対処可能です。

関連

• 📗
  メッセージキューによるスケーラビリティの向上

2. オブジェクトストレージによる画像データの信頼性について

ジオレプリケーション

Erasure Coding

チェックサム検証

3. CDNによるグローバルでの低レイテンシな画像配信

プル型CDNキャッシュ

画像のバージョン管理

4. メタデータデータベースの可用性について

• 📗
  レプリケーションによる耐障害性、可用性の向上

• 📗
  メッセージキューによる信頼性向上