メトリクスの種類
映画レコメンドシステムの成功を測るためのメトリクスには2種類あります。
- オンラインメトリクス
オンラインメトリクスは、A/Bテスト中にライブデータを使用したオンライン評価を通じてシステムのパフォーマンスを確認するために使用されます。主にダッシュボードで可視化します。
- オフラインメトリクス
オフラインメトリクスは、本番環境でのモデルのパフォーマンスをシミュレートするオフライン評価で使用されます。
通常複数のモデルを学習し、ホールドアウトテストデータ（推薦メディアとのユーザーの過去の行動履歴）を用いてオフラインで調整およびテストすることができます。もしそのパフォーマンスの向上がプロダクション環境に導入するためのエンジニアリング労力に見合うものであれば、最もパフォーマンスの良いモデルが選ばれ、ライブデータでのオンラインA/Bテストに使用されます。
