仕事内容
- AIプロダクトにおける品質（正確性、一貫性、安全性、公平性、UXなど）の整理
- シナリオテスト、探索的テスト、レッドチーミングの実施
- LLM出力の傾向分析および失敗パターンの特定
- ユーザーフィードバック（ログ、評価、問い合わせなど）を活用した品質評価の設計
- 評価プロセスの標準化・再利用可能な形での整理
- 品質評価フローの自動化
- 評価データの収集・集計、定常的な品質チェックの仕組み化
- 開発、MLOps、データエンジニアと連携したフィードバックループの構築・運用
- 品質課題やリスクの文書化およびチームへの共有
必須要件
- LLMを用いたプロダクトのQA・テストにおける3年以上の実務経験
- テスト設計（観点整理、テストケース作成）の経験
- 曖昧な仕様や正解が一意でない対象について、判断軸を立てて評価できる能力
- テストまたは評価プロセスの自動化経験
- 開発チームと協働して品質改善を進めた経験
- ビジネスレベルの英語力および日本語力
歓迎要件
- シナリオテスト、レッドチーミングの実践経験
- ユーザーフィードバックやログを用いた評価・分析の経験
- 自ら課題を見つけて実行できる姿勢
- 特に日本語における自然言語処理の基礎的な理解
勤務地・勤務形態
- ハイブリッド勤務
- 月数回、ウーブンシティへの出張あり
- 勤務地の詳細は本文に記載なし
企業についての所感
高年収かつ高難易度の選考プロセスの企業。車両OSのArene、スマートシティのWoven Cityを支えるプラットフォームの開発など規模感の大きい開発をしている。
データ取得日: 2026/9/16