仕事内容
- AI製品の品質基準を定義（精度、一貫性、安全性、公平性、UXなど）
- シナリオベーステスト、探索的テスト、レッドチームテストを実施
- LLMの出力を分析し、行動傾向や失敗パターンを特定
- ログ、評価、問い合わせなどのユーザーフィードバックを活用した品質評価プロセスを設計
- 評価プロセスを標準化し、再利用可能かつスケーラブルな形で構築
- 品質評価ワークフローを自動化
- 評価データを収集・集約
- 継続的・定期的な品質チェックの仕組みを構築
- 開発、MLOps、データエンジニアリングチームと連携し、品質フィードバックループを構築・運用
- 品質上の問題やリスクを文書化し、関係チームに明確に伝達
- ハイブリッド勤務。月数回、Woven Cityへの出張あり
必須要件
- LLMを利用する製品におけるQAまたはテスト経験3年以上
- テスト観点の定義やテストケース作成を含むテスト設計経験
- 仕様が曖昧、または正解が一意でないシステムについて、明確な判定基準を設定して評価できる能力
- テストまたは評価プロセスの自動化経験
- 開発チームと協業し、品質改善を推進した経験
- 英語・日本語のビジネスレベルの運用能力
歓迎要件
- シナリオテスト、レッドチームテストの経験
- ユーザーフィードバックやログの評価・分析経験
- 自律的に課題を発見できる積極的な姿勢
- 自然言語処理、特に日本語に関する基本的な理解
勤務地
- ハイブリッド勤務
- Woven Cityへの月数回の出張あり
企業についての所感
高年収かつ高難易度の選考プロセスの企業。車両OSのArene、スマートシティのWoven Cityを支えるプラットフォームの開発など規模感の大きい開発をしている。
データ取得日: 2026/9/16