Senior Data Engineer - MIDAS Data Platform, Digital Bank, Tokyo

業務内容

• 複数のソースシステム（CRM、CBS、CLM、LOS）からREST APIやDB接続でデータを取り込み、データパイプラインを設計・実装する。
• Bronze/Silver/Goldレイヤーの変換を構築・維持し、データ品質と整合性・性能を担保する。
• データ品質チェックとクロスシステム照合（例：CBS取引と元帳残高の照合）を実装する。
• Databricks SQL/ノートブックやDelta Live Tablesを用いたSQL設計・最適化、CRMを中心としたデータモデル設計、規制報告・リスクマート連携を推進。
• 下流消費者向けREST APIやデータ提供層を構築する。
• アーキテクチャ決定へ参加、テスト（単体・統合・データ品質）作成・監視・パフォーマンス改善を実施。
• Terraformによる IaC・CI/CD整備、パイプラインの自動化を推進。
• 後輩エンジニアのメンタリング・コードレビュー・ドキュメント整備。
• API契約・データスキーマの調整、他部門と協調。
• テックリードと協働し機能推進・データプラットフォームの長期設計を担う。
• EODデータ収集をZengin決済タイミングへ合わせてサポート。

技術スタック

必須スキル

• 5年以上のデータエンジニアリング／分析エンジニアリング経験
• SQLとPythonの高いスキル
• Databricks/Sparkを用いたデータパイプライン構築経験
• AWS/Azure/GCPのクラウド環境とS3/ADLS/GCS等のストレージ経験
• データモデリング（ディメンショナル/データバウム/イベントドリブン等）
• Git、CI/CD、データガバナンス（アクセス制御・監査・データリネージ）
• 問題解決能力・自立して動ける能力・コミュニケーション能力
• 学士卒、ビジネスレベルの日本語

歓迎スキル（該当する場合）

• 英語力（ビジネス以上）
• データ品質検証フレームワーク／テスト経験
• 金融サービス・規制業界の経験
• 銀行業務知識（コアバンキング・決済・規制報告・AML等）
• 規制要件対応のデータプラットフォーム経験、Databricks（AutoLoader/Unity Catalog/Delta Live Tables等）
• Kafka/Kinesis等のストリーミングデータ取り込み、REST API開発（FastAPI/Flask等）
• Terraform、BIツール連携（Tableau/Looker/PowerBI）
• オープソース貢献・技術主導の施策推進・AI開発の経験

キャリア成長観点

• 高度なデータ基盤設計をリードするシニアICとして、アーキテクチャ決定と機能推進を担当。
• 金融規制の実務知識とデータガバナンスを実務で深堀り、安定運用とコスト最適化の両立を経験。
• Databricks中心の最新データレイクハウス技術とCI/CD/IaCの実践でスキルを加速。
• AI変革（AX）推進に伴うAI活用開発・自動化の機会があり、技術選択・戦略策定にも関与可能。
• 部門横断のコラボレーションと後輩育成を通じたリーダーシップを獲得できる環境。