AWSApacheAzureCloudWatchDatabricksFastAPIFlaskGCPGitGitHubGitHub ActionsIAMKafkaPythonRESTRedshiftS3SparkTerraformUnityVPCVault
業務内容
- REST APIやデータベース接続を用い、CRM・CBS・CLM・LOS等の多源データを取り込むデータパイプラインの設計・実装
- Bronze/Silver/Goldレイヤーのデータ変換処理の構築・運用、データ品質・一貫性・性能の担保
- データ品質チェックとシステム間データ照合ロジックの実装(例:CBS取引データと元帳残高の照合)
- Databricks SQL/NotebooksとDelta Live Tablesを用いたETL開発・最適化
- 規制レポートや外部マート(Conseek)へのデータ連携、CRM統合を軸にしたデータモデル設計・実装
- 下流システム向けデータ供給レイヤー・APIコントラクト・データスキーマの定義
- アーキテクチャ設計における意思決定・テクニカルリードへの協力
- パイプラインの単体/結合/データ品質テスト、モニタリング、障害対応と改善
- TerraformによるIaC、CI/CDの設定、ドキュメント整備・ベストプラクティス共有
- 中堅エンジニアのメンタリング・コードレビュー・チーム内ナレッジ共有
技術スタック
必須スキル
- データエンジニアリング5年以上の実務
- SQLとPythonの高いスキル
- Databricks/Sparkでのデータパイプライン構築経験
- クラウドプラットフォーム(AWS/Azure/GCP)とデータストレージ(S3/ADLS/GCS)の利用経験
- ディメンショナルモデリング、データガバナンス・データリネージの理解
- Git/CI/CDによる開発経験
- 日本語ビジネスレベル
- 学士号または同等の実務経験
歓迎スキル
- 英語ビジネスレベル
- Databricks全機能(AutoLoader/Unity Catalog/Delta Live Tables/SQL/Worflows)の実務経験
- 金融データ・規制要件への知識・経験
- データ品質検証フレームワークの経験
- REST API開発(FastAPI/Flask)経験
- Kafka/Kinesis等のストリーミング知識
- Terraform・オープンソース貢献
- AI関連開発経験
キャリア成長観点
- ゼロからのデータハブ構築と全社データ連携をリードする中核ポジションでの設計力・判断力の向上
- 複雑な銀行ドメインのデータ品質・照合・規制対応を通じた高度なドメイン知識の獲得
- 中堅エンジニアのメンタリングやコードレビューを通じたリーダーシップ育成
- プラットフォーム全体のアーキテクチャ決定に参画し、データプラットフォームの長期戦略に影響を与える機会
- AIエージェント導入などDX/AI transformationの先端領域で技術的リードを取り、組織の新しい価値創出を体験
データ取得日: 2026/10/1
面接に向けて、考え方と伝え方を学習コンテンツで整理しましょう。
面接対策コンテンツを見る