データ分析基盤移行

データマネジメント

システム/プロジェクト概要

全国規模の大量のユーザーデータをデータレイクに集約し、データ分析基盤を通じてビッグデータの活用を実現するシステム。

お客様の課題/要望​

ランニングコストを削減したい

Tech Funが実施したソリューション

独自関数置き換え

BigQueryに置き換える上でそのままでは使えない関数の使用が多数あった。
該当部分の洗い出し及びBigQueryで同様の結果となるよう実装を行なった。

コスト削減対策

一部クエリは無駄な処理を行なっておりコストを上げる要因となっていた。
このクエリのリファクタリングを行いランニングコスト低減の対策を行なった。

プロジェクト情報
対応工程 実装、テスト
チーム規模 最大2名体制(Tech Funチーム体制)
工数 6人月
主要技術要素 GCP(BigQuery)、AWS(S3)、Digdag

アーキテクチャ図

アーキテクチャ図