サービス事例
データ分析基盤のBigQueryへの移行とコスト削減を実現
システム/プロジェクト概要
全国規模の大量のユーザーデータをデータレイクに集約し、データ分析基盤を通じてビッグデータの活用を実現するシステム。
お客様の課題/要望
- ランニングコストを削減したい
Tech Funが実施したソリューション
独自関数置き換え
BigQueryに置き換える上でそのままでは使えない関数の使用が多数あった。
該当部分の洗い出し及びBigQueryで同様の結果となるよう実装を行なった。
コスト削減対策
一部クエリは無駄な処理を行なっておりコストを上げる要因となっていた。
このクエリのリファクタリングを行いランニングコスト低減の対策を行なった。
プロジェクト情報
対応工程 | 実装、テスト |
チーム規模 | 最大2名体制(Tech Funチーム体制) |
工数 | 6人月 |
主要技術要素 | GCP(BigQuery)、AWS(S3)、Digdag |