GCP

GCP版Dataformで冪等性を担保する設計ポイント3つ

データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年(2023年)、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA(Generally Avaialble)になりまし…

DatastreamによるTVer ID会員情報の分析環境改善

TVerでデータシステムなど担当しております黒瀬です。 この記事では、弊社のサービスとして運用しているTVer ID の会員情報を保持するDB(以下、会員DB)のデータの集計にかかる時間を短縮した施策についてご紹介します。 サマリ DatastreamとPolicy Tagを利…

現地参加してきたGoogle Cloud Next '23で発表されたBigQuery data clean roomsを紹介します!

こんにちは。データエンジニア 遠藤(TVerにJOINしてまだ3ヶ月)とアドテクエンジニア 鶴貝です。 2023年8月29日~31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。(4年ぶりのオフライン開催) 弊社では…

Google Cloud Day '23 Tourで登壇しました #GoogleCloudDay

TVerの黒瀬です。 先日開催されましたGoogle Cloud Day '23 Tourの東京会場にて、Breakout Session枠で登壇しました。 この記事では、その発表内容について概要を簡単にご紹介いたします。 なお、本発表の細かい内容については下記ページからオンデマンド配…

Google Cloud Day '23 Tourで登壇します #GoogleCloudDay

TVerの黒瀬です。 来週からオンライン・ハイブリッドで開催されるGoogle Cloud Day '23 Tourの東京会場にて、Breakout Session枠で登壇することになりました。 Google Cloud Dayについて 公式サイトにもあるとおり、Google Cloudの最新ソリューションと事例…

GCPに構築したシステムを安全に運用するための一時権限付与の仕組みについて

GCP

データシステム担当の黒瀬です。 こちらは、TVer Advent Calendar 2022の9日目の記事です。 この記事では、TVerで運用しているデータシステムの基本的な権限管理ポリシーについてご紹介します。 大まかな内容 GCP上に構築しているデータシステムをメンテナン…