bigquery

GCP版Dataformで冪等性を担保する設計ポイント3つ

データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年(2023年)、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA(Generally Avaialble)になりまし…

URL_PARSE 再発明

日々、データ分析をしている森藤です。遅くなってしまいすみません。本記事は TVer アドベントカレンダー 17日目の記事です。 (10日の記事も今度書きます) qiita.com TVer のデータを分析の中で大きな割合を占めるものにユーザジャーニーの分析や外部からの…

DatastreamによるTVer ID会員情報の分析環境改善

TVerでデータシステムなど担当しております黒瀬です。 この記事では、弊社のサービスとして運用しているTVer ID の会員情報を保持するDB(以下、会員DB)のデータの集計にかかる時間を短縮した施策についてご紹介します。 サマリ DatastreamとPolicy Tagを利…

現地参加してきたGoogle Cloud Next '23で発表されたBigQuery data clean roomsを紹介します!

こんにちは。データエンジニア 遠藤(TVerにJOINしてまだ3ヶ月)とアドテクエンジニア 鶴貝です。 2023年8月29日~31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。(4年ぶりのオフライン開催) 弊社では…

30時間制に SQL で立ち向かう

いよいよ年末ですね。分析担当の森藤です。 この記事は TVer アドベントカレンダー 24日目の記事です (遅くなりました) みなさまははてな時間というものを聞いたことがありますでしょうか? q.hatena.ne.jp また、レポートなどの締め切りを確認するときに「…

Amazon Aurora MySQLのS3 Export機能がBigQueryの外部テーブルとフィットした話

はじめまして。山根と申します。データ基盤の運用保守をしています。 今回は TVerメンバーによるアドベントカレンダーの8日目の記事になります。 タイトル通り、Amazon Aurora MySQLのデータを BigQueryに転送している話を紹介したいと思います。 背景 弊社…

SQL で Matrix Factorization を実装しました

こんにちは データを眺めている森藤です TVer ではたくさんのデータがあって、どこをほっくり返してもなんか有用な知見が出てくるので毎日楽しいです。 現状 さて、現状はまだまだこれからなのですが、レコメンドのアルゴリズムや実装について考えるのも仕事…