SQL

実務でのテーブル結合時のケア(重複排除など)について

SQL

こんにちは、TVerでデータ分析をしている高橋です。 弊社の分析業務の多くは BigQuery に蓄積されているログを使った分析で、大量のログを扱うため前処理から集計まで全てSQLで行っています。 本記事では、SQLを書く上で特に気を付けているテーブル結合時の…

GCP版Dataformで冪等性を担保する設計ポイント3つ

データエンジニアの遠藤です。 TVer Advent Calendar 2023の24日目の記事になります。 はじめに 本年(2023年)、Google Cloudのビッグデータ基盤として展開されるBigQueryでは、データガバナンスツールであるDataformがGA(Generally Avaialble)になりまし…

URL_PARSE 再発明

日々、データ分析をしている森藤です。遅くなってしまいすみません。本記事は TVer アドベントカレンダー 17日目の記事です。 (10日の記事も今度書きます) qiita.com TVer のデータを分析の中で大きな割合を占めるものにユーザジャーニーの分析や外部からの…

DatastreamによるTVer ID会員情報の分析環境改善

TVerでデータシステムなど担当しております黒瀬です。 この記事では、弊社のサービスとして運用しているTVer ID の会員情報を保持するDB(以下、会員DB)のデータの集計にかかる時間を短縮した施策についてご紹介します。 サマリ DatastreamとPolicy Tagを利…

30時間制に SQL で立ち向かう

いよいよ年末ですね。分析担当の森藤です。 この記事は TVer アドベントカレンダー 24日目の記事です (遅くなりました) みなさまははてな時間というものを聞いたことがありますでしょうか? q.hatena.ne.jp また、レポートなどの締め切りを確認するときに「…

Redashのクエリパラメータは便利だなという話

はじめまして、分析担当の高橋と申します。 2022年7月に入社し、現在はマーケティング施策の効果検証、KPI周りの集計や可視化などを行っています。 TVerではデータの集計、可視化にRedashというツールを使用していますが、その機能の一つであるQuery Paramet…

Software Design で SQL をテーマにした記事を執筆しました

こんにちは、 SQL をあれやこれやしているヒト 森藤です。 掲題のとおりですが Software Design 12月号 「なにかと使えるSQL」の第4章 分析SQLの実例 を執筆しました。 gihyo.jp 書籍やネットでも、機能としての紹介はされているもののあまり具体的な事例と…