bigquery

DatastreamによるTVer ID会員情報の分析環境改善

TVerでデータシステムなど担当しております黒瀬です。 この記事では、弊社のサービスとして運用しているTVer ID の会員情報を保持するDB(以下、会員DB)のデータの集計にかかる時間を短縮した施策についてご紹介します。 サマリ DatastreamとPolicy Tagを利…

現地参加してきたGoogle Cloud Next '23で発表されたBigQuery data clean roomsを紹介します!

こんにちは。データエンジニア 遠藤(TVerにJOINしてまだ3ヶ月)とアドテクエンジニア 鶴貝です。 2023年8月29日~31日にGoogle Cloudの技術カンファレンスGoogle Cloud Next '23がサンフランシスコで開催されました。(4年ぶりのオフライン開催) 弊社では…

30時間制に SQL で立ち向かう

いよいよ年末ですね。分析担当の森藤です。 この記事は TVer アドベントカレンダー 24日目の記事です (遅くなりました) みなさまははてな時間というものを聞いたことがありますでしょうか? q.hatena.ne.jp また、レポートなどの締め切りを確認するときに「…

Amazon Aurora MySQLのS3 Export機能がBigQueryの外部テーブルとフィットした話

はじめまして。山根と申します。データ基盤の運用保守をしています。 今回は TVerメンバーによるアドベントカレンダーの8日目の記事になります。 タイトル通り、Amazon Aurora MySQLのデータを BigQueryに転送している話を紹介したいと思います。 背景 弊社…

SQL で Matrix Factorization を実装しました

こんにちは データを眺めている森藤です TVer ではたくさんのデータがあって、どこをほっくり返してもなんか有用な知見が出てくるので毎日楽しいです。 現状 さて、現状はまだまだこれからなのですが、レコメンドのアルゴリズムや実装について考えるのも仕事…