「 Treasure Data 」 一覧

Treasure Dataで大規模なマスタデータを扱う際にはtimeカラムインデックスを活用しよう

  2016/09/13    ryo    データベース, ビッグデータ , ,

DACではTreasure Dataを利用して各種データの蓄積や集計を行っています。Treasure Dataは時系列のデータを扱うのに特にすぐれたアーキテクチャなのですが、セグメントIDとユーザーIDの組み合わせといった大量のマスタデータを利用した計算にも利用することもできます。そのような場合にt …

GoogleAppsScriptとTreasureData REST APIを使ってサーバレスにTwitterのデータを取得

  2016/03/09    skryo    ビッグデータ , , ,

またまたTreasureDataネタです。 ただ、今回はクエリ系のネタではなく、GoogleAppsScriptとTreasureDataのREST APIを使ってTwitterのデータをTreasureDataに入れてみたので、その方法を紹介したいと思います。 はじめに ログデータだけではなく、公 …

Treasure Data で集計した結果を Google Spreadsheet に出力する

  2016/02/25    jotaka    未分類 , , , ,

同じチームのメンバーが書いた記事に便乗します。 【入門編】TreasureDataでサイトのアクセス解析をしてみた~第2弾!~ で紹介しております 曜日・時間帯別のセッション数 のヒートマップを毎週 Google Spreadsheet に出力し、さらにそのヒートマップを自動的に Slack に通知 …

【入門編】TreasureDataでサイトのアクセス解析をしてみた~第2弾!~

  2016/02/23    hama    ビッグデータ , , ,

今回もやります、集計クエリ解説シリーズ第2弾！！ 前回は、Webログからセッション単位のデータを作成するだけでした。 第2弾では作成したテーブルを元に、より実践的なアクセス解析、サイト分析で使えるHiveQLについて、実際に使用したクエリとともに解説していきたいと思います。 今回やったこと 利用した …

【入門編】TreasureDataでWEBログ分析をしてみた

  2015/12/24    hama    ビッグデータ , , , , ,

この記事は Treasure Data Advent Calendar 2015 – Qiita の24日目の記事です。 こんにちは。 今回はWEBログの集計や解析をする際によく使うHiveQLのクエリと、UDF(User Defined Functions)について実際の集計クエリを使 …