「 ビッグデータ 」 一覧

Treasure Dataで大規模なマスタデータを扱う際にはtimeカラムインデックスを活用しよう

  2016/09/13    ryo    データベース, ビッグデータ , ,

DACではTreasure Dataを利用して各種データの蓄積や集計を行っています。Treasure Dataは時系列のデータを扱うのに特にすぐれたアーキテクチャなのですが、セグメントIDとユーザーIDの組み合わせといった大量のマスタデータを利用した計算にも利用することもできます。そのような場合にt …

【入門編】TreasureDataでサイトのアクセス解析をしてみた~第2弾!~

  2016/02/23    hama    ビッグデータ , , ,

今回もやります、集計クエリ解説シリーズ第2弾！！ 前回は、Webログからセッション単位のデータを作成するだけでした。 第2弾では作成したテーブルを元に、より実践的なアクセス解析、サイト分析で使えるHiveQLについて、実際に使用したクエリとともに解説していきたいと思います。 今回やったこと 利用した …

【入門編】TreasureDataでWEBログ分析をしてみた

  2015/12/24    hama    ビッグデータ , , , , ,

この記事は Treasure Data Advent Calendar 2015 – Qiita の24日目の記事です。 こんにちは。 今回はWEBログの集計や解析をする際によく使うHiveQLのクエリと、UDF(User Defined Functions)について実際の集計クエリを使 …

【Hivemall入門】RandomForestで毒キノコ推定モデルを作る

  2015/12/01    kazrin3    ビッグデータ , , , , , ,

こんにちは。俺やで。 今回も前回から間が空いてしましたが、ビッグデータに対応したHiveで使える機械学習ライブラリ、 Hivemallの使い方について、書かせていただければと思います。 なお今回はQiitaのTreasure Data / Advent Calender 2015の12/3日分として …