「 ビッグデータ 」 一覧
-
-
Treasure Dataで大規模なマスタデータを扱う際にはtimeカラムインデックスを活用しよう
2016/09/13 ryo データベース, ビッグデータ Presto, Treasure Data, ビッグデータ
DACではTreasure Dataを利用して各種データの蓄積や集計を行っています。Treasure Dataは時系列のデータを扱うのに特にすぐれたアーキテクチャなのですが、セグメントIDとユーザーIDの組み合わせといった大量のマスタデータを利用した計算にも利用することもできます。そのような場合にt …
-
-
【入門編】TreasureDataでサイトのアクセス解析をしてみた~第2弾!~
2016/02/23 hama ビッグデータ HiveQL, Treasure Data, アクセス解析, ビッグデータ
今回もやります、集計クエリ解説シリーズ第2弾!! 前回は、Webログからセッション単位のデータを作成するだけでした。 第2弾では作成したテーブルを元に、より実践的なアクセス解析、サイト分析で使えるHiveQLについて、実際に使用したクエリとともに解説していきたいと思います。 今回やったこと 利用した …
-
-
【入門編】TreasureDataでWEBログ分析をしてみた
2015/12/24 hama ビッグデータ Advent Calendar, HiveQL, Qiita, Treasure Data, アクセス解析, ビッグデータ
この記事は Treasure Data Advent Calendar 2015 – Qiita の24日目の記事です。 こんにちは。 今回はWEBログの集計や解析をする際によく使うHiveQLのクエリと、UDF(User Defined Functions)について実際の集計クエリを使 …
-
-
【Hivemall入門】RandomForestで毒キノコ推定モデルを作る
2015/12/01 kazrin3 ビッグデータ hive, hivemall, randomforest, Treasure Data, ビッグデータ, ランダムフォレスト, 機械学習
こんにちは。俺やで。 今回も前回から間が空いてしましたが、ビッグデータに対応したHiveで使える機械学習ライブラリ、 Hivemallの使い方について、書かせていただければと思います。 なお今回はQiitaのTreasure Data / Advent Calender 2015の12/3日分として …