fastavroとjqでAVRO形式のファイルからデータを取得しよう

  2017/03/31    ryo    ビッグデータ, 未分類, 開発ツール

AVRO形式のファイルを取り扱いたい AVROとはApacheプロジェクトのひとつとして開発されているデータ交換形式です。 コンパクトなバイナリで高速なシリアライズ・デシリアライズが行えるため、サーバーログなどに利用されています。 弊社内での一部システムのログデータにも利用されているのですが、専用の …

key

AWS KMSを使って秘密鍵を管理する

  2017/03/30    jotaka    セキュリティ

本記事は2017年3月1日時点での情報です。正確かつ最新の情報は公式ドキュメントをご参照ください。 はじめに 秘密鍵,APIトークン,パスワードなどはたとえ社内公開・プライベートであってもGitリポジトリに含めたくない情報です。では,どのように管理すればよいでしょうか? 少し前の本ブログの記事 でも …

初心者がRailsで開発 – deviseでユーザー認証設定 –

こんにちは、2年目のYukaです。 開発部所属でありながら実は、、 実際に自分で手を動かして開発する機会がなかなかありませんでした。。 しかしついに、、、 開発初心者がRailsでWebアプリの開発に挑戦します!! 今回のゴールは社内でも使用しているGoogleアカウントで簡単にログインができるよう …

AWSのcredentialsを注意して取り扱う話

はじめに 最近ではオンプレミスでサーバを自前で用意する他に、クラウドサーバを使う機会が増えているかと思います。 弊社では、Amazon Web Services (AWS)を利用しており、多くの処理をAWS上で行っています。 AWSを利用していくにあたっては、アクセス情報(credentials)を …

Android 非同期処理についてまとめてみた

Androidには、UIに影響を与えないよういくつか非同期処理が用意されています。 今回は非同期処理の代表的な ・Service ・IntentService ・HandlerThread について違いを踏まえながらまとめます! 非同期処理について(http://codezine.jp/articl …