Hadoop

Asakusa Framework : DirectIOのハマりやすいところ

Asakusa Frameworkシリーズ、お次は演算子を離れて、DirectIOです。これまでの記事はこちらです。 Asakusa Frameworkのススメ - TEPPEI STUDIO Asakusa Framework : はじめの一歩 - TEPPEI STUDIO Asakusa Framework : DMDLのハマりやすいところ - TEPPEI ST…

Asakusa Framework : GroupSortのハマりやすいところ

Asakusa Frameworkシリーズ、お次はGroupSortです。これまでの記事はこちらです。 Asakusa Frameworkのススメ - TEPPEI STUDIO Asakusa Framework : はじめの一歩 - TEPPEI STUDIO Asakusa Framework : DMDLのハマりやすいところ - TEPPEI STUDIO Asakusa Fr…

Asakusa Framework : MasterJoinのハマりやすいところ

Asakusa Frameworkシリーズ、次はMasterJoin についてです。これまで書いてきた記事はこちらです。 Asakusa Frameworkのススメ - TEPPEI STUDIO Asakusa Framework : はじめの一歩 - TEPPEI STUDIO Asakusa Framework : DMDLのハマりやすいところ - TEPPEI S…

Asakusa Framework : DMDLのハマりやすいところ

これまで、Asakusa Frameworkのススメ - TEPPEI STUDIO Asakusa Framework : はじめの一歩 - TEPPEI STUDIOと書いてきましたが、ここからはより具体的に各機能について書いていきたいと思います。今回はDMDLです。DMDL自体に大した機能があるわけではないの…

Asakusa Framework : はじめの一歩

前回の記事でAsakusaがおススメだということを書きましたが、今回はではどうAsakusa Frameworkを始めるのかというところごご紹介したいと思います。環境構築から、簡単なバッチアプリケーションを作るところまで通してやってみたいと思います。尚、この記事…

Asakusa Frameworkのススメ

先週のCloudera World Tokyo 2013 で 講演させていただいた際に、Asakusa Frameworkの紹介をさせていただきましたが、マネージャー視点によっていたところがあるので、開発者視点の紹介を改めてしたいと思います。 尚、このブログでの記載は私が所属する会社…

Apache #Giraph を Quick Start してみた

Apache Giraphは、グラフ構造データをHadoop上のMapReduceで分析するためのフレームワークです。Hadoop2.2.0のGA版がリリースされて、俄に注目が集まっているのではないかと思います。日本語の解説記事はこのあたりをご覧ください。 次世代Hadoopの特徴は、M…

ScalaでMapReduceを書くためのTwitter製フレームワーク「Scalding」を使ってみた

※ この記事は、Scaldingのgithub上の、branch/0.9.0のReadmeと、Getting Startedをまとめた超訳です。 Scalding とは Scaldingは、Hadoop上のMapReduce開発を簡単にするためのScalaライブラリです。MapとReduceの機能をベタに書くよりも、よりScalaっぽいコ…