Asakusa Framework 勉強会 2014 秋 を開催しました
ちょっと前になりますが、毎季節恒例のAsakusa Framework 勉強会を開催しました。今回は、サイトロック様に会場を無償御提供いただき、開催しました。ありがとうございます。
はじめの一歩
最初の発表は私から、恒例のはじめの一歩です。９月末にリリースされたver 0.7.0で資料を作り直しました。リリース直後ということもあり、いくつか問題もありましたが、ノーチラスさんが迅速に対応してくれました。迅速すぎて資料に反映しきれませんでしたが ^^;
「Asakusaユーザ事例のご紹介」
こちらは、年に一回稼働する大型バッチのAsakusa化の事例でした。興味深かったのは、バッチ処理対象のデータを、オンライン業務システムから持ってくるところです。このデータそのものが大きくて、それをHadoopからとってくるところで、大きなコストがかかり、Hadoop上のバッチ処理が例え早くても、トータルではあまり効果が無いという事態が起きがちです。この事例では、やはりそこのところを工夫されており、バッチ処理に必要なカラムだけ抽出してHadoopに持ってくる、ということをやっていました。RDBMSからの抽出はScoopを使ったそうです。非常に参考になりますね。
「汎用機担当のエンジニアだった私が体感したAsakusa Framework」
「Hadoopも知らない、Javaも知らないというところから始めました」ということで、なかなか良い前振りから始まった発表でした。興味深かかったのは、Asakusaトレーニングが非常に有効だったということと、汎用機での開発経験はあまり生かせなかった、ということですね。Asakusaトレーニングは私は受けたことがないのですが、かなり内容が充実しているんですね。Asakusaのコーディングは、汎用機のバッチ開発に似ているということをたまに聞くのですが、そうでもないということみたいですね。
「0.7新機能紹介」
個人的には「真夏」の勉強会でもちらちらと聞いていたので、その復習という感じでした。ただ、中間ファイルの最適化というところは、かなり気になりました。hadoopwork配下に出力される中間ファイルはなかなかバカにできない量なのですが、これが少なくなるし、その分スピード向上も望めるというのであれば、非常に嬉しいですね。
ついに１年！
さて、これで、2014冬から始まって、１週しました。
このまま、2015冬と続いていきます。
その前に、OSSコンソーシアムのセミナー
【11/28】 2014 Asakusa Framework Day - OSSコンソーシアムと、AdventCalendarですね。
これからもAsakusaを盛り上げていきたいと思います！
