2015-02-01から1ヶ月間の記事一覧

SparkのDAGを確認するためにSpark UI Event LogをSpark SQLで調べてみた

Spark では、Spark UIというWEB画面が用意されており、実行中のSparkアプリケーションの稼働状況を確認することができます。このSpark UIを見ると、どのJOB、Stageがどの程度時間かかっていて、あとどれくらい残っているかとか、どれだけRDDがメモリを消費し…