Cloudera Apache Hadoop 開発者向けトレーニング

社外の研修に。
それもお泊りでっていつぶり？というか初めてかもｗ
Cloudera Apache Hadoop 開発者向けトレーニング
新宿で４日間みっちり。
印象としては、相当な大きさなデータでの処理で、MapReduceで単純な処理の繰り返しで結果を求めるような場合かな。
いわゆる通常の業務でのバッチ処理って考えると、また違うような。
今のバッチ処理は、本来の業務フローではなかったのに、システムの都合でバッチ処理になってるだけな場合は多い？
そうであれば、リファクタリングしてリアルタイム処理すべきなんだと思う。多分。
でも、やっぱり大量にあるログなんかの処理では有効な解ではある。
もう一つの肝はMapReduceで、この構造で処理を設計するってのがハードル高いかも。
SQLで考えるとMapが副問い合わせで集計する要素の準備をして、ReduceがGROUP BYで集計みたいな感じじゃなって、感覚ではあるけど。
機械学習とかも興味があるけど、全然知識がないので聞いてるだけになったのが残念。
講師の方の教え方というか話がわかりやすかったし、一緒に受講した方々のQAも突っ込んだモノが多くて、イイ研修だった。
また懇親会でも、みなさん各方面の濃いｗ話も聞けたし。