Hadoopは、バズワードになるのかメジャーになるのか？

大規模分散システムの技術でHadoopですが、ビッグデータを使うための必須技術と言われています。ビッグデータはこれから必要といわれても、どのように活用してよいかわからないようです。

そんな中、Hadoopの技術者の立場も様々なようです。

海外での動向をアスキーが記事にしていますので、紹介します。

彼らはそれが必要なことは分かっている。でもその理由と使い方がまだ分からない。

企業のCIOたちはHadoopに関して迷っている。Hadoopが彼らの取り組んでいるデータに役立つことをまだ確信していないが、同時にHadoopの技術者を大量に雇用し続けている。

現実は、企業たちはビッグデータの闇につまずき続ける一方で、大規模データを分散処理・管理するするためのフレームワークHadoopがほぼ確実にその解決策の中核部分になるだろうと理解している。そして彼らは乗り遅れないためにそれに極度に投資しているのだ。主な投資方法？それはHadoopの技術者を雇うことだ。

Hadoopのビッグデータのあまい汁

先週私はビッグデータに関して日和見的だった者たちのビッグデータ実験がいかに増加しているかを詳述した。2012年と2013年にビッグデータ技術に「投資する計画がない」としていた企業たちも、2014年にはいよいよ実験をスタートし始めている:

Source: Gartner

だが同時に、企業は必ずしもビッグデータの広告塔Hadoopが自分達のビッグデータ問題の解決策なのかについて確信を持てていない。

例えば、100人のCIOに対して最近行われたバークレーズの調査によると、Hadoopにはまだ証明しなければならないことが数多く存在している。100人のCIOから得られた回答のうち、72人は「Hadoopが自分の組織の中の重要な技術になるかどうかを判断するにはまだあまりにも早い」状態であると答えている。

データサイエンティストに対する別の調査では、他の苦情に加えて、76%がHadoopはプログラムするのがあまりにも困難であるとしており、その結果35%は完全にHadoopに見切りをつけたという状態だった。

もちろん、人々が時々Hadoopを間違ったところで使用していることもある。フェイスブックのアナリティクス・チーフ、ケン・ルーディンは2013年のStrataで次のように語っている:「Hadoopは必ずしも我々が行うべき仕事のための最良のツールだとは限りません….実際、ビッグデータはHadoopを含んでいるべきであり、またそれはリレーショナル[データベース]を含んでいるべきです。またそれは、タスクに最も適している他の技術を含んでいるべきです」

Hadoop技術者の高い需要

しかしまた、確実にHadoopは多くのビッグデータ用途に対して適切な技術であり、従来のデータ技術では解決できない多くの利点がある。これは、ジョブポスティングの面でもかなり明白に現われている。PayScaleのデータで最近報告されているように、Hadoopは年間100,000ドル以上の平均給与を得ることのできる技術であり、この業界で最もホットな職業技能のうちの1つとして目立ち続けている。

関連記事：ビッグデータはホットだが、サーバーマネジメントツール「Puppet」はもっとホットだ

絶対的な求人の観点からは、オラクルがまだ牛耳っている。しかしIndeedのジョブデータによると、それは急速に衰えている。

Source: Indeed

しかし相対的な雇用の伸びを見ると、HadoopはTeradataやオラクルのような従来のシステム、あるいはNoSQLデータベースのような新しいデータ技術でさえ圧倒している。

Source: Indeed

いくつかの統計からも、Hadoopの需要は2013年以来34%も上昇していている。数年前の古いものだが、マッキンゼー・アンド・カンパニーのビッグデータに関する2011年の報告書が今日でも当てはまる。

2018年までにアメリカは単独で、150万人のマネージャーや有効な決定を下すためのビッグデータの分析ノウハウをもったアナリストと同様、140,000～190,000もの深い分析技術をもつ人材の不足に直面するかもしれない。

Hadoopは唯一のビッグデータ技術ではないが、ビッグデータのための一般的で合理的なプロキシだ。そしてその需要は高い。

ツイッターのオープンソース・チーフ、クリス・Aniszczykが強調しているように、我々は「まだ（Hadoopの）初期採用段階で、ほとんどの企業がHadoopスケールのセットアップを保証するために十分なデータを生成しておらず」、これがCIOに彼らがHadoopから得る価値を疑わせているのかもしれない。恐らくそうだろう。しかし、ほとんどの企業は待っている余裕がないというのも事実だ。競争のためにデータは益々価値あるものとなり、そしてHadoopがその中心に位置しているのだ。

トップ画像提供：Shutterstock

これらのデータを見るとHadoopの技術者のニーズは高まっているようです。しかそ、ビッグデータというキーワードのバズワードとなった場合には、ニーズがかなり限定さたものになるのではを思います。しかし、クラウドベースのソリューションが増えてくると、Hadoopも含めたクラウド系技術のニーズはますます高まってゆくと思うので、意識はしておいたほうがよさそうですね。