FIT2011 第10回情報科学技術フォーラム

抄録

O-047
仮想環境におけるHadoop処理時間予測に関する実験と考察

センサー情報等の大量データを仮想環境に構築したHadoopで分析する際，処理時間を予測したいというニーズがある。しかし，従来研究による予測方式は 物理環境を対象としているため，仮想環境への適用は考慮されていない。そこで本論文では，仮想ストレージによる予測方式への影響を，入力データ量を変え測定，Map処理時間が急増する場合があることを確認した。HadoopではMap処理結果の格納時にディスクアクセスが多発するため，ストレージ共 有による遅延が発生したと考えられる。以上より，Map処理の出力データサイズが小さくなるようにMap処理を設計することで，仮想環境で既存方式を適用可能となる見通しを得た。