ページの本文へ

Hitachi

ビッグデータ×AI(人工知能)

分散バッチ基盤 uCosminexus Grid Processing Server

バッチ処理を分散・並列処理して高速化を実現

uCosminexus Grid Processing Server とは

膨大なデータを処理してビジネスにとって価値のあるデータを生み出すためには、処理に時間がかかります。短時間ですべてのデータを処理できることは、現場から経営まで、あらゆる場面でデータの活用タイミングを増やすことに繋がります。

uCosminexus Grid Processing Serverを利用することで、大量のデータの集計・分析を高速に行うことができ、新たな事実を導き出すような多角的な分析も可能になります。

現行のシステムを活かしたビッグデータの利活用

適用例:業務システムで処理したデータの活用

課題:大量のデータ処理には高額なIT投資が必要となり、情報を十分に活用できない

従来は処理時間が単一ハードの処理性能に依存するため、データ量の増加や範囲の拡大にともない情報の集計や分析などに要する時間が長くなります。決められた時間内に情報の集計や分析を行うためには高性能なサーバ導入が必要となりますが、限られた予算内で調達することは困難です。そのため、処理する情報の量と範囲は限定されてしまいます。

例えば、オンラインシステムから一定時間間隔で配信されるジャーナルデータに含まれる各種の情報をデータベースに反映するようなシステムにおいて、情報の集計を行う各ジョブはジャーナルの配信間隔内に処理を完了しなければなりません。サーバの処理能力に余裕がない場合、必要最低限のデータを反映するためのジョブしか処理できず、新たなジョブを追加できません。その結果、時間内に処理できない情報は十分に活用されず、またデータ間の関連情報を必要とするような多角的な分析も難しくなっています。

適用前:サーバリソースが最適化された大量データETLシステム

解決策:安価なサーバを並列化して、低コストで大量のデータ処理を高速化

uCosminexus Grid Processing Serverを利用することでジョブの分散実行が可能となり、集計や分析などの処理に要する時間を大幅に短縮することができます。今まで時間内に処理できず活用できていなかったデータの集計や、諦めていた多角的な分析のための統合DBの作成が廉価なサーバの並列化で対応可能となるため、ITコストの増加を抑止しながら価値あるデータを効果的に活用することが可能となります。

uCosminexus Grid Processing Server適用後:通信品質管理システム

特徴

uCosminexus Grid Processing Serverは、大量なデータを処理する上で必要な、以下のような特徴をもつ製品です。

並列実行による大量データ処理の高速化

逐次的な大量データの処理を、一つのサーバ内で並列実行したり、データが分散配置された複数台のサーバで分散して並列実行したりすることで、大量データの処理時間を大幅に短縮します。
また、より効率的なリソース割り当てができるようさまざまなスケジューリング機能を提供しており、さらに短時間での処理が可能です。

並列実行による大量データ処理の高速化

簡単な操作で並列化

データ分割を実施する拡張ソートマージ SORT Version 8 Extended Edition と連携しており、数パラメータを指定することでアプリケーションが処理するデータを分散環境に適した形に加工します。
また、既存バッチ処理で使用していたアプリケーション資産を、少ない修正で活用し、分散環境で実行できます。

障害箇所の局所化により処理回復時間を短縮

ジョブを分散並列実行することにより、一部の処理でエラーが発生した場合でも、すべてのジョブをやり直す必要はなく、エラーが発生した処理を再実行するだけで業務全体を回復することができます。

サーバの障害時は別サーバにて業務続行

ジョブの実行前にサーバ障害を検知すると、自動的に別サーバでジョブを実行することができます。

分散しても1ジョブイメージ扱える効率的な運用環境の提供

uCosminexus Grid Processing Server が分散実行する複数のバッチ処理は、JP1/AJS3 *2のジョブ定義と同じ操作で、1つのジョブとして定義することができます。
また、ジョブ実行時には、複数に分散した処理をあたかも1つのバッチ処理を扱うようにシンプルな操作でJP1/AJS3 から運用することができます。

*2
JP1/AJS3:JP1/Automatic Job Management System3

関連ソリューション

ビッグデータ高速処理ソリューション

ビッグデータ高速処理ソリューション
「ビッグデータ高速処理ソリューション」は、適切なIT投資でビッグデータを利活用するために、バッチ処理を高速化するシステムの構築を支援します。利用時間・期間が長い方におススメのソリューションです。詳しくはサイトを参照ください。

バッチソリューション on クラウド

バッチソリューション on クラウド
「バッチソリューション on クラウド」は、バッチ処理の分散・並列実行を可能にして高速化を実現します。さらに、クラウドを活用することで、ミドルウェアを含めて従量課金で提供することにより、コストの最適化を実現するソリューションです。利用時間・期間が短い方におススメのソリューションです。詳しくは以下のサイトを参照ください。