ページの本文へ

Hitachi

ミドルウェア ソリューション

JavaScriptをオンにするとブレッドクラムが表示されます。ミドルウェア ソリューション サイトのトップページはこちら。

バッチ処理高速化ソリューション

バッチ処理を改善・高速化し、業務の拡大・複雑化に伴うデータ増加に遅延なく対応できるシステムの構築を支援します。

バッチ処理高速化ソリューションとは

各要素時間を短縮することにより、バッチ処理を高速化

企業の成長に伴い、業務の拡大や複雑化が起こります。その結果、データ量増加、仕様変更によるシステム改修や継ぎ足し開発による処理の非効率化など、様々な原因により、バッチ処理のパフォーマンスが劣化します。
本ソリューションでは、サーバー・ストレージ・ネットワークといったバッチ処理の各要素をトータルで改善・高速化し、時間内に確実に処理できるシステムの構築を支援します。
これらの支援はミドルウェア活用スターターサービス、ミドルウェア活用テクニカルサービスとして提供されます。

課題:データが増加しても遅延なくバッチ処理を行いたい

【現状】業務の拡大や複雑化によるデータ増加でバッチ処理が遅延する

「データが増えてバッチの突き抜けが心配」「的確な判断をするには鮮度のよい分析結果が必要」「バッチが遅いけど原因がわからない」「メインフレームのバッチ処理移行が課題だ」

また、システム改善にかけられる時間・投資金額によっても解決策が変わってきます。
サーバー・ストレージ・ネットワークの増強による短期的な解決策(解決策1・2)、バッチ処理高速化のためのソフトウェアの導入による中期的な解決策(解決策3〜5)、バッチ処理プログラムの改善による長期的解決策(解決策6・7)があります。システム要件にもよりますが、効果の高い部分に対して、複合的なアプローチを取ることをおススメします。また、根本的な解決を求める場合は、長期的解決をおススメします。

【解決】バッチ処理の高速化

さまざまな原因により発生するバッチ処理の性能問題に対し、お客さまの要件に応じた最適解をご提供します。

原因「データ処理が遅い・ディスク I/Oが遅い・データ転送が遅い・リソース排他等による待ち時間が多い」、解決策「短期的な解決策・中期的な解決策・長期的な解決策」

解決策1:短期的な解決策:ハードウェア増設・入換えによる処理能力向上

解決策2:短期的な解決策:多重化通信による、データ転送処理の高速化

解決策3:中期的な解決策:インメモリデータグリッドによる、中間データ処理などの高速化

解決策4:中期的な解決策:分散共有ファイルシステムによるファイルアクセスの高速化

解決策5:中期的な解決策:DBチューニングによるDBアクセスの高速化

解決策6:長期的な解決策:大量データ分散処理による負荷の分散

解決策7:長期的な解決策:バッチプログラム改良やツールの利用によるバッチ処理の高速化

【解決1】ハードウェア増設・入換えによる処理能力の向上

日立の高性能サーバへの入換えやHDDストレージのフラッシュストレージ化などにより、バッチ処理の高速化を実現します。システム上のアプリケーションを修正する必要がほとんどないため、比較的短期間で、システム構築を実施することができます。システム上のアプリケーションの修正に多大なコストがかかる場合におススメの解決策です。

  • オフィスの机上から、クラウド基盤まで CPUやOS、使用環境、仮想化への適応性など、さまざまな仕様に対応したサーバ
  • 複数のフラッシュメモリで構成し高速アクセス可能なフラッシュストレージ(Fusion-io、SSD(Solid State Drive)、HAF(Hitachi Accelerated Flash))

【解決2】多重化通信によるデータ転送処理の高速化

大容量のファイルをインターネット経由で高速かつセキュアに転送する製品「JP1/Data Highway」を利用することにより、高速・大容量・高品質データ転送を、インターネット回線を利用して「安価」に実現できます。海外拠点からのデータ収集や、クラウドへのデータ転送などにおススメの解決策です。JP1/Data Highwayには下記のような特徴があります。

  • 多重化通信による高速化をインターネット回線(HTTPS)で実現。一部の通信が途切れても、残った通信により自動再送可能
  • 数十MB〜数GBのファイルも分割する必要なく転送可能
  • 既存インターネットを利用できるので国際専用線敷設、増設より低コスト
  • データ転送に必要なセキュリティ担保(承認)を利用可能

【解決3】インメモリデータグリッドによる、中間データ処理などの高速化

データをメモリに配置することにより、ディスクアクセスのオーバーヘッドを削減。アクセス数/データ量の増加に合わせたスケールアウトでシステム全体のスループット向上。

複数のサーバのメモリにデータを分散管理し、並列に処理する技術であるインメモリデータグリッド製品の「Hitachi Elastic Application Data Store」を利用することにより、バッチ処理対象のデータに高速かつ安全にアクセスできるため、処理の高速化が図れます。大量データの頻繁な更新・参照があるシステムにおススメの解決策です。Hitachi Elastic Application Data Storeには下記のような特徴があります。

  • データをメモリに配置することにより、ディスクアクセスのオーバーヘッドを排除
  • アクセス数/データ量の増加に合わせたスケールアウトでシステム全体のスループット向上

【解決4】分散共有ファイルシステムによるファイルアクセスの高速化

日立の分散共有ファイルシステム「Hitachi Striping File System」を利用することにより、ファイルシステムへのアクセスを高速化します。その結果、高スループット性能が得られるためバッチ処理を高速化できます。また、分散処理で合わせて使うと効果的です。
既存のプログラムを変更したくない場合、大量データの頻繁な更新・参照があるシステムにおススメの解決策です。Hitachi Striping File Systemには下記のような特徴があります。

  • 複数の論理ユニットを束ねて1つのファイルシステムを構成することにより、並列にI/Oすることで高スループット性能を実現
  • ファイルのバッファキャッシュにより、I/Oレスを実現
  • サーバ数を増やすことで、スケーラブルに性能向上を実現

【解決5】DBチューニングによるDBアクセスの高速化

DBがHiRDBの場合、HiRDBテクニカルサポートサービスの「チューニングサービス」を利用することで、HiRDBのアクセスに起因するバッチ処理の性能低下を改善します。
具体的には、SQLの使用方法やDB実行環境(バッファ、プロセス数など)やDB構造(表形式)の改善・チューニングを実施します。

【解決6】大量データ分散処理による負荷の分散

分散・並列化によりバッチ処理を高速化

バッチ処理の分散実行を可能とするuCosminexus Grid Processing Serverを利用することで、データを逐次的に処理するバッチ処理を一つのサーバ内、あるいはデータが分散配置された複数台のサーバで並列実行でき、処理時間を大幅に短縮することができます。並列実行であってもジョブの定義・運用は複雑化せず、効率的な運用が可能です。

さらに、以下の特徴をuCosminexus Batch Job Execution Serverを利用することにより、メインフレームのバッチ処理をオープン化する時に、既存資産を活用したバッチ業務を開発、実行も可能になります。

  • 簡単なジョブ定義,スプール機能などメインフレーム特長機能をオープンシステムで実現
  • 既存のバッチシステム資産を活用したシステム移行を軽減

また、月末や期末など、一時的に負荷高くなるときに、サーバーやソフトウェアのリソースを必要なだけ使用することでコストの最適化をはかりたい場合は、クラウド(AWS, Hitachi Cloud)を活用した、バッチソリューション on クラウドをおススメします。このソリューションでは、クラウド環境と、uCosminexus Grid Processing Serverを組み合わせることで、バッチ処理の高速化とコストの最適化を実現します。

システム移行・統合などにより、既存のプログラムを変更した上で、抜本的な改善をしたい場合におススメの解決策です。

【解決7】バッチプログラムの改良やツールの利用によるバッチ処理の高速化

以下の特徴を持ったJP1ジョブ管理快適運用ソリューションを利用することにより、JP1ジョブの稼働・操作状況を「見える化」し、システムを改善します。

  • お客さまからJP1/Automatic Job Management System 3のログファイルを送付いただくだけで、稼働状況を7種類のグラフ・表に纏めてお客さまに報告
  • 稼働状況をベースに、JP1/Automatic Job Management System 3の稼働状況や障害の予兆がないか診断。診断結果&改善案をレポートとしてお客さまに報告
  • 改善案を実現するため方法や実際の作業時の支援を含んだコンサルティングを実施

また、以下の特徴を持ったSORT Version8 - Extended Editionを利用することにより、バッチ処理における、ソート処理を高速化することにより、バッチ処理を高速化します。

  • インコアソートで高速処理、多彩なレコード編集が可能
  • CSVファイルのソート・マージ・レコード編集も可能

バッチ処理の仕方に課題がある場合に、おススメの解決策です。

関連事例

関連製品一覧

関連製品一覧
分類 機能 製品・ソリューション
ストレージ ストレージ 日立ストレージソリューション
ストレージ フラッシュストレージ
サーバ サーバ 日立サーバ&ソリューション
データ転送 高速大容量データ転送基盤 JP1/Data Highway
ファイル、データ系 分散共有ファイルシステム Hitachi Striping File System
データベース HiRDBテクニカルサポートサービス:チューニングサービス
インメモリデータグリッド Hitachi Elastic Application Data Store
バッチ バッチジョブ分散実行 uCosminexus Grid Processing Server
バッチジョブ実行基盤 uCosminexus Batch Job Execution Server
ソートマージ SORT Version8 - Extended Edition
運用管理 ジョブスケジューラ運用 JP1ジョブ管理快適運用ソリューション
ジョブスケジューラ JP1/Automatic Job Management System 3