オンプレミスでの使い勝手はそのままにAI開発を加速
2020年12月14日
株式会社日立製作所
日立は、国立研究開発法人産業技術総合研究所(以下、産総研)と共同で、日立のオンプレミス*1と産総研のクラウド*2であるABCI*3に構築された異なる情報システムを安全に連携したハイブリッドクラウド*4のAI*5開発環境を構築し、12月より試験運用を開始しました。本環境には、新たに開発した、高度な認証機能とセキュリティ機能を持つクラウドオブジェクトストレージ*6を用いたジョブデータ管理技術を搭載しており、安全性を維持しながらデータを共有できます。また、開発中のメタジョブスクリプト*7技術により、ハイブリッドクラウド上で同じジョブスクリプト*8でジョブ*9を実行することが可能となり、オンプレミスと同様の使い勝手を実現できます。今後、日立と産総研は、本技術のパブリッククラウドなどへの適用を進め、お客さまに提供していくことで、お客さまのビジネス創出や社会課題の解決に貢献していきます。
ハイブリッドクラウドのAI開発環境
近年、製造機器や自動車、人の動きなどのフィジカルな世界にある多様なデータを、サイバー空間で解析・予測することで、生産計画などを最適化するサイバーフィジカルシステムの活用が加速しています。この予測と最適化にはAIが用いられており、そのAI開発には計算機技術の進化に伴う投資や、一時的な計算機需要急増などへの柔軟性ある対応が必要であるなどの理由から、オンプレミスとクラウドを繋いだハイブリッドクラウドが多く用いられるようになりました。しかし、ハイブリッドクラウドにAI環境を構築するには、機密情報に関するデータセキュリティの確保が必要なことや、ハードウェアやソフトウェアの仕様が異なるシステムでは使い勝手が悪いなどの課題がありました。 そこで日立は、産総研とともに、オンプレミスとクラウドに構築された異なる情報システムを安全に連携し、オンプレミスの使い易さとクラウドの大規模な計算資源の活用を両立するハイブリッドクラウドのAI開発環境を構築しました。
具体的には、本システムでは、オンプレミスとクラウドのシステム連携におけるデータセキュリティ確保の課題に対して、システム間のユーザ認証とデータ共有に、高度な認証機能とセキュリティ機能を持つクラウドオブジェクトストレージのみを用い、ジョブデータ管理を容易に実現する技術を開発しました。本管理技術はユーザ権限で実行できることにより、システム管理者の許可を得てシステム管理者が実行する必要のないため、容易にハイブリッドクラウドに導入できます。
また、プログラムの実行に必要なライブラリをパッキングして持ち運びできるコンテナ技術を活用することで、異なる情報システムにおいても、同じプログラムを実行可能にしました。さらに、本環境で使用しているメタジョブスクリプト技術では、利用するシステムに合わせてジョブスクリプトを自動生成することにより、ユーザは同じジョブスクリプトでジョブを実行できるようにすることができ、オンプレミスと同じ使い勝手を実現します。
日立中央研究所内のAI開発環境(オンプレミス)から国立情報学研究所のSINET5*10経由で産総研ABCI(クラウド)に接続したAI開発環境を構築し、AI開発ジョブ投入の応答速度を測定しました。クラウド環境にあるABCI上にログインして、直接ジョブを投入した場合の応答性能0.3秒に対し、日立中央研究所のオンプレミス環境からリモートでジョブを投入した場合に応答性能は0.59秒となり、ユーザの操作による使い勝手に影響を与えない遅延時間で連携できることを確認しました。
今後、パブリッククラウドに構築したAI開発環境への適用を進め、お客さまに提供していくことで、お客さまのビジネス創出や社会課題の解決に貢献していきます。
なお、本成果の一部は、2020年12月21日から開催される情報処理学会 第177回ハイパフォーマンスコンピューティング(HPC)研究会にて発表する予定です。
