グリッドコンピューティングは、現在、次のようなエンジニアリング現場・市場に最も有効です。compute-intensive なタスクが多く、非常に多くのリソースを使用する技術計算分野において、積極的に採用されています。最も重要なことは、ユーザは何も考慮することなく、システムリソースを有効に活用できることであり、これがトータル・ターン・アラウンドの削減に繋がります。また、この機能がオープンソース（フリー）のソフトウェアで可能であることも、大きなコスト削減効果をもたらします。是非、一度お試し下さい。
躊躇なさっている方も是非ご相談下さい。適切なアドバイスをさせていただきます。

• EDA
• MCAE （Parametric study)
• バイオサイエンス
• ジオ・サイエンス（地質、建設、土木、設計分野における計算業務）
• Economics and Financial Modeling
• ソフトウェア開発
• デジタル画像の作成、医療画像、大規模画像の分割処理による高速化適用
• ビジネス分野での定型処理（バックエンドを Linux-Grid で構築し、フロント部を Windows 環境でインタフェースを取る
  

PCクラスタシステムをグリッドコンピューティングシステムで運用すると、ユーザの様々な不満を解消できます。

　グリッドコンピューティングシステムを構築する目的は PCクラスタ内のコンピュータ（リソース）を有効活用することにありますグリッドコンピューティングシステムを利用しない場合、PCクラスタのユーザは「どこのコンピュータが利用可能なのか？」ということを意識しながらジョブを実行する必要があります。またコンピュータの負荷を一元的に管理していないため、各コンピュータの利用率が不均一になります。また、ユーザがコンピュータの空き状況や、負荷状況を気にしながらジョブを実行することはユーザに不要な負担となり、生産性を低下させる要因となります。図 2-1 にグリッドコンピューティングシステムを利用しない運用のイメージを示します。

　グリッドコンピューティングシステムを導入しますと、PCクラスタ内のリソースの状況はグリッドコンピューティングシステムが一元管理を行います。ユーザがグリッドコンピューティングシステムのコマンドを利用してジョブを投入すればグリッドコンピューティングシステムが適切なリソースをジョブに割り当てて実行し、結果をユーザに返します。

　グリッドコンピューティングシステムによってユーザは PCクラスタ内の状況を気にする必要が無くなり、本来の業務に専念できます。またコンピュータの利用率も向上します。図 2-2 にグリッドコンピューティングシステムを利用した運用のイメージを示します。

　1 つのプログラムに使用するパラメタを毎回変えて実行し、情報を取得する、このようなジョブは‘パラメトリックスタディジョブ’と呼ばれ、様々な現場で数多く実行されています。
　SGE ではパラメトリックスタディジョブを‘アレイジョブ’機能としてサポートしています。アレイジョブを構成するジョブは‘タスク’と呼ばれます。パラメトリックスタディジョブ自体は簡単な概念ですが、パラメトリックスタディジョブをサポートしていないバッチジョブシステムでは運用時に様々な問題が発生します。

　急いで実行したいジョブがあるが、既に多くのジョブが投入されている。このような状況では、ジョブのプライオリティをより高優先度の値に変更してジョブを投入する方法が一般的です。SGE においてもジョブにプライオリティを付けて、スケジューリングを変更することができます。しかし、この方法では既に実行されているジョブに対してはプライオリティの効果はありません。もっとも優先度が高いジョブであっても、現在実行中のジョブが終わるまで待つことになります。

　SGE には実行中のジョブをサスペンドし、優先度の高いジョブを先に実行する機能があります。これはキューの機能として提供されます。優先ジョブ用のキューにジョブが投入された場合、エグゼキューションホストを共有する他のキューをサスペンドし、自キュー内のジョブを優先して実行できます。

　キューがサスペンドされると、そのキュー内で実行中のジョブもサスペンドされます。また、ジョブが存在していなかった場合、サスペンド中のキューは新しいジョブに割り当てられることはありません。また、優先ジョブ用のキューで実行されるジョブがなくなると、サスペンドは解除され、ジョブの実行を再開します。

　グリッドコンピューティングシステムには長時間連続稼動できる安定性が求められます。SGE では以下の方法で高可用性を実現しています。

• グリッドコンピューティングシステムを管理するホストの二重化

グリッドコンピューティングシステムを管理するホストは‘マスタホスト’と呼ばれます。マスタホストがダウンしますとグリッドコンピューティングシステム全体が停止することになります。つまり性能のボトルネックになります。SGE ではマスタホストをバックアップする‘シャドウマスタ’を定義しグリッドコンピューティングシステム全体の可用性を向上することが可能です。　シャドウマスタ使用時のイメージを図 2-3 に示します。

図 2-3 シャドウマスタイメージ

• ジョブ実行中のホストに障害が発生したときの再実行機能

　ジョブ実行中のホストが何らかの障害でダウンした場合、SGEは該当ジョブを他のホストで自動的に再実行します。再実行のイメージを図 2-4 に示します。

図 2-4 ジョブ再実行機能

　シャドウマスタ機能

　グリッドコンピューティングシステムにおいてジョブを管理するホスト（マスタホストと呼ばれます）は非常に重要です。このホストが停止すると、バッチジョブシステム全体が機能しなくなるからです。

　SGE ではマスタホストをバックアップするシャドウマスタを定義することが可能です。シャドウマスタは常にマスタホストを監視し、マスタホストにあわせて情報を更新します。もし、マスタホストがダウンしたとき、シャドウマスタがマスタホストの機能を引継ぎ、グリッドコンピューティングシステムを管理します。これにより、グリッドコンピューティングシステムの可用性を高めることが可能です。

　キューのプライオリティによって同一ホスト上の他のキューを自動的にサスペンドすることが可能です。これにより高プライオリティキュー使用時は、他のキューをサスペンドし、高プライオリティキュー内のジョブを優先して実行できます。　キュー制御の様子を図 3-1に示します。

　ジョブ実行中のホスト（エグゼキューションホストと呼ばれます）がダウンしたとき、実行中のジョブを他のホストで自動的に再実行できます。このためホスト異常によるジョブ未実行ということが基本的にはなくなるため、ジョブ管理が容易になります。また、システムの可用性を高めることになります。

　アレイジョブとは 1 つのプログラムのパラメタを変更しながら繰返し実行するジョブのことです。一般的にはパラメトリックスタディジョブと呼ばれます。パラメトリックスタディジョブの概念図を図 3-2 に示します。

　アレイジョブの特徴を以下に示します。

• ジョブサブミットの簡略化

　従来のバッチジョブシステムではユーザが必要な個数分のジョブを投入する必要がありました。　SGE ではジョブをサブミットするコマンド（qsub コマンド）を 1 回使用するだけで複数のジョブをジョブアレイとしてサブミット可能です。

• 簡単なジョブ管理

　従来のバッチジョブシステムではパラメトリックジョブは1ジョブずつ独立して存在します。そのため、パラメトリックジョブ全体に対して、削除、ホールドなどの操作が煩雑でした。
　SGE ではジョブアレイを操作するための ID が付加されますので、ジョブアレイ全体に対して操作を行う場合、この ID を使用することで簡単に行えます。また、ジョブアレイを構成するジョブ（タスクと呼ばれます）にはジョブアレイごとにユニークな ID が付加されます。個別のタスクを操作する場合は、タスク用の ID を使用します。複数のタスクをまとめて操作できるように ID の範囲指定も可能です。

　SGE の qtcsh コマンドは tcsh のインタフェースを提供し、ユーザがあらかじめ指定したプログラムが入力されると自動的にバッチジョブシステム内のホストで実行します。

　例えば、画像処理などの高い CPU パワーが必要なプログラムを qtcsh コマンドの設定ファイルに定義しておけば、コマンドプロンプトから定義されたコマンドが入力されると SGE が適切なホストを割り当ててコマンドを実行します。ユーザはローカルとリモートの区別を意識することなく作業に専念できます。

　qtcsh による処理の流れを図 3-3 に示します。

　複数のジョブを組み合わせて処理を行う場合、ジョブの実行順序に依存関係を設定すると便利です。例えば図 3-4 に示すような複数の部分画像ファイルを作成し、最終的に 1 つの画像ファイルにまとめる処理の場合、部分画像ファイル作成処理はそれぞれ独立して実行できますが、1 つの画像ファイルにまとめる処理は部分画像の作成が終わった後に実行する必要があります。このような実行制御はジョブの依存関係を設定することで実現できます。

　このような処理を一つのジョブで実行することはもちろん可能ですが、処理を分割してジョブとすることにより次の利点が得られます。

• リソースの有効活用

　エグゼキューションホストの空きが十分にある場合、複数のジョブを同時に実行することができます。1 つのジョブに記述した場合、各処理はシーケンシャルに実行されますので空いているリソースを有効に利用できません。

• 耐障害性の向上

　実行中のホストに障害が発生した場合、再実行処理により他のホストで実行しますが、処理を分割することにより再実行の範囲が小さくなるので、障害回復のオーバヘッドを小さく出来ます。

　多くのバッチジョブシステムで使用されている FIFO（first-in-first-out）方式のスケジューリングでは、先に多量のジョブを投入したユーザが資源を占有してしまうという問題が発生します。

　SGE ではこの問題を回避するため Equal-share-scheduling と呼ぶスケジューリング方式を実装しています。このスケジューリング方式では、各ユーザのジョブがなるべく公平に実行されます。そのため他のユーザが大量のジョブを投入していても、後から投入した自分のジョブが長時間待たされることはありません。

　なお、SGE/EE（Sun Grid Engine, Enterprise Edition）ではさらに柔軟なスケジューリング機能が利用可能です。弊社では、SGE/EE を使用した構築支援サービスも今後ご提供する予定です。

　グリッドコンピューティングシステムを止めることなく、ホスト追加、キュー設定などの構成を変更できます。

　SGE で利用できる主な機能を示します。

• インタラクティブジョブのサポート

  　コンパイルやテスト実行などの対話実行が必要されるインタラクティブジョブを効率良く実行するためにスケジューリングします。

• パラレルジョブのサポート

　MPI（Message Passing Interface）、PVM（Parallel Virtual Machine）で作成されたパラレルプルグラムに必要なリソースを適切に管理し、他のシングルジョブと同様にスケジューリングします。

• ジョブ実行前後でシステム指定のプロシジャを実行可能

　キュー毎にジョブ実行前後に実行するプロシジャを定義できます。

• ユーザ、グループによる権限の設定

ユーザ、グループによってキューの使用を制限することが可能です。また特定のユーザに管理者、オペレータといった権限を与え、権限レベルによってバッチジョブシステムの管理を分担することができます。

• GUI によるジョブ管理、および、システム管理

　ジョブのサブミットや操作、キューの管理、システム構成の変更まで GUI で実行可能です。

• ジョブ情報のロギング

　実行したジョブの情報（使用したキュー、実行時間など）をロギングし、様々なパラメタで検索可能です。

• カレンダーによるキュー制御

　曜日、日時などでキューの動作を変更可能です。

• 外部のスケジュールプログラムが利用可能

　ジョブスケジューラとして広く使用されている Maui Scheduler 3.2 と組み合わせて使用できます。

　SGE の動作条件を表 4-1 に示します。
　ジョブを実行するエグゼキューションホストでは、ジョブの特性に適したプロセッサ、メモリ容量、スクラッチ用ディスク容量が必要です。

表 4-1 SGE 動作条件

　弊社では Grid Engine を実装した PCクラスタシステムの販売、および SGE を使用したグリッドコンピューティングシステムの実装を支援いたします。ソフテックのサービス・ミッションは、PCクラスタを販売することだけではなく、グリッド環境を実装することにより「お客様のビジネスの生産性を向上すること」にあります。これは、従来のPCクラスタ提供ベンダーが「売り切り」で、ユーザが本当に求めるサービスを提供できないものとは大きく異なります。ソフテックのサービスを活用することで、結果的に単なるPCの集まりから、生産性向上システムへ変身し、結果的に非常に高い投資対効果を発揮することでしょう。
　主な実装・作業項目は以下の通りです。

• SGE インストール
• パス設定
• 基本キューの設定
• アドミニストレータ、サブミット、マスタ、エグゼキューションホストなどのホスト権限の設定
• 管理者、オペレータのユーザ権限の設定

• スケジューリング方式の調整
• ユーザが同時に実行できる最大ジョブ数
• 再スケジューリングまでの間隔調整
• エグゼキューションホストダウン検出時間

• インタラクティブキューの設定
• パラレルエンバイロメントの設定
• MPI環境との調整
• シャドウマスタの設定

• グリッドコンピューティング環境の最終目標は、生産性の向上です
• 生産性向上のためのあらゆるご要望を承ります
• ジョブスクリプトの開発
• 管理者教育、ユーザ教育