|
現在のシステムは、1プロセッサに複数のマルチコアを搭載しているため、MPI のプログラム開発も 1 ノード上の複数の並列プロセスを使用して開発できるようになりました。このように、1ノード内のローカルなプロセス環境で
MPI 並列の開発ができることから、 PGI の Workstation/Server ライセンスにおいても、ローカルノード上でのMPI 用のデバッガ、プロファイラを含めた開発環境を提供します。なお、ローカル並びにリモート・ノードも含めた MPI の開発環境は、 PGI CDK ライセンス製品で可能となります。
PGI Workstation & Server 製品 （Linux 版） は、 PGI 7.1 以降、MPICH-1 ライブラリをバンドルし、インストール時にライブラリ一式を実装できるようになりました。 これに伴い、、PGI
7.1 以上のライセンスを有するお客様は、この製品系列においても MPICH-1 プログラムの MPI 並列デバッギング並びにプロファイリングの機能が使用できるようになりました。さらに
PGI 8.0 以降は、システム内に MPICH-2、HP-MPI、MVAPICH-1 のライブラリが実装されている場合、これらを -MPI=... オプションで指定してリンクできるようになりました。
PGI Cluster Development Kit (CDK) 製品には、従来から、MPICH-1、MPICH-2 ライブラリがバンドルされており、これらのMPI ライブラリを使用することができます。さらに、PGI
CDK 7.1 以降、高速通信媒体 InfiniBand 用の MVAPICH-1.1 ライブラリもバンドルされておりますので、この三種類の
MPI ライブラリが使用できます。また、HP-MPI ライブラリを備えている場合は、これも使用することができます。
WIndows 版の PGI Workstation & Server 製品は、 Mｉｃｒｏｓｏｆｔ(R) HPC Pack 2008 SDK (無償）で提供されている、MSMPI ライブラリをコンパイル・オプションレベルで使用できるようになっております。PGI 7.1以降の Windows
版では、業界で初めて、MSMPI 対応の MPI 並列デバッガとプロファイラを提供しました。PGI コンパイラを使用することによって、ローカルなノード上で、MPI
開発環境を即座に構築することが可能です。
|
|
PGI 9.0 以降、PGI Workstation/Server ライセンスにおいても、以下の -Mmpi= オプションが使用できます。但し、MPICH1
以外のMPI ライブラリは、実装されておりませんので、ご自身でMPIライブラリを実装する必要があります。
|
| Implementation |
Host Operating Systems |
-Mmpi= Option |
| MPICH1 |
Linux |
-Mmpi=mpich1 |
| MVAPICH2 |
Linux |
-Mmpi=mpich2 |
| MVAPICH |
Linux |
-Mmpi=mvapich |
| HP-MPI |
Linux |
-Mmpi=hpmpi |
| MSMPI |
Windows |
-Mmpi=msmpi |
| OpenMPI |
Linux, Mac OS X 10.5.x 以上 |
明示的なリンクが必要 |
|
|
● PGI Workstation/Server製品にバンドルされたMPICH-1環境のカスタマイズ
|
|
PGI コンパイラと共にインストールされた MPICH-1 環境は、デフォルトでは、インストールしたシステム上（ローカル上）でのみ MPI 実行ができるようになっております。一般に
MPI プログラムの実行は、リモートノードを含めた分散ノード環境で並列実行を行いますので、MPICH 環境のカスタマイズが必要となります。その一例として、並列実行に参加するノード名を定義した、machines.LINUX
と言うファイルを変更する必要があります。machines.LINUX ファイルの中に、MPI 実行に使用されるホスト名を定義すると、mpirun コマンドは、このファイルに定義されたホスト名を並列計算用のノードとして順番に使用します。machines.LINUX
ファイルは、PGI 環境では以下のディレクトリに置かれております。$PGI は、PGI をインストールしたディレクトリ名で、デフォルトは/opt/pgi
となります。 なお、PGI CDK 製品では、インストール時に必要とする並列計算用のノード名をセットしますので、以下のようなカスタマイズは必要ありません。
（32ビットLinux環境） $PGI/linux86/9.0/mpi/mpich/share/machines.LINUX
（64ビットLinux環境） $PGI/linux86-64/9.0/mpi/mpich/share/machines.LINUX
このファイルの中に、以下のような形態で MPI 並列実行に供される「ホスト名」を1行づつ指定（変更）します。 以下の例では、ローカル並びにリモートの
3台のホスト名が photon26/27/28 と言う名称で、その名前に続くコロン以降の数字は、そのホストに搭載されている「プロセッサ・コア数」を指定した例です。プロセッサのコアの数が１のシステムの場合は、”：コロン”以降は省略してよいです。なお、これらのホストの
Linux のバージョンは、glibc ライブラリの互換性の問題により同じであることが必要です。
|
photon26:2
photon27:4
photon28:4
|
|
Linux 上での rsh、あるいは ssh 設定時の注意事項
PGI CDK の説明記事の中に、 rsh、あるいは ssh 設定時の注意事項を記しておりますので、こちらもご覧ください。
�� rsh の設定
rsh 系のソフトウェアは、現在の Linux のデフォルト・インストールにおいては、実装されておりません。従って、明示的に rsh/rlogin系のソフトウェアをLinux上にインストールする必要があります。そのほか、いくつかの
Lｉｎｕｘ 上の設定があります。以下に、rsh 関連の設定に関して参考記事がありますので、そのリンクを記します。
http://mikilab.doshisha.ac.jp/dia/research/report/2005/0913/001/report20050913001.html （３．４項 rsh)
�� ssh の設定に関する記事リンク
ssh は、デフォルトでLinux上にインストールされておりますので、基本的に個人用の「鍵」の設定だけ行うことで使用することができます。
http://www.geocities.jp/turtle_wide/tools/sshpass.html
http://www.ads.ie.u-ryukyu.ac.jp/index.php?Documents%2Ftips%2Fhp_clusters
|
|
● MPIライブラリをリンクするためのコンパイルオプション
|
● PGI Workstation and PGI Server 製品 (PGI 8.0 以降）
(Linux 版）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mpich1 (MPICH-1ライブラリ使用）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mpich2 (MPICH-2ライブラリ使用）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mvapich1 (MVAPICH-１ライブラリ使用)
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=hpmpi (HP-MPIライブラリ使用）
(Windows 版 MPMSI : Windows HPC pack SDK搭載したシステム上のみ）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=msmpi
(Mac OS X版 プリコンパイル OpenMPI が 実装済み）
OpenMPI は、Mac OS X 10.4.x (Tiger)ではサポートしません。
mpif90/mpicc -fastsse -Minfo test.f
● PGI Workstation and PGI Server 製品 (PGI 7.1 以降）
(Linux 版 MPICH-1）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mpich1
(Windows 版 MPMSI : Windows HPC pack SDK搭載したシステム上のみ）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=msmpi
● PGI Cluster Development Kit (CDK) 製品
(PGI CDK 7.2 以降追加）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=hpmpi (HP-MPIライブラリ使用）
(PGI CDK 7.1 以降）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mpich1 (MPICH-1ライブラリ使用）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mpich2 (MPICH-2ライブラリ使用）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi=mvapich1 (MVAPICHライブラリ使用）
(PGI CDK 7.0 以前）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi (MPICH-1ライブラリ使用）
pgf95/pgcc/pgCC -fastsse -Minfo test.f -Mmpi2 (MPICH-2ライブラリ使用）
- -Mmpi オプションは、PGI コンパイラ製品に実装された、MPI ライブラリを使用して MPI プログラムを構築する際に、コンパイル時とリンク時に指定する必要があります。これによって、MPI
のインクルードファイルを取り込み、リンク時には適切な MPI ライブラリをリンクします。PGI Workstation/Server ライセンスでは、この
-Mmpi のみ、指定する。
- Linux システム上では、このオプションは、コンパイル時に -I$MPIDIR/include をセットし、リンク・フェーズでは、-L$MPIDIR/libをコマンドライン上に挿入します。指定された、サブオプション(mpich1,mpich2,mvapich1,hpmpi)
は、MPICH-1 、MPICH-2、MVAPICH-1、HP-MPI 通信ライブラリのどちらを選択するかを決めるものです。MPICH ライブラリを実装している
「ベース・ディレクトリ（$MPIDIR)」 は、サイトのコンパイラ初期設定ファイル siterc に設定されております。PGI が提供するプリ・コンパイル MPICHライブラリは、コンパイラのインストール時に自動的にセットされますが、ユーザ自身がビルドした、MPICH
ライブラリの場合でも、MPIDIR のそのベース・ディレクトリのパス名をセットすることにより、上記のようなオプションで MPI ライブラリを使用できます。なお、siterc ファイルは、例えば、$PGI/linux86-64/{version}/bin
配下に存在します。
- Windows(R) システム上では、-Mmpi=msmpi オプションは、コンパイル時に
-I$(CCP_INC)/include をセットし、リンク・フェーズでは、-L$(CCP_LIB**)/lib をコマンドライン上に挿入します。CCP_****
環境変数は、必ずセットされていなければなりません。一般に、Microsoft(R) HPC pack SDK をインストールするとき、この変数は、MSMPI
ディレクトリの場所にセットされます。
（注意）
ユーザ自身で、デフォルトの MPI ディレクトリとライブラリ名を変更するために、 環境変数 MPIDIR と MPILIBNAME を設定することができます。
|
|
● MPICH-1/MPICH-2 を使用する際、2GB 以上の配列オブジェクトが存在する場合のコンパイル方法（大規模サイズ）
|
|
一般に、MPI プログラムで使用される配列等のサイズが 2GB 以上超えた場合、PGI コンパイラでは、-mcmodel=medium と言うオプションを付けてコンパイルします。ユーザ・プログラムサイドでは、このオプションのみで 2GB 以上の対処、すなわち、64ビットアドレッシング対応になるのですが、そのプログラムにリンクする
MPICH ライブラリは、動的ライブラリ （shared library) である libmpich.so と libfmpich.so (*.so形式）
をリンク時に明示的に指定することが必要となります。一般的に使用されている MPICH ライブラリは、 libmpich.a （*.a 形式）と表記される「静的ライブラリ」がデフォルトのリンク・ファイルとして使われます。PGI
コンパイラにおいても、-mcmodel=medium オプションを付け MPICH ライブラリをリンクすることにより、見かけ上、実行モジュールが生成できますが、実行時にエラーとなる場合があります。これは、デフォルトでは、-mcmodel=medium を付けたとしても、常に、MPICH の「静的」ライブラリをリンクしているために生じます。MPICH
の「静的ライブラリ」は、2GB 以上アドレッシングのハンドリングができません。PIC （Position independent corde)
形式で生成された動的ライブラリ （shared library) である libmpich.so 等を明示的に指定して、リンクを行う必要があります。
PGI コンパイラは、コンパイルオプションに、-Mmpi を提供していますが、こうした用途では使用できません。下記に示す方法で、コンパイラのコマンドラインに明示的にライブラリ等を指定して、実行モジュールを生成します。
|
PGI 7.1 以降では、MPICH-1 ライブラリは、以下の directory path に実装されています。
(PGI CDK では、MPICH-2 も実装されていますが、**/7.1/mpi2/mpich/ に存在します。
ここで $PGI は、PGI 環境変数の定義でインストールされたディレクトリを指します。
デフォルトは、/opt/pgi です。
以下の例は、PGI 7.1 バージョンの例（パス名の記述に "7.1" があります）を記していますので、
他のバージョンの場合適宜、この番号を読み替えてください。
（64ビット環境 MPICH)
$PGI/linux86-64/7.1/mpi/mpich/
（32ビット環境 MPICH)
$PGI/linux86/7.1/mpi/mpich/
この配下に lib/ , libso/ と言うディレクトリがあります。2GB環境以内であれば lib 配下の
mpich ライブラリを使用しますが、2GB を超えている場合は、 libso 配下のものを使用します。
|
|
2GB を超えたアドレス空間を使用する場合のコンパイル方法 （明示的にオプション指定する） を説明します。
ここでは、$PGI = /opt/pgi とします。-mcmodel=medium は 2GB を超えたアドレス空間のハンドリングがありうる場合は、必ず必要です。MPICHライブラリのインクルード・パスを
-I オプションで指定して、ライブラリの検索パスを -L オプションで指定します。
|
pgf95 -fastsse -Minfo -I/opt/pgi/linux86-64/7.1/mpi/mpich/include -mcmodel=medium
test.f -L/opt/pgi/linux86-64/7.1/mpi/mpich/libso -lfmpich -lmpich
-R/opt/pgi/linux86-64/7.1/mpi/mpich/libso
以上のオプションのなかで、以下の二つに注意してください。
�� -L/opt/pgi/linux86-64/7.1/mpi/mpich/libso は、libso 配下のライブラリを
リンクせよという意味となります。
�� -R/opt/pgi/linux86-64/7.1/mpi/mpich/libso は、実行時の a.out が
実行に必要な runtime library(libmpich.so,libfmpich.so) を検索する場所を
明示的に実行形式モジュールの中に埋め込み、実行時の検索パスとして
使用することを指示するものです。必ず、入れてください。
（このパス名は、予めLD_LIBRARY_PATH 等で定義する場合は省略できます。
ここでは、コンパイルオプションで全て閉じる形の方法を説明しています）
実行モジュール a.out ができましたら、以下のコマンドで runtime ライブラリ
のパス検索が complete しているか確認して下さい。
（以下の例は、弊社のマシンの例：PGIを /usr/pgi にインストールした場合です。）
$ ldd a.out
libfmpich.so => /usr/pgi/linux86-64/7.1/mpi/mpich/libso/libfmpich.so (0x00002aaaaabc2000)
libmpich.so => /usr/pgi/linux86-64/7.1/mpi/mpich/libso/libmpich.so (0x00002aaaaacd3000)
libpgf90.so => /usr/pgi/linux86-64/7.1-1/libso/libpgf90.so (0x00002aaaaaea1000)
libpgf90_rpm1.so => /usr/pgi/linux86-64/7.1-1/libso/libpgf90_rpm1.so (0x00002aaaab260000)
libpgf902.so => /usr/pgi/linux86-64/7.1-1/libso/libpgf902.so (0x00002aaaab363000)
libpgf90rtl.so => /usr/pgi/linux86-64/7.1-1/libso/libpgf90rtl.so (0x00002aaaab475000)
libpgftnrtl.so => /usr/pgi/linux86-64/7.1-1/libso/libpgftnrtl.so (0x00002aaaab598000)
libpgc.so => /usr/pgi/linux86-64/7.1-1/libso/libpgc.so (0x00002aaaab6c7000)
librt.so.1 => /lib64/tls/librt.so.1 (0x00002aaaab81f000)
libpthread.so.0 => /lib64/tls/libpthread.so.0 (0x00002aaaab927000)
libm.so.6 => /lib64/tls/libm.so.6 (0x00002aaaaba3d000)
libc.so.6 => /lib64/tls/libc.so.6 (0x00002aaaabb94000)
/lib64/ld-linux-x86-64.so.2 (0x00002aaaaaaab000)
|
|
PGI Workstation/Server ライセンスの場合、PGI コンパイラ並びに MPICH ライブラリの実装は、インストールしたマシン上でしか行われません。実際に
MPI 並列実行を他のリモートノードも使用して行う場合は、上記の手続きで使用される、MPICH の動的ライブラリ （shared library)
である libmpich.so 等がリモートノード上でも実行時に必要となります。このために、PGI コンパイルをインストールしたマシンから、以下のディレクトリとファイルをそのまま、他のシステムにコピーする必要があります。
|
以下の $PGI は、PGI 環境変数の定義でインストールされたディレクトリを指します。
デフォルトは、/opt/pgi です。
（64ビット環境 MPICH)
$PGI/linux86-64/7.1/mpi/mpich/libso/* 全てのファイル
（32ビット環境 MPICH)
$PGI/linux86/7.1/mpi/mpich/libso/* 全てのファイル
コピーにおいては、他のシステム上でも全く同じディレクトリ構成を作成し、その配下にファイルをコピー
するようにしてください。また、ファイル、ディレクトリのパーミッションも注意して設定してください。
これにて、リモートノードも含めた MPICH 実行環境が構築できます。
|
（ご参考）-mcmodel=medium を付けずに 2GB 以上のオブジェクトがあるプログラムをコンパイルすると
以下のようなエラーがリンク時に生じます。
/usr/pgi/linux86-64/7.0-7/lib/libpgf90.a(initpar.o): In function `__hpf_myprocnum':
initpar.c:(.text+0x2): relocation truncated to fit: R_X86_64_PC32 against symbol `__hpf_lcpu'
defined in COMMON section in /usr/pgi/linux86-64/7.0-7/lib/libpgf90.a(initpar.o)
|
|
● MPI 並列プログラムの実行方法
|
（MPICH-1 コンパイル、リンク）
pgf95 -fastsse -o mpihello mpihello.f -Mmpi=mpich1
（MPI-1 並列実行）
mpirun -np 4 ./mpihello
Hello world! I'm node 1
Hello world! I'm node 3
Hello world! I'm node 0
Hello world! I'm node 2
----------------------------------------------------------------------------------
（MPICH-2 コンパイル、リンク： PGI CDK）
photon27:> pgf77 -o mpihello mpihello.f -Mmpi=mpich2
photon27:> pgcc -o myname myname.c -Mmpi=mpich2
（MPI-2 並列実行）
photon27:> mpdboot -n 2 -f mpd.hosts -verbose （二つのノードでmpdデーモンを起動）
running mpdallexit on photon27
LAUNCHED mpd on photon27 via
RUNNING: mpd on photon27
LAUNCHED mpd on photon26 via photon27
RUNNING: mpd on photon26
photon27:> mpiexec -n 4 ./mpihello（二つのノードの4CPUを使用してmpihello並列実行）
Hello world! I'm node 1
Hello world! I'm node 3
Hello world! I'm node 0
Hello world! I'm node 2
photon27:> mpiexec -n 4 ./myname （二つのノードの4CPUを使用してmyname並列実行）
My name is photon27
My name is photon26
My name is photon26
My name is photon27
- MPI 並列実行時のプロセス数に制約はありません。
- 上記の mpihello.f と myname.c のソースプログラムは、こちらにあります。
|
|
● MPI対応 PGI PGDBG 並列デバッガの利用 （PGI Workstation / Server ライセンス)
|
（MPICH-1 コンパイル、リンク）
pgf95 -g test.f -Mmpi=mpich1
（ローカルノード上で動作させるための machinefile の設定）
ローカル・マシン名を photon27 とする。"photon27"で 4 プロセス用分を記述
photon27:> cat hostfile
photon27
photon27
photon27
photon27
（PGDBG for MPICH-1 デバッガの起動）
mpirun -np 4 -dbg=pgdbg -machinefile hostfile ./a.out
- PGI Workstation/Serverライセンスの場合は、MPI 並列デバッギング機能は、PGI コンパイラをインストールしたローカル上（同一システム上）での 8 プロセスまでの MPICH-1 プロセス・デバッギングに制約されます。mpirun のオプションである -machinefile で、最大 8 プロセス分のローカルホスト名を記述したファイルを用意し、上記のような
mpirunコマンドに -dbg=pgdbg を使いすることによって、PGDBG ユーティリティが起動されます。
- 一方、PGI CDK 製品は、ローカル並びにリモート MPI プロセスに対応し、その上限プロセス数は、購入ライセンスの「PGI CDKプロセス数」まで対応します。
|
|
● MPI対応 PGI PGDBG 並列デバッガの利用 （PGI CDK ライセンス)
|
(MPICH-1 コンパイル、リンク)
pgf95 -g test.f -Mmpi=mpich1
(PGDBG for MPICH-1 デバッガの起動)
mpirun -np 8 -dbg=pgdbg ./a.out
(MPICH-2 コンパイル、リンク)
pgf95 -g test.f -Mmpi=mpich2
(PGDBG for MPICH-2 デバッガの起動）
mpdboot -n 4 -f mpd.hosts -verbose (四台のノードで mpd デーモンを起動)
mpiexec -pgi -n 8 ./a.out (8プロセスのMPIデバッギング)
あるいは、
pgdbg -mpi:mpiexec -n 8 ./a.out
- PGI CDKライセンスでは、ローカル並びにリモート MPI プロセスに対応し、その上限プロセス数は、購入ライセンスの「PGI CDKプロセス数」まで対応します。
- MPICH-1 を使用したデバッグでは、mpirun のオプションに -dbg=pgdbg を使用します。これによってデバッガが起動します。
- MPICH-2 を使用したデバッグでは、mpiexec のオプションとして、 -pgi を指定してください。なお、-pgi は、mpiexec
のすぐ後にしてするようにしてください。なお、 PGI CDK ソフトウェアがインストールされたときにのみ、このオプションでデバッガが起動できます。もう一つの起動方法は、pgdbgコマンドのすぐ後に、-mpi:<command
path> オプションを付した後、通常、mpiexecで必要な引数を指定する方法があります。（詳細は、PGI Tools’ Guideを参照） ※ GUI画面にソースコードが表示されるまで、少々、時間がかかることがあります。
|
フルサイズ・イメージ
|
|
● MPI対応 PGI PGPROF 並列プロファイラの利用 （PGI Workstation/Server、PGI CDK ライセンス）
|
(MPICH-1 コンパイル、リンク) : PGI Workstation/Server ライセンスは、MPICH1対応のみ
pgf95 -fastsse -Minfo -Mprof=mpich1,func test.f
(MPICH-1 実行後、pgprof の起動)
mpirun -np 4 ./a.out
pgprof
PGI Workstation/Serverライセンスの場合は、以下の環境で行う
（ローカルノード上で動作させるための machinefile の設定）
ローカル・マシン名を photon27 とする。"photon27"で 4 プロセス用分を記述
photon27:> cat hostfile
photon27
photon27
photon27
photon27
(MPICH-1 実行後、pgprof の起動)
mpirun -np 4 -machinefile hostfile ./a.out
pgprof
(MPICH-2、MVAPICH-1 コンパイル、リンク) : PGI CDK ライセンスのみ使用可能
pgf95 -fastsse -Minfo -Mprof=mpich2,func test.f
pgf95 -fastsse -Minfo -Mprof=mvapich1,func test.f
(MPICH-2 実行後、pgprof の起動)
mpdboot -n 4 -f mpd.hosts -verbose (四台のノードで mpd デーモンを起動)
mpiexec -n 4 ./a.out (8プロセスのMPIデバッギング)
pgprof
- PGI Workstation/Serverライセンスの場合は、MPI 並列プロファイリング機能は、PGI コンパイラをインストールしたローカル上（同一システム上）での 8プロセスまでの MPICH-1 プロセスの実行プロファイルに制約されます。PGI CDKライセンスでは、ローカル並びにリモート MPI プロセスに対応し、その上限プロセス数は、購入ライセンスの「PGI CDKプロセス数」まで対応します。
- -Mprof[=[mpich1|mpich2|mvapich1]] − PGI 7.1 以降、プロファイルするアプリケーションにリンクするための
mpich1 と mpich2、mvapich1 ライブラリ名を、-Mprofオプションに指定するようになりました。この後、コンマに引き続き、プロファイルの機能（func|line|time)を指定する。
- mpich1 サブオプションは、プロファイル用 MPICH-1 ライブラリを使用します。 -Mmpi=mpich1 を包含します。
- mpich2 サブオプションは、プロファイル用 MPICH-2 ライブラリを使用します。 -Mmpi=mpich2 を包含します。
- mvapich1 サブオプションは、プロファイル用 MVAPICH-1 ライブラリを使用します。 -Mmpi=mvapich1 を包含します。
- hpmpi サブオプションは、プロファイル用 HP-MPI ライブラリを使用します。 -Mmpi=hpmpi を包含します。
|
MPI プロセス単位のプロファイリング（関数レベル・プロファイル）
|
