ProSortの紹介

ProSortは大容量データのソート(sort)、マージ(merge)、変換(transformation)、演算(operation)をサポートするツールです。操作を実行するとき、システム・リソースと操作の負荷を減少させ、アプリケーションの性能を向上させます。下図は、ProSortの動作構造です。

ProSortはメインフレームで使用するDFSORT Scriptを実行でき、またProSortが提供するAPIをCプログラムで使用できます。また、TmaxSoftのリホスト・ソリューションであるTmax OpenFrame^®(以下、OpenFrame)と最適に統合および連携され、システムの高効率と管理の利便性を提供します。

さらに、非同期(Asynchronous) I/Oを使用できるほか、CPUキャッシュを最大限活用するソート方法を使用できるため、システムの高性能が保証されます。処理ファイルの容量に合わせてリソースの使用を最適化し、ディスクを利用して自動でマルチウェイ/マルチパス(Multi-Way、Multi-Pass)ソートを実行します。メモリの使用が制限された状況でも安定的にソート作業を実行します。

ProSortの特長は以下のとおりです。

一般的なソート・ツールは、ファイルの入出力処理を完了した後、ソートを処理します。この方法を利用すると、入出力処理を行う際にボトルネック現象が発生し、システム全体の性能を悪化させてしまいます。

下図では、一般的なソート・ツールの整列処理を示します。

ProSortは、初期設計の段階から、ファイルの入出力処理とソートを同時処理できるマルチスレッド構造に非同期I/Oを結合したパイプラインの形で開発されました。つまり、カーネル・スレッド(Kernel Thread)に非同期I/Oを使用することで、ファイルの入出力処理の速度を向上させました。また、システム環境に合わせて直接入出力(Direct I/O)もサポートしています。下図では、ProSortのソート処理を示します。

ProSortは、メモリ使用量が制限されている状況でもディスクを利用して自動でマルチウェイ/マルチパス(Multi-Way、Multi-Pass)ソートを実行してソート処理を行います。32MB以上のメモリを確保できれば、どんなサイズのファイルもソート処理できます。下図では、最適化されたマルチウェイ/マルチパスのソート・アルゴリズムを示します。

上記アルゴリズムをみると、メモリ状況に合わせてディスク使用量を最小化してシステムの性能を最大化し、適合したDisk run file merge方法を探します。つまり、最適化されたソート手法を実装し、安定したソートを処理します。

ProSortはDFSORTツールの構文と互換できるように設計したため、既存のメインフレーム・ユーザーもProSortを簡単に使用できます。

一般的なソート・ツールは単純なアルゴリズムにより80MBのDisk Run Fileを作成するためファイルのI/O時間を浪費してしまいます。

下図では、一般的なソート・ツールがメモリを使用する方法を示します。

ProSortは入力ファイルのサイズを考慮してメモリで処理できるサイズを最大化するアルゴリズムを使用します。ユーザーが設定しなくても自動で最適のアルゴリズムを見つけて使用するため、システムの性能が高まります。アルゴリズムを使用するとサイズか大きいRunをメモリに残すため、ファイルのI/O時間を軽減できます。

入力ファイルの容量が大きい場合は、システムの性能を向上させるために、入力ファイルを2つ以上に分割してメモリに保存するか別のファイルに保存する必要があります。分割された各データをRunといいます。

下図では、ProSortがメモリを使用する方法を示します。

一般的なソート・ツールは、ソート・スレッド数だけを考慮してデータ・パーティショニングをするため、最適の速度でソートを実行することができません。

下図では、一般的なソート・ツールのソート方法を示します。

ProSortは、最近研究および発表されたソートの最適化手法を適用して設計されました。中でも、CPUキャッシュを最大限活用できるソート・アルゴリズムを適用しています。ProSortはソート・スレッドを考慮してCPUキャッシュを最大限活用できるデータ・パーティショニングを行います。

下図では、ProSortのソート方法を示します。

ProSortの主要機能は以下のとおりです。