インストールとアンインストール

本章では、ProSortをインストール、実行確認およびアンインストールする方法について説明します。

1. インストール

1.1. 圧縮ファイルの実行

ProSortをインストールする手順は以下のとおりです。

  1. インストールするディレクトリにバイナリ圧縮ファイル(.gz)を解凍すると、以下のようなディレクトリ構造が表示されます。

    prosort
   |----- bin
   |       |----- prosort
   |       |----- psapi
   |       |----- psctl
   |       |----- pserr
   |----- config
   |       |----- gen_tip.sh
   |       |----- prosort_tip.template
   |       |----- revision
   |       |----- variant
   |----- docs
   |----- include
   |       |----- prosort.h
   |       |----- prosort_rc.h
   |----- lib
   |       |----- libprosort.a
   |       |----- libprosort.so
   +----- license
   +----- tests

    ProSortで使用するディレクトリは以下のとおりです。

    bin

    ProSortの実行ファイルと各種ユーティリティが存在するディレクトリです。このディレクトリには、以下のようなユーティリティがあります。

    ユーティリティ 説明

    prosort

    データのソート、マージ、変換などを行います。

    psapi

    ProSort APIでデータのソート、マージ、変換などを行います。

    psctl

    特定条件を満たすデータ・ファイルを作成します。

    pserr

    エラーコードについての詳しい説明を表示します。
    config

    ProSortを実行するための設定ファイルが存在するディレクトリです。

    docs

    ProSortガイドが存在するディレクトリです。

    include

    ProSort APIを利用してアプリケーション・プログラムを作成するときに必要なヘッダー・ファイルが存在するディレクトリです。

    lib

    ProSort APIを利用してアプリケーション・プログラムを作成するときに必要なライブラリ・ファイルが存在するディレクトリです。

    license

    ProSortのライセンス・ファイル(license.xml)が存在するディレクトリです。XML形式であるため、一般テキスト・エディターでもライセンスの内容が確認できます。

    tests

    ProSortスクリプトのサンプル・ファイルとプログラムが存在するディレクトリです。

  2. prosort/binディレクトリでprosortを実行します。

    prosortを実行するとインストール・プロセスなしにProSortが実行されます。

1.2. パラメータの設定

ProSortを実行するには、$PROSORT_SID.tipファイルにパラメータを設定する必要があります。各パラメータはProSortのメモリ・サイズおよびプロセスの調整のために使用されます。

デフォルトで提供するパラメータは、configディレクトリにあるgen_tip.sh スクリプト・ファイルを実行すると自動生成されます。

以下は、パラメータの設定例です。

<$PROSORT_SID.tip>

SORT_THREAD_COUNT=2
SORT_READ_BLK_SIZE=4194304
SORT_WRITE_BLK_SIZE=65536
MERGE_READ_BLK_SIZE=2097152
USE_AIO_READ=Y
USE_AIO_WRITE=Y
MAXIMIZE_MEM_RUN_SIZE=Y
USE_STRICT_MEMORY=Y

詳細については、パラメータを参照してください。

2. 実行の確認

本節では、prosortコマンドとAPIで提供する関数を使用し、インストールされたProSortが正常に実行されるかどうかを確認する方法について記述します。

2.1. ProSortコマンド

prosort コマンドは、ProSortがインストールされているマシンで実行する必要があります。また、環境変数を正しく設定した後、コマンドを実行してください。

prosort コマンドの使用方法は以下のとおりです。

prosort [-h] [-v] [-s] [-j] [script file]
オプション 説明

-h

prosort コマンドの使用のための簡単なヘルプを表示します。

-v

ProSortのバージョン情報を表示します。

-s

スクリプト・ファイルを実行した後、状態情報を表示します。

このオプションを使用すると、以下の状態情報を確認することができます。

  • Total Infile Size : 入力ファイルのサイズ

  • Total Alloced Data Block Size : データ・ブロック(レコード全体が保存される領域)のサイズを累積した値

  • Total Alloced Key Block Size : キー・ブロック(ソート・キーのフィールドが保存される領域)のサイズを累積した値

  • Total Alloced Key Store Size : キー・ストア(キー・フィールドのプレフィックスが保存される領域)のサイズを累積した値

  • Maximum Alloced Memory Size : メモリ使用量の最大値

  • Total Disk Read Size : ディスクから読み込んだデータ量

  • Total Disk Write Size : ディスクに記録したデータ量

  • Current Data Block Size : 処理されていないデータ・ブロックのサイズ

  • Current Key Block Size : 処理されていないキー・ブロックのサイズ

  • Current Key Store Size : 処理されていないキー・ストアのサイズ

-j

スクリプト・ファイルを実行した後、プロファイル情報を表示します。

プロファイルの情報は製品のバージョンによって変更されることがあるので、本書では別途説明しません。

script file

スクリプト・ファイルのディレクトリ・パスとファイル名を入力します。省略すると、標準入力を通じてスクリプト・ファイルの入力を受けます。

2.2. ProSort API関数

ProSortはC関数APIを提供します。すべての関数は戻り値を持ちます。成功時は0を返し、失敗時は負数値を返します。

以下は、APIの形態で提供する関数です。

関数 説明

prosort_run_script

スクリプトの演算をすべて実行します。

prosort_setup

ProSortの実行に必要な情報を初期化します。

prosort_setup_with_userexit

すべての入出力パラメータがprosort_setup関数と同じです。

prosort_release_record

SORT演算を行う際に、データをレコードごとに入力します。

prosort_release_end

SORT演算を行う際に、データの入力が完了したことを示します。

prosort_return_record

演算の結果をレコード1件ごとに読み込みます。

prosort_end

すべての演算に使用したリソースを返します。

prosort_get_error_number

エラーが発生した際に、エラー番号を取得します。

prosort_get_error_message

エラーが発生した際に、エラー・メッセージを取得します。

2.2.1. prosort_run_script

スクリプトの演算をすべて実行する関数です。

  • プロトタイプ

    int prosort_run_script(const char *const script);

  • パラメータ

    パラメータ 説明

    script

    演算に使用するProSortのスクリプトです。

  • 例

    #include <stdio.h>
#include <stdlib.h>
#include "prosort.h"

int
main(int argc, char **argv)
{
    int rc;
    char *script =
        "DEFREC FIXED,SIZE=256 "
        "MEMORY 500M "
        "INFILE = (x1,100M, x2, 100M, x3, 100M, x4, 100M) "
        "SORT FIELDS=(1,13,AC,A) "
        "OUTFIL FNAMES = xresult ";

    rc = prosort_run_script (script);
    if (rc < 0) {
        fprintf(stderr,"Error[%d]:\n", rc);
        fprintf(stderr,"%s\n", ps_err_code_to_cause(rc));
        fprintf(stderr,"%s\n", ps_err_code_to_action(rc));

        exit (rc);
    }

    return 0;
}

2.2.2. prosort_setup

ProSortの実行に必要な情報を初期化します。ただし、prosort_run_script関数を使用する場合は、prosort_setup関数を呼び出す必要がありません。

  • プロトタイプ

    typedef int (*callback_func_t)(char **data_buf_addr,
                               int *data_buf_length);

int prosort_setup (const char *prosort_script,
                   callback_func_t *data_fetch_callback_funcs,
                   int data_fetch_callback_func_cnt,
                   void **ptr_prosort_context);

  • パラメータ

    パラメータ 説明

    *prosort_script

    ProSort APIで使用するスクリプトです。

    *data_fetch_callback_funcs

    MERGEおよびCOPY演算を行う際には、別途にデータの入力を受けず、コールバック関数(callback function)を使って入力を受けます。

    特に、MERGE演算を行う際には、複数のコールバック関数の入力を受けることもあるので、コールバック関数の配列のアドレスをパラメータとして受けます。

    data_fetch_callback_func_cnt

    コールバック関数の数です。

    **ptr_prosort_context

    演算の実行に必要なコンテキストの情報を取得します。作成されたコンテキストは他のAPIに適用して演算を実行できます。

  • 例

    #include <stdio.h>
#include <stdlib.h>
#include "prosort.h"

static void
print_err_msg(int ec)
{
    fprintf(stderr,"Error[%d]:\n", ec);
    fprintf(stderr,"%s\n", ps_err_code_to_cause(ec));
    fprintf(stderr,"%s\n", ps_err_code_to_action(ec));
    fprintf(stderr,"%s\n", ps_err_get_last_msg());
}

/* 16バイト・レコード */
#define REC_LEN 16

#define RAND (char) (rand() % 24) + 'A'
int
main(int argc, char **argv)
{
    int   i      = 0;
    int   j      = 0;
    int   rc     = 0;

    void *ps_ctx;

    char buf[REC_LEN];
    const char *script = "MEMORY 100M\n"
                         "DATASIZE 100M\n"
                         "DEFREC FIXED, SIZE=16\n"
                         "SORT FIELDS = (1,8,CH,A)\n";

    /* スクリプトの設定 */
    rc = prosort_setup (script, NULL, 0, &ps_ctx);

    if (rc < 0) {
        print_err_msg (rc);
        exit (rc);
    }

    /* レコードの入力 */
    for (i = 0; i < 100; i++) {

        for (j = 0; j < REC_LEN - 1; j++)
            buf[j] = RAND;
        buf[j] = 0;

        rc = prosort_release_record (ps_ctx, buf, REC_LEN);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
    }
    /* レコード入力の完了 */
    prosort_release_end (ps_ctx);

    do {
        char outbuf[REC_LEN];
        char *outbufs[1];
        unsigned int len = REC_LEN;

        outbufs[0] = outbuf;

        rc = prosort_return_record (ps_ctx, outbufs, &len);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
        if (len == 0)
            break;
        printf ("%s\n", outbuf);

    } while (1);

    prosort_end (ps_ctx);
    return 0;
}

2.2.3. prosort_setup_with_userexit

すべての入出力パラメータがprosort_setup関数と同じです。ただし、func_e15、func_e32、func_e35、 func_e61パラメータは例外です。

  • プロトタイプ

    typedef int (*user_exit_func_t)(const void *rec_addr,
                                const int rec_len,
                                int file_no,
                                void **ret_rec_addr,
                                int *ret_rec_len);

int prosort_setup_with_userexit(const char *prosort_script,
                                callback_func_t *data_fetch_callback_funcs,
                                int data_fetch_callback_func_cnt,
                                user_exit_func_t func_e15,
                                user_exit_func_t func_e32,
                                user_exit_func_t func_e35,
                                user_exit_func_t func_e61,
                                void **ptr_prosort_context);

  • パラメータ

    パラメータ 説明

    *prosort_script

    ProSort APIで使用するスクリプトです。

    *data_fetch_callback_funcs

    MERGEおよびCOPY演算を行う際には、別途にデータの入力を受けず、コールバック関数を使って入力を受けます。

    特に、MERGE演算を行う際には、複数のコールバック関数の入力を受けることもあるので、コールバック関数の配列のアドレスをパラメータとして受けます。

    data_fetch_callback_func_cnt

    コールバック関数の数です。

    func_e15

    ユーザー出口関数E15です。

    func_e32

    ユーザー出口関数E32です。

    func_e35

    ユーザー出口関数E35です。

    func_e61

    ユーザー出口関数E61です。

    **ptr_prosort_context

    演算の実行に必要なコンテキストの情報を取得します。作成されたコンテキストは他のAPIに適用して演算を実行することができます。

  • 例

    int func_e15(const void *rec_addr,
             const int rec_len,
             int file_no,
             void **ret_rec_addr,
             int *ret_rec_len)
{
    ...
}

int main(int argc, char **argv)
{
    int rc;
    void *ps_ctx;
    const char *script =
        "DEFREC FIXED,SIZE=150 \n"
        "DATASIZE 2M \n"
        "MEMORY 512M \n"
        "WORKSPACE = (./) \n"
        "SORT FIELDS=(1,2,A),FORMAT=BI \n"
        "INCLUDE COND=(1,2,CH,EQ,C'12',OR,1,2,CH,EQ,C'22',OR,1,2,CH,EQ,C'32') \n"
        "OUTFIL FNAMES=OUT1 \n";

    rc = prosort_setup_with_userexit(script, NULL, 0, func_e15, NULL,
                                     NULL, NULL, &ps_ctx);
    ...
}

2.2.4. prosort_release_record

SORT演算を行う際に、データをレコードごとに入力する関数です。

  • プロトタイプ

    int prosort_release_record(void *prosort_context,
                         const char *record,
                         const unsigned int record_length);

  • パラメータ

    パラメータ 説明

    *prosort_context

    prosort_setup関数で作成したコンテキストを渡します。

    *record

    レコードのアドレスです。

    record_length

    レコードの長さです。

  • 例

    #include <stdio.h>
#include <stdlib.h>
#include "prosort.h"

static void
print_err_msg(int ec)
{
    fprintf(stderr,"Error[%d]:\n", ec);
    fprintf(stderr,"%s\n", ps_err_code_to_cause(ec));
    fprintf(stderr,"%s\n", ps_err_code_to_action(ec));
    fprintf(stderr,"%s\n", ps_err_get_last_msg());
}

/* 16バイト・レコード */
#define REC_LEN 16

#define RAND (char) (rand() % 24) + 'A'
int
main(int argc, char **argv)
{
    int   i      = 0;
    int   j      = 0;
    int   rc     = 0;

    void *ps_ctx;

    char buf[REC_LEN];
    const char *script = "MEMORY 100M\n"
                         "DATASIZE 100M\n"
                         "DEFREC FIXED, SIZE=16\n"
                         "SORT FIELDS = (1,8,CH,A)\n";

    /* スクリプトの設定 */
    rc = prosort_setup (script, NULL, 0, &ps_ctx);

    if (rc < 0) {
        print_err_msg (rc);
        exit (rc);
    }

    /* レコードの入力 */
    for (i = 0; i < 100; i++) {

        for (j = 0; j < REC_LEN - 1; j++)
            buf[j] = RAND;
        buf[j] = 0;

        rc = prosort_release_record (ps_ctx, buf, REC_LEN);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
    }
    /* レコード入力の完了 */
    prosort_release_end (ps_ctx);

    do {
        char outbuf[REC_LEN];
        char *outbufs[1];
        unsigned int len = REC_LEN;

        outbufs[0] = outbuf;

        rc = prosort_return_record (ps_ctx, outbufs, &len);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
        if (len == 0)
            break;
        printf ("%s\n", outbuf);

    } while (1);

    prosort_end (ps_ctx);
    return 0;
}

2.2.5. prosort_release_end

SORT演算を行う際に、データの入力が完了したことを示す関数です。

  • プロトタイプ

    int prosort_release_end(void *prosort_context);

  • パラメータ

    パラメータ 説明

    *prosort_context

    prosort_setup関数で作成したコンテキストを渡します。

  • 例

    #include <stdio.h>
#include <stdlib.h>
#include "prosort.h"

static void
print_err_msg(int ec)
{
    fprintf(stderr,"Error[%d]:\n", ec);
    fprintf(stderr,"%s\n", ps_err_code_to_cause(ec));
    fprintf(stderr,"%s\n", ps_err_code_to_action(ec));
    fprintf(stderr,"%s\n", ps_err_get_last_msg());
}

/* 16バイト・レコード */
#define REC_LEN 16

#define RAND (char) (rand() % 24) + 'A'
int
main(int argc, char **argv)
{
    int   i      = 0;
    int   j      = 0;
    int   rc     = 0;

    void *ps_ctx;

    char buf[REC_LEN];
    const char *script = "MEMORY 100M\n"
                         "DATASIZE 100M\n"
                         "DEFREC FIXED, SIZE=16\n"
                         "SORT FIELDS = (1,8,CH,A)\n";

    /* スクリプトの設定 */
    rc = prosort_setup (script, NULL, 0, &ps_ctx);

    if (rc < 0) {
        print_err_msg (rc);
        exit (rc);
    }

    /* レコードの入力 */
    for (i = 0; i < 100; i++) {

        for (j = 0; j < REC_LEN - 1; j++)
            buf[j] = RAND;
        buf[j] = 0;

        rc = prosort_release_record (ps_ctx, buf, REC_LEN);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
    }
    /* レコードの入力完了 */
    prosort_release_end (ps_ctx);

    do {
        char outbuf[REC_LEN];
        char *outbufs[1];
        unsigned int len = REC_LEN;

        outbufs[0] = outbuf;

        rc = prosort_return_record (ps_ctx, outbufs, &len);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
        if (len == 0)
            break;
        printf ("%s\n", outbuf);

    } while (1);

    prosort_end (ps_ctx);
    return 0;
}

2.2.6. prosort_return_record

演算の結果をレコード1件ごとに取得する関数です。出力は、OUTFILにより複数出力されることがあるので、バッファーの配列として取得します。0番目はSORTOUT(OUTFILを実行しない出力)が出力され、スクリプトに定義されたOUTFILが順序どおり出力されます。

  • プロトタイプ

    int prosort_return_record(void *prosort_context,
                        char **output_buffer,
                        unsigned int *output_buffer_length);

  • パラメータ

    パラメータ 説明

    *prosort_context

    prosort_setup関数で作成したコンテキストを渡します。

    **output_buffer

    出力レコードを取得するバッファー・アドレスの配列です。

    *output_buffer_length

    出力レコードのサイズを保存する配列です。

  • 例

    #include <stdio.h>
#include <stdlib.h>
#include "prosort.h"

static void
print_err_msg(int ec)
{
    fprintf(stderr,"Error[%d]:\n", ec);
    fprintf(stderr,"%s\n", ps_err_code_to_cause(ec));
    fprintf(stderr,"%s\n", ps_err_code_to_action(ec));
    fprintf(stderr,"%s\n", ps_err_get_last_msg());
}

/* 16バイト・レコード */
#define REC_LEN 16

#define RAND (char) (rand() % 24) + 'A'
int
main(int argc, char **argv)
{
    int   i      = 0;
    int   j      = 0;
    int   rc     = 0;

    void *ps_ctx;

    char buf[REC_LEN];
    const char *script = "MEMORY 100M\n"
                         "DATASIZE 100M\n"
                         "DEFREC FIXED, SIZE=16\n"
                         "SORT FIELDS = (1,8,CH,A)\n";

    /* スクリプトの設定 */
    rc = prosort_setup (script, NULL, 0, &ps_ctx);

    if (rc < 0) {
        print_err_msg (rc);
        exit (rc);
    }

    /* レコードの入力 */
    for (i = 0; i < 100; i++) {

        for (j = 0; j < REC_LEN - 1; j++)
            buf[j] = RAND;
        buf[j] = 0;

        rc = prosort_release_record (ps_ctx, buf, REC_LEN);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
    }
    /* レコードの入力完了 */
    prosort_release_end (ps_ctx);

    do {
        char outbuf[REC_LEN];
        char *outbufs[1];
        unsigned int len = REC_LEN;

        outbufs[0] = outbuf;

        rc = prosort_return_record (ps_ctx, outbufs, &len);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
        if (len == 0)
            break;
        printf ("%s\n", outbuf);

    } while (1);

    prosort_end (ps_ctx);
    return 0;
}

2.2.7. prosort_end

すべての演算に使用したリソースを返す関数です。

  • プロトタイプ

    int prosort_end(void *prosort_context);

  • パラメータ

    パラメータ 説明

    *prosort_context

    prosort_setup関数で作成したコンテキストを渡します。

  • 例

    #include <stdio.h>
#include <stdlib.h>
#include "prosort.h"

static void
print_err_msg(int ec)
{
    fprintf(stderr,"Error[%d]:\n", ec);
    fprintf(stderr,"%s\n", ps_err_code_to_cause(ec));
    fprintf(stderr,"%s\n", ps_err_code_to_action(ec));
    fprintf(stderr,"%s\n", ps_err_get_last_msg());
}

/* 16バイト・レコード */
#define REC_LEN 16

#define RAND (char) (rand() % 24) + 'A'
int
main(int argc, char **argv)
{
    int   i      = 0;
    int   j      = 0;
    int   rc     = 0;

    void *ps_ctx;

    char buf[REC_LEN];
    const char *script = "MEMORY 100M\n"
                         "DATASIZE 100M\n"
                         "DEFREC FIXED, SIZE=16\n"
                         "SORT FIELDS = (1,8,CH,A)\n";

    /* スクリプトの設定 */
    rc = prosort_setup (script, NULL, 0, &ps_ctx);

    if (rc < 0) {
        print_err_msg (rc);
        exit (rc);
    }

    /* レコードの入力 */
    for (i = 0; i < 100; i++) {

        for (j = 0; j < REC_LEN - 1; j++)
            buf[j] = RAND;
        buf[j] = 0;

        rc = prosort_release_record (ps_ctx, buf, REC_LEN);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
    }
    /* レコードの入力完了 */
    prosort_release_end (ps_ctx);

    do {
        char outbuf[REC_LEN];
        char *outbufs[1];
        unsigned int len = REC_LEN;

        outbufs[0] = outbuf;

        rc = prosort_return_record (ps_ctx, outbufs, &len);
        if (rc < 0) {
            print_err_msg (rc);
            exit (rc);
        }
        if (len == 0)
            break;
        printf ("%s\n", outbuf);

    } while (1);

    prosort_end (ps_ctx);
    return 0;
}

2.2.8. prosort_get_error_number

エラーが発生した際に、エラー番号を取得する関数です。

  • プロトタイプ

    int prosort_get_error_number(void *prosort_context);

  • パラメータ

    パラメータ 説明

    *prosort_context

    prosort_setup関数で作成したコンテキストを渡します。

  • 例

    int main(int argc, char **argv)
{
    int rc;
    void *ps_ctx;
    const char *script =
        "DEFREC FIXED,SIZE=150 \n"
        "DATASIZE 2M \n"
        "MEMORY 512M \n"
        "WORKSPACE = (./) \n"
        "SORT FIELDS=(1,2,A),FORMAT=BI \n"
        "INCLUDE COND=(1,2,CH,EQ,C'12',OR,1,2,CH,EQ,C'22',OR,1,2,CH,EQ,C'32') \n"
        "OUTFIL FNAMES=OUT1 \n";

    rc = prosort_setup(script, NULL, 0, &ps_ctx);
    if(rc < 0) {
        fprintf(stderr, "Error number is %d\n", prosort_get_error_number(ps_ctx));
    }
    ...
}

2.2.9. prosort_get_error_message

エラーが発生した際に、エラー・メッセージを取得する関数です。

  • プロトタイプ

    int prosort_get_error_message(void *prosort_context,
                            char *error_message_buffer,
                            unsigned int *error_message_length);

  • パラメータ

    パラメータ 説明

    *prosort_context

    prosort_setup関数で作成したコンテキストを渡します。

    *error_message_buffer

    エラー・メッセージを取得するバッファー・アドレスです。

    *error_message_length

    エラー・メッセージの長さです。

  • 例

    #define ERR_MSG_MAXLEN 1024
int main(int argc, char **argv)
{
    int rc;
    void *ps_ctx;
    char *err_msg;
    unsigned int err_msg_len;
    const char *script =
        "DEFREC FIXED,SIZE=150 \n"
        "DATASIZE 2M \n"
        "MEMORY 512M \n"
        "WORKSPACE = (./) \n"
        "SORT FIELDS=(1,2,A),FORMAT=BI \n"
        "INCLUDE COND=(1,2,CH,EQ,C'12',OR,1,2,CH,EQ,C'22',OR,1,2,CH,EQ,C'32') \n"
        "OUTFIL FNAMES=OUT1 \n";
    err_msg = (char *)malloc(sizeof(char) * ERR_MSG_MAXLEN);
    err_msg_len = ERR_MSG_MAXLEN;

    rc = prosort_setup(script, NULL, 0, &ps_ctx);
    if(rc < 0) {
        prosort_get_error_message(ps_ctx, err_msg, &err_msg_len);
        fprintf(stderr, "Error message is %s\n", err_msg);
    }
    ...
}

3. アンインストール

オペレーティング・システムのコマンドを利用し、ProSortがインストールされているディレクトリを削除します。

$ rm –rf prosort