« PostgreSQLでの日付データ文字列変換 | トップページ | 今日を含む過去30日という検索条件 »

2014.05.20

[メモ]大量UNLOAD時の注意点

UNLOAD文はInformixからデータを出力する際には一番簡単で手軽な手段である。
ただ、あまりにも大量の件数をUNLOADする際にはちょっと注意したほうがいい。

すごく単純なことであるが、数百万行を越えるようなデータをUNLOADする際に、GROUP化やソート指定をしている場合は分割したほうがよい。

<とある実例>
300万行、1.4GBくらいの出力を1回のクエリで実施したときに、ファイルの出力完了に要した時間は約3時間であった。
100万行ずつくらいになるようにWHERE条件を変更して3回に分けて実施してみたら、3回のUNLOADに要した時間の合計が約1時間であった。

サーバのメモリやディスクIOの性能など、いろいろと性能が変化する要因はあるだろう。(検索条件自体も影響あるかも)
ただ、実際にこういう可能性もあるので、大量データのUNLOADのようなケースでは少ないSQL発行回数に固執しないこともアイディアとしてあることは記憶に留めておきたい。

|

« PostgreSQLでの日付データ文字列変換 | トップページ | 今日を含む過去30日という検索条件 »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/2022/59670844

この記事へのトラックバック一覧です: [メモ]大量UNLOAD時の注意点:

« PostgreSQLでの日付データ文字列変換 | トップページ | 今日を含む過去30日という検索条件 »