secsorter

概要

secsorter : 時刻でファイル分割する

書式

Usage : secsorter key=<n> ngfile=<ngfile> <path>... <file>
Options : timeout=<h>
　　　　-a
Version : Thu Mar 29 21:49:20 JST 2018
Edition : 1

説明

<file> を読み込み、key=<n> で指定したフィールドの時刻（Unix 時間）にしたがってファイルを分割します。分割先パス名 <path> は１つ以上のキーワード（%D %H）を含まなければなりません。%D は、指定されたフィールドの時刻の Unix エポック（1970/1/1 00:00:00）からの経過日数に、%H は１日の中の時間（00-24）に、それぞれ置換されます。

時刻は昇順でなくても構いませんが、タイムアウト時間以上古いレコードは<ngfile> へ出力されます。タイムアウト時間は timeout=<h> で指定します。指定しなかった場合は 2 になります。

分割先パス名は、２つ以上指定することができます。出力エラー（オープンエラー、書き込みエラー）が発生した場合は、その分割先パスへの出力を中止します。すべての分割先 パスで出力エラーが発生すると secsorter はエラー終了します。最後まで出力エラーが発生しない分割先パスが１つでもあれば、secsorter は正常終了します。

例１

$ cat data
172.026.071.116 1284303600 33.32256 130.24408 180 0
172.026.098.175 1284317626 33.35254 130.21188 338 0
172.027.094.164 1284305600 33.39218 130.26296 315 0
172.026.096.143 1284307605 33.34219 130.24503 135 5
172.026.093.107 1284309605 33.3043 130.25282 248 0
172.026.073.103 1284311611 33.33275 130.25439 113 25
172.026.073.101 1284313616 33.31491 130.25426 180 24
172.026.094.173 1284315621 33.3302 130.18085 0 0
172.026.071.101 1284319629 33.31546 130.23438 203 33

$ secsorter key=2 ngfile=error data-%D-%H data
$ ls -l data-* error
-rw-r--r-- 1 usp usp 52 3月 19 10:16 data-14864-15 ↑
-rw-r--r-- 1 usp usp 106 3月 19 10:16 data-14864-17 ４つのファイルに
-rw-r--r-- 1 usp usp 101 3月 19 10:16 data-14864-18 分割された
-rw-r--r-- 1 usp usp 53 3月 19 10:16 data-14864-19 ↓
-rw-r--r-- 1 usp usp 155 3月 19 10:16 error

$ cat data-14864-15
172.026.071.116 1284303600 33.32256 130.24408 180 0

$ cat data-14864-17
172.026.073.103 1284311611 33.33275 130.25439 113 25
172.026.073.101 1284313616 33.31491 130.25426 180 24

$ cat data-14864-18
172.026.098.175 1284317626 33.35254 130.21188 338 0
172.026.094.173 1284315621 33.3302 130.18085 0 0

$ cat data-14864-19
172.026.071.101 1284319629 33.31546 130.23438 203 33

$ cat error
172.027.094.164 1284305600 33.39218 130.26296 315 0
172.026.096.143 1284307605 33.34219 130.24503 135 5
172.026.093.107 1284309605 33.3043 130.25282 248 0

例２

(-a 指定)

-a オプションを指定すると、分割先ファイルは追記されます。分割先ファイルが無いときは、新たに作成されます。このオプションを指定しないときは、ファイルは上書きになりま す。

$ secsorter key=2 ngfile=error data-%D-%H data
$ secsorter -a key=2 ngfile=error data-%D-%H data
$ ls -l data-* error
-rw-r--r-- 1 usp usp 104 3月 19 10:19 data-14864-15
-rw-r--r-- 1 usp usp 212 3月 19 10:19 data-14864-17
-rw-r--r-- 1 usp usp 202 3月 19 10:19 data-14864-18
-rw-r--r-- 1 usp usp 106 3月 19 10:19 data-14864-19
-rw-r--r-- 1 usp usp 310 3月 19 10:19 error

$ cat data-14864-15
172.026.071.116 1284303600 33.32256 130.24408 180 0
172.026.071.116 1284303600 33.32256 130.24408 180 0

例３

(timeout 指定)

timeout を指定するとタイムアウト時間を延ばすことができます。

$ secsorter key=2 ngfile=error timeout=3 data-%D-%H data
$ ls -l data-* error
-rw-r--r-- 1 usp usp 52 3月 19 10:22 data-14864-15
-rw-r--r-- 1 usp usp 103 3月 19 10:22 data-14864-16
-rw-r--r-- 1 usp usp 106 3月 19 10:22 data-14864-17
-rw-r--r-- 1 usp usp 101 3月 19 10:22 data-14864-18
-rw-r--r-- 1 usp usp 53 3月 19 10:22 data-14864-19
-rw-r--r-- 1 usp usp 52 3月 19 10:22 error

$ cat error
172.027.094.164 1284305600 33.39218 130.26296 315 0