様々な資料がここにあります。

 

 

魂内検索

DOCUMENTS

COMMAND

FORUM

UEC DOCS

VIDEO

 

開眼☆シェルスクリプト コマンドを定期的に実行させる―cronとシェルスクリプトの合わせ技

実行したい日時を指定しておけばプログラムを自動実行してくれる仕組みのひとつにcron(8)がある。Mac OS Xを含むUNIX系のオペレーティングシステムではほとんどの場合この仕組みが動作しており、crontab(1)というコマンドを使って定期的に動作させたいプログラムを指定することで、指定したプログラムが定時に実行されるようになっている。

cron(8)とcrontab(1)の関係

実際に定期的に処理を実行してくれるデーモンがcron(8)、スケジュールを登録したり編集するためのユーティリティがcrontab(1)となる(以降、cronおよびcrontabと表記)。システムによってはcronは別のデーモンから起動されたり、または名称がcrondのようになっていることもある。

crontabにオプション-eを指定して実行すると、環境変数EDITORで指定されたエディタを使ってファイルの編集モードになる。この状態でスケジューリングの内容を記述してから保存すると、設定情報がシステムに保存されるとともにcronに対して新しい設定を反映するように処理が行われる。保存されるユーザのスケジューリング情報の場所はオペレーティングシステムごとに異なる。

crontabの使い方

crontabは次のようにオプション-eを指定して編集モードで使用する。これで環境変数EDITORで指定されたソフトウェアを使ってファイルの編集が実施される。

$ crontab -e
$

たとえばこの段階で次の内容を入力して保存したのち、エディタを終了する。

* * * * * touch /tmp/aaaa

登録したスケジューリング情報はオプション-lを指定して確認できる。

$ crontab -l
* * * * * touch /tmp/aaaa
$

1分くらい待って/tmp/aaaaができたら適切に機能している。さらに1分ごとにls -lで確認するとタイムスタンプが更新されるようすを確認できる。

$ ls -l /tmp/aaaa 
-rw-r--r-- 1 ueda wheel 0  9 22 16:24 /tmp/aaaa
$ ls -l /tmp/aaaa 
-rw-r--r-- 1 ueda wheel 0  9 22 16:25 /tmp/aaaa
$

cronが1分ごとにtouchを実行して/tmp/aaaa のタイムスタンプを更新している。

設定を削除する場合はcrontab -eで編集するか、すべてのスケジュールを一斉に削除するのであればrontab -rと実行する。

$ crontab -r
$ crontab -l
crontab: no crontab for ueda
$

スケジュールの指定方法

次に時刻の指定の方法を説明する。書式のマニュアルはcrontab(5)で調べることができるので、ここでは最小限の説明をする。

* * * * * touch /tmp/aaaa

1列目から順に分、時、日、月、曜日を指定している。*はワイルドカードですべてに一致する。つまり* * * * *だと分の最小単位である1分ごとにそのあとに記述したコマンドが実行されることになる。

時刻の指定の例を示す。たとえば、1)毎時5分に実行したい、2)5分ごとに実行したい、3)毎時15分と30分に実行したい、4)月曜日の14時〜20時まで、毎時30分に実行したい、というのを上から順に示すと、リスト3のようになる。曜日の数字は、日曜から土曜まで、0から6で指定する。日曜は7と書いてもよい。

リスト3: crontabの書き方あれこれ

5	* 	* 	* 	* 	touch /tmp/aaaa
*/5	* 	* 	* 	* 	touch /tmp/bbbb
15,30	* 	* 	* 	* 	touch /tmp/cccc
30 	14-20	* 	* 	1 	touch /tmp/dddd

スラッシュの後ろに数字を書くとその数字の周期で実行となる。カンマで数字を並べるとその数字に該当する時に実行される。ハイフンで数字をつなぐとその範囲内で毎回実行という指定になる。

ハイフンについてはn-mと書いたらnとmも含まれる。また、ハイフンとスラッシュの併用もできる。ただし、crontabで記述できるスケジューリングフォーマットはオペレーティングシステムごとに異なる点に注意してほしい。man 5 crontabのように実行してcrontab(5)のフォーマットをについて調べ、その記述に従って記述してほしい。

5つの日時フィールドではなく、次のような文字列@reboot、@yearly、@annually、@monthly、@weekly、@daily、@midnight、@hourly、@every_minute、@every_secondを指定できるオペレーティングシステムもある。

Twitterへの自動ツイートにcronを使う

Twitterにおいて自動ツイートを行うプログラムを作成してcronに登録する。このスクリプトはすでに出来合いのものがあるのでそれを使用する。

#!/bin/sh -vx
#
# usptomo-tweet.sh: twitterにメッセージを投げるシェルスクリプト
#
# written by R.Ueda (USP友の会) 20130916
#
# 参考：http://www.kuropug.com/Shellscriptter/top.html

#中間ファイルの場所（/tmpが気にくわなければ他に変えること）
tmp=/tmp/$$
[ -z "$*" ] && exit 1

###################################
#変数の設定

#場所やファイル名はお好みで
source ~/twitter.key

#以下のファイルから変数が読み込まれます。
#+++twitter.key+++++++++++++++++++++++++++++++++++++++++++
#CONSUMER_KEY=xxxxxxxxxxxxxxxxxxxxxxxx
#CONSUMER_SECRET=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
#ACCESS_TOKEN=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
#ACCESS_TOKEN_SECRET=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
#+++++++++++++++++++++++++++++++++++++++++++++++++++++++++

#エンコーディングルール
enc () {
	nkf -wMQx | sed 's/=$//' | tr '=' '%' | tr -d '\n' |
	sed -e 's/%7E/~/g' -e 's/%5F/_/g' -e 's/%2D/-/g' -e 's/%2E/./g'
}

#送信先
URL=http://api.twitter.com/1.1/statuses/update.json
ENC_URL=$(enc <<< "$URL")

#ツイートの読み込みとエンコード
TW=$(enc <<< "$*")

############################################
#パラメータ設定
cat << FIN > $tmp-params
oauth_consumer_key $CONSUMER_KEY
oauth_nonce $(date +%s%N)
oauth_signature_method HMAC-SHA1
oauth_timestamp $(date +%s)
oauth_token $ACCESS_TOKEN
oauth_version 1.0
status $TW
FIN

###############################################
#oauthシグネチャを作る

#署名キーを作成
echo "POST&"${ENC_URL}"&" > $tmp-head

sort $tmp-params		|
#行末に%26（アンド）をつけ、空白を%3D（イコール）に変換
sed -e 's/$/\&/' -e 's/ /=/'	|
enc				|
#一番最後の&をとる
sed 's/%26$//'			|
#頭に署名キーをつける
cat $tmp-head -			|
#改行が一個入ってしまうので取る
tr -d '\n'			|
#エンコード
openssl sha1 -hmac $CONSUMER_SECRET'&'$ACCESS_TOKEN_SECRET -binary	|
openssl base64			> $tmp-key

###############################################
#ヘッダ文字列の作成

enc < $tmp-key						|
awk '{print "oauth_signature",$0}' 			|
cat $tmp-params -					|
grep -v "^status"					|
sort							|
#項目 値の並びを改行して縦一列に並び替える
tr ' ' '\n'						|
#縦一列を今度は横一列にして 項目=値,項目=値,...の形式に
awk 'NR%2==1{print $1 "="}NR%2==0{print $1 ","}'	|
tr -d '\n'						|
#一番最後のカンマが余計
sed 's/,$//' 	> $tmp-header-str

#########################################
#出力!
curl -H "Authorization : OAuth $(cat $tmp-header-str)" \
     -d "status=$TW" "$URL"

rm -f $tmp-*

上記シェルスクリプトをtweetという名前で保存して実行権限を付与しておく。

ツイートコマンドの準備

このシェルスクリプトを使用するには鍵やトークンを設定する必要がある。https://dev.twitter.comからツイートしたいアカウントでログインする。ログインしたら「My applications」→「Create an application」の画面に進み、必要事項を入力する。アプリケーション名は何でもよい。必要事項の入力後に登録のボタンを押すと「Consumer key、Consumer secret、Access token、Access token secret」が取得できる。普通に取得するとConsumer keyもAccess tokenも「Read only」になっていると思う。画面の指示に従って「Read and write」というアクセスレベルで再取得する。

データを取得したらリスト5のようなファイルをホームの下に置く。これはtweetに読み込ませるシェルスクリプトの一部なので、シェルスクリプトの文法で書きファイル名も間違えないようにする。

リスト5: キーとトークンを書いたファイル

$ cat twitter.key 
CONSUMER_KEY="aaaaaaaaaaaaaaaaaaaaaa"
CONSUMER_SECRET="bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb"
ACCESS_TOKEN="000000000-cccccccccccccccccccccccccccccccccccccccc"
ACCESS_TOKEN_SECRET="ddddddddddddddddddddddddddddddddddddddddddd"
$

ツイートする

リスト6: 端末からテストツイート

$ ./bin/tweet 'test: 東東東南南南西西西北北北白白'
$

投稿がうまくいけば、図1のようにTwitterにツイートが放出されている。

図1: 投稿される

cronから使う(環境変数に注意)

リスト7のようにcronを仕掛ける。

リスト7: crontabにコマンドを直接書き込む

$ crontab -l
* * * * * /Users/ueda/bin/tweet 'test' > /dev/null 2> /tmp/error	
$

/tmp/errorを見てみる。環境にも依るが、筆者のMac OS Xではリスト8のように失敗した。

リスト8: nkfが見つからないエラーが発生

$ less /tmp/error 
 (略) 
/Users/ueda/bin/tweet: line 33: nkf: command not found
 (略) 
$

crontabでリスト9のように環境変数PATHを調べる仕組みを追加する。環境変数LANGも調べておく。

リスト9: echoでcronで設定されている環境変数を調べる

$ crontab -l
* * * * * echo "$PATH" > /tmp/path
* * * * * echo "$LANG" > /tmp/lang
$

/tmp/pathおよび/tmp/langを見てみるとリスト10のようになっていた。

リスト10: 環境変数の調査結果

$ cat /tmp/path 
/usr/bin:/bin
$ cat /tmp/lang 
$

nkfの場所は次のように/usr/local/bin/なのでnkfコマンドを見つかられずにエラーが起きたことがわかる。

$ which nkf
/usr/local/bin/nkf
$

cronで何かを動かそうとしてうまくいかない場合、パスが間違っているか、この例のように環境変数が端末で使っているものと違うという問題であることが多い。次のように環境変数を指定すれば実行できるようになる。

リスト11: 環境変数をcrontabで指定する方法

$ crontab -l
PATH=/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin
MAILTO=""
35 10 * * * /Users/ueda/bin/tweet 'test' > /dev/null 2> /tmp/error
$

MAILTO=""はcronがログのメールを送ってくるのを防ぐための記述だ。なお、「> /dev/null 2>&1」のようにして標準出力と標準エラー出力のどちらもcronが検出できない状態にした場合にもメールは送信されてこない。

ラッパーのシェルスクリプトを使う

環境変数やその他を全てシェルスクリプトの中に押し込んでみよう。ラッパーのシェルスクリプトはホーム下にbatchというディレクトリを作成してそこに配置する。

リスト12: cronから呼び出すシェルスクリプトと設定

$ cat nightwork
#!/bin/sh -xv

export PATH=/usr/local/bin:/Users/ueda/bin:$PATH
export LANG=ja_JP.UTF-8

exec 2> /tmp/stderr.$(basename $0)
exec > /tmp/stdout.$(basename $0)

tweet '[自動ツイート]上田さん、こんな時間になってもまだPC開いて仕事をしてるんだって〜。キャハハダッサイ！'
$

crontab経由で登録する。

$ chmod +x nightwork
$ crontab -e
$ crontab -l
MAILTO=""
30 23 * * * /Users/ueda/batch/nightwork
$

次のように送信を確認できる。

図2: 送信の確認

おわりに

今回はcronとシェルスクリプトと組み合わせてツイートを行う自動送信機能作成した。バッチ処理システムの構築や自動バックアップの構築などに欠かせない機能なので、日常的に使いこなせるようにしておきたい。

Software Design 2013年12月号 上田隆一著、「テキストデータならお手のもの 開眼シェルスクリプト 【24】コマンドを定期的に実行させる―cronとシェルスクリプトの合わせ技」より加筆修正後転載