[TOSDI] 無償版でジョブスケジューリング

Talend Open Studio for Data Integration関連エントリです。
今回はジョブをスケジュールする方法について説明します。
関連して作成したジョブを他のPCで実行する方法も触れます。


.

「Talend Open Studio for Data Integration」が長いので以下では「TOSDI」と略します。

無償版にはスケジューリング機能がない

公式サイトの比較を見ると、Talend Enterprise Data Integration（有償版）にはスケジューリングの機能がありますが、Talend Open Studio for Data Integration（無償版）にはありません。

(Talend公式サイト http://jp.talend.com/products/data-integration より引用)

（有償版は使ったことがないのでどんな風にスケジュールできるのかは知りません。）
ただ、ETLツールなんて基本的にはバッチで動かすのが前提でしょうから、スケジュールできないとお話になりません。
そこで無償版でジョブを無人稼動させる方法を紹介します。

手順

TOSDIでは作成したジョブをエクスポートすることができます。


エクスポートするとzipファイルひとつにまとめられ、このzipファイルを伸張すると中にbatファイルとshファイルがあります。


そう、あとはご想像の通り、Windowsならbatファイルをタスクスケジューラーに、Unix/Linux/Macならshファイルをcronで設定すればよいということです。
タスクスケジューラーやcronが気に食わなければ他のスケジューラーをご利用ください。

ジョブの持ち出し

このエクスポートしたzipパッケージはそのまま他のPC(またはサーバー)に持ち出して実行させることができます。
持ち出し先にJavaの実行環境が必要ですが、TOSDIのインストールは不要です。
この持ち出しを前提とすると、スケジューリングに関しては有償版と無償版の優劣がなくなります。

実行ログ

バッチ処理となるとやはり実行ログは必須ですよね。
TOSDIではロギングについて複数の方法/機能があります。
すべてをここで説明するのは難しいのでひとつだけ紹介すると、前回のエントリで「標準出力」の話をしました。
実行時にこの標準出力をパイプしてテキストファイルか何かに渡せばそのまま記録されます。
（行すべてを出力したりしたらパフォーマンス的にもディスク容量的にもセキュリティ的にも面倒なことになるのでご注意ください。）

より詳細なログの取得方法は別途研究しているので後日記事にします。


Talend Open Studio for Data Integration関連エントリまとめ

.