目次
Glueとは
AWSのGlueは、ETL(Extract, Transform, Load)サービスの機能を持っています。
ETLとは、異なるデータソースからデータを抽出して変換し、別のデータストアにロードします。
Amazon S3やRDS、Redshift、DynamoDBなど、様々なデータソースにアクセスでき、異なる形式のデータ(CSV、JSON)も処理できます。
ビッグデータの処理やデータウェアハウスの構築など、データ関連の課題を解決するために設計されたサービスです。
ジョブを作成する
１．検索入力欄で「Glue」と入力し、表示された「Glue」をクリックします。
２．「ETL jobs」をクリックします。
３．「 script editor」をクリックします。
４．ダイアログが表示されるのでEngineはPython shell、OptionsはStart freshを選択します。
Create scriptをクリックします。
４．ジョブ名を入力します。(test-hello)
Scriptのタブをクリックし、コードを入力します。
コード
import sys
print("hello world")
５．Job detailsをクリックします。
６．IAM Roleはそのままで大丈夫です。Pythonはバージョンを選択できます。
※デフォルトのままで問題ありません。
７．Advanced propertiesではファイル名の入力が可能です。デフォルトはJob名が入っています。
同名のファイルが既に存在している場合はSaveクリックときにエラーになります。
８．Saveボタンをクリックします。
９．問題ない場合Runボタンが押せるようになります。
ジョブを実行する
１．画面右側のRunボタンをクリックします。
２．Runsタブをクリックします。ジョブが成功するとRun statusがSucceededになります。
３．右下にある「Output logs」をクリックします。
４．hello worldの文字が表示されます。
再度ジョブを実行する
１．「ETL jobs」をクリックします。
２．ジョブにチェックを入れ、右にある「Run job」をクリックすると再度ジョブが実行されます。
関連の記事