AWS Glueでhello worldを行うサンプル

AWSのGlueのPythonでhello worldを行うサンプルです。

AWSのGlueは、ETL(Extract, Transform, Load)サービスの機能を持っています。
ETLとは、異なるデータソースからデータを抽出して変換し、別のデータストアにロードします。

Amazon S3やRDS、Redshift、DynamoDBなど、様々なデータソースにアクセスでき、異なる形式のデータ(CSV、JSON)も処理できます。

ビッグデータの処理やデータウェアハウスの構築など、データ関連の課題を解決するために設計されたサービスです。

１．検索入力欄で「Glue」と入力し、表示された「Glue」をクリックします。

２．「ETL jobs」をクリックします。

３．「Python Shell script editor」にチェックを入れ、Optionsでは、「Create a new script with boilerplate code」をチェックし右上にある「Create」をクリックします。

４．ジョブ名を入力します。(test-hello)
Scriptのタブをクリックし、コードを入力します。

コード

import sys
print("hello world")

５．Job detailsをクリックします。

６．IAM Roleはそのままで大丈夫です。Pythonはバージョンを選択できます。

７．Advanced propertiesをクリックしてファイル名を入力します。(test-hello.py)

８．Saveボタンをクリックします。

９．問題ない場合Runボタンが押せるようになります。

１．画面右側のRunボタンをクリックします。

２．Runsタブをクリックします。ジョブが成功するとRun statusがSucceededになります。

３．右下にある「Output logs」をクリックします。

４．hello worldの文字が表示されます。

１．「ETL jobs」をクリックします。

２．ジョブにチェックを入れ、右にある「Run job」をクリックすると再度ジョブが実行されます。