GlueからAuroraのMySQLにJDBC接続する方法とハマったポイントについてまとめます


# 概要
AWS GlueからAuroraのMySQLにJDBC接続してデータを取得する方法を紹介します。

# 環境
- python==3.7
- pyspark==2.4.3

# 手順
1. VPCの設定
2. AWS Glue接続を追加する
3. コード

### VPCの設定
[こちら](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/setup-vpc-for-glue-access.html)を参考に、接続したいAuroraクラスタが所属するセキュリティグループの設定をします。

### AWS Glue接続を追加する
[こちら](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/console-connections.html)を参考に、接続したいAuroraクラスタに対して`AWS Glue`接続を追加します。

### コード
PySparkでJDBC接続する例を記載します。

```python
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

jdbc_url = f"jdbc:mysql://{ホスト}:{ポート}/{データベース名}"

df = spark.read.jdbc(jdbc_url, {テーブル名}, properties={
                "user": {ユーザ名},
                "password": {パスワード}
            })
```

JDBCに接続するためのURLの形式は以下

```python
"jdbc:mysql://{ホスト}:{ポート}/{データベース名}"
```

# 参考
- [JDBC データストアに接続するための VPC の設定 AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/setup-vpc-for-glue-access.html)
- [AWS Glue 接続の追加](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/console-connections.html)
- [Sparkのドキュメント](https://spark.apache.org/docs/2.4.3/sql-data-sources-jdbc.html)

masatora.net