GlueからAuroraのMySQLにJDBC接続する方法とハマったポイントについてまとめます

<h1>概要</h1>
AWS GlueからAuroraのMySQLにJDBC接続してデータを取得する方法を紹介します。
<h1>環境</h1>
<ul>
<li>python==3.7</li>
<li>pyspark==2.4.3</li>
</ul>
<h1>手順</h1>
<ol>
<li>VPCの設定</li>
<li>AWS Glue接続を追加する</li>
<li>コード</li>
</ol>
<h3>VPCの設定</h3>
<a href="https://docs.aws.amazon.com/ja_jp/glue/latest/dg/setup-vpc-for-glue-access.html">こちら</a>を参考に、接続したいAuroraクラスタが所属するセキュリティグループの設定をします。
<h3>AWS Glue接続を追加する</h3>
<a href="https://docs.aws.amazon.com/ja_jp/glue/latest/dg/console-connections.html">こちら</a>を参考に、接続したいAuroraクラスタに対して<code>AWS Glue</code>接続を追加します。
<h3>コード</h3>
PySparkでJDBC接続する例を記載します。
<div class="remark-highlight"><pre class="language-python"><code class="language-python">sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session

jdbc_url = f"jdbc:mysql://{ホスト}:{ポート}/{データベース名}"

df = spark.read.jdbc(jdbc_url, {テーブル名}, properties={
 "user": {ユーザ名},
 "password": {パスワード}
 })
</code></pre></div>
JDBCに接続するためのURLの形式は以下
<div class="remark-highlight"><pre class="language-python"><code class="language-python">"jdbc:mysql://{ホスト}:{ポート}/{データベース名}"
</code></pre></div>
<h1>参考</h1>
<ul>
<li><a href="https://docs.aws.amazon.com/ja_jp/glue/latest/dg/setup-vpc-for-glue-access.html">JDBC データストアに接続するための VPC の設定 AWS Glue</a></li>
<li><a href="https://docs.aws.amazon.com/ja_jp/glue/latest/dg/console-connections.html">AWS Glue 接続の追加</a></li>
<li><a href="https://spark.apache.org/docs/2.4.3/sql-data-sources-jdbc.html">Sparkのドキュメント</a></li>
</ul>

masatora.net

GlueからAuroraのMySQLにJDBC接続する

概要

環境

手順

VPCの設定

AWS Glue接続を追加する

コード

参考