Athena Partition추가 스크립트

AWS Athena의 테이블을 파티션으로 관리 하고 있다면 파티션이 생성될때마다 DDL을 실행해야한다.

구체적으로 아래와 같은 커맨드를 실행할 필요가 있다. (파티션 dt=2017-12-31 을 추가하는 경우)

ALTER TABLE 테이블명ADD IF NOT EXISTS PARTITION (dt='2017-12-31') location 's3://aaa/bbb/dt=2017-12-31'

실제 운영에서는 위의 파티션 추가 커맨드를 정기적으로 실행할 필요가 있으므로 파이썬을 이용해 간단한 스크립트를 작성하여 사용하면 편리하다.

import sys

import boto3

import datetime

# get a batch date and change date format

param_date = sys.argv[1]

dt_tmp = datetime.datetime.strptime(param_date, '%Y%m%d')

dt_folder = dt_tmp.strftime('%Y-%m-%d')

table_name = '테이블명'

s3_path = """s3://aaa/bbb/dt=%s""" % (dt_folder)

client = boto3.client('athena')

sql = """ALTER TABLE %s ADD IF NOT EXISTS PARTITION (dt='%s') location '%s'""" % (table_name, dt_folder, s3_path)

client.start_query_execution(

        QueryString=sql,

        QueryExecutionContext={

            'Database': '디비명'

            },

        ResultConfiguration={

            'OutputLocation': 's3://쿼리결과임시저장경로'

            }

        )

실제 파티션이 제대로 추가 되었는지는 Athena쿼리창에서 아래 커맨드를 실행하여 확인 가능하다.

show partitions 테이블명

[결과]

dt=2017-09-30

dt=2017-10-31

dt=2017-11-30

dt=2017-12-31

파티션은 있으나 파티션내에 데이터가 존재하지 않는다면 아래와 같은 쿼리를 실행했을 경우에는 파티션이
존재하지 않는 것처럼 보일 수 있으니 주의가 필요하다. 

(2017-12-31 파이션은 있으나 실제 데이터는 없을 경우의 예)

select dt from 테이블명 group by dt

[결과]
dt

2017-09-30

2017-10-31

2017-11-30