Create Glue Table

이 섹션에서는 Kinesis Data Firehose가 데이터 형식 변환을 위한 스키마로 사용할 외부 테이블을 생성합니다.

1. Athena 콘솔로 이동하여 쿼리 편집기에서 Settings을 선택하고 Manage 선택

2. Browse S3를 클릭하고 버킷 목록에서 kinesis-bucket으로 시작하는 S3 버킷을 선택합니다. S3 URI에 /nyctaxitrips/를 추가하고 Save를 클릭합니다.

i.e. s3://kinesis-bucketXXXXXx-XXXXX/nyctaxitrips/

3. Editer 탭으로 돌아가서 Database 리스트에서 kinesislab을 선택하세요.

4.아래의 SQL 구문을 Query 1 창에 붙여넣고 Run을 클릭해서 쿼리를 실행하세요.

23번 라인에 있는 <BUCKET_NAME> 값에 위에서 선택한 S3 버킷 이름(kinesis-bucketXXX-XXXX)로 변경하고 쿼리를 실행해야 합니다.

CREATE EXTERNAL TABLE `nyctaxitrips`
(
`id` string,
`vendorId` int,
`pickupDate` string,
`dropoffDate` string,
`passengerCount` int,
`pickupLongitude` double,
`pickupLatitude` double,
`dropoffLongitude` double,
`dropoffLatitude` double,
`storeAndFwdFlag` string,
`gcDistance` double,
`tripDuration` int,
`googleDistance`int,
`googleDuration`int,
`source`string
)
PARTITIONED BY ( `year` string, `month` string, `day` string, `hour` string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 's3://<<BUCKET-NAME>>/nyctaxitrips/'

"Query successful" 메시지가 표시됩니다.