여기에서는 AWS Glue Data catalog의 Crawler를 이용하여 Json 포맷의 Schema 분석을 위한 정규화 Table을 생성하고자 합니다.
- [AWS Glue] - [Data catalog] - [Crawlers]로 이동합니다.
https://ap-northeast-2.console.aws.amazon.com/glue/home?region=ap-northeast-2#catalog:tab=crawlers
- CDK로 인프라 생성시, 아래와 같이 "traslate-records"라는 파일이 생성되어 있습니다. 여기에는 Glue Database로 "themometer"를 이용하고, Glue에서 사용할 S3 bucket 및 IAM Role에 대한 정보가 포함되어 있습니다.
아래 그림과 같이 "translate-records"를 선택 후에, [Run crawler]를 선택합니다.
이후 [Status]가 "ready" - "Starting" - "Stopping" - "Ready"로 전환되고 아래와 같이 "Table added"가 1로 변경됩니다.
- 좌측 메뉴에서 [Tables]를 선택하면 아래처럼 "thermometer"라는 Table이 생성된것을 확인 할 수 있습니다.
- "themometer"를 선택하면 아래와 같이 json파일의 Schema를 확인 할 수 있습니다.
