주제
- 농산물 가격 데이터를 이용한 물가 변동 조회
개요 및 주제 선정 이유
- 최근 물가가 급격하게 상승하며 농산물의 물가 또한 크게 요동치고 있음
- 물가 상승으로 인해 장보기가 꺼려지고 이에 따라 직접 요리하기보다 외식을 선택하는 비율이 늘고 있음
- 농산물 가격 데이터를 활용해 농산물의 물가 변동을 조회할 수 있는 대시보드를 제작하고, 이는 농산물의 물가가 요동치는 중에 현재까지의 농산물들의 물가를 한 눈에 보고 물가 변동의 추이 및 전반적인 농산물의 물가를 파악하고 효율적인 장보기를 지원하고자 함
사용 기술
- AWS IAM
- AWS S3
- Snowflake
- Apache Superset
역할
- Snowflake 설정 및 데이터 적재
프로젝트 기술 발전 가능성
- 매일 새로운 농산물 가격 데이터를 갱신한다면 어제와 오늘, 한 달 전과 오늘 가격 변동을 한 눈에 확인 가능
- 날씨 데이터를 추가하여 다양한 정보를 함께 제공하여 물가 변동의 원인을 추론할 수 있음
- 과거 농산물 가격 데이터를 오랜 기간 수집하여 축적한다면 이후 가격 변동을 예측 가능
- 웹 사이트로 제공한다면 사용자가 원하는 기간의 농산물 가격 변동 추세를 선택하여 확인 가능
아쉬웠던 점
- S3에서 Snowflake로 데이터를 적재할 때, Table 설계 미숙으로 무분별하게
데이터를 적재하여 데이터 전처리 및 summary 작업을 번거롭게 했던 아
쉬운 점이 있습니다. 추후에는 Database 설계를 잘하여 ETL 이후 작업에
번거로움이 없게 하였으면 함
728x90
'ssung_데이터 엔지니어링 > 8주차_2차 프로젝트' 카테고리의 다른 글
2차 프로젝트(3) (1) | 2023.12.06 |
---|---|
2차 프로젝트(2) (1) | 2023.12.06 |
2차 프로젝트(1) (1) | 2023.12.04 |