ssung_데이터 엔지니어링/8주차_2차 프로젝트

2차 프로젝트 (후기)

ssungcohol 2023. 12. 10. 16:04

주제

  • 농산물 가격 데이터를 이용한 물가 변동 조회

개요 및 주제 선정 이유

  • 최근 물가가 급격하게 상승하며 농산물의 물가 또한 크게 요동치고 있음
  • 물가 상승으로 인해 장보기가 꺼려지고 이에 따라 직접 요리하기보다 외식을 선택하는 비율이 늘고 있음
  • 농산물 가격 데이터를 활용해 농산물의 물가 변동을 조회할 수 있는 대시보드를 제작하고, 이는 농산물의 물가가 요동치는 중에 현재까지의 농산물들의 물가를 한 눈에 보고 물가 변동의 추이 및 전반적인 농산물의 물가를 파악하고 효율적인 장보기를 지원하고자 함

사용 기술

  • AWS IAM
  • AWS S3
  • Snowflake
  • Apache Superset

역할

  • Snowflake 설정 및 데이터 적재

프로젝트 기술 발전 가능성

  • 매일 새로운 농산물 가격 데이터를 갱신한다면 어제와 오늘, 한 달 전과 오늘 가격 변동을 한 눈에 확인 가능
  • 날씨 데이터를 추가하여 다양한 정보를 함께 제공하여 물가 변동의 원인을 추론할 수 있음
  • 과거 농산물 가격 데이터를 오랜 기간 수집하여 축적한다면 이후 가격 변동을 예측 가능
  • 웹 사이트로 제공한다면 사용자가 원하는 기간의 농산물 가격 변동 추세를 선택하여 확인 가능

아쉬웠던 점

  • S3에서 Snowflake 데이터를 적재할 , Table 설계 미숙으로 무분별하게
    데이터를 적재하여 데이터 전처리 summary 작업을 번거롭게 했던
    쉬운 점이 있습니다. 추후에는 Database 설계를 잘하여 ETL 이후 작업에
    번거로움이 없게 하였으면 함
728x90

'ssung_데이터 엔지니어링 > 8주차_2차 프로젝트' 카테고리의 다른 글

2차 프로젝트(3)  (1) 2023.12.06
2차 프로젝트(2)  (1) 2023.12.06
2차 프로젝트(1)  (1) 2023.12.04