1.1 Image Super Resolution

소형 객체 탐지 모델의 성능을 개선하기 위해 전처리 모델로 XPixelGroup의 HAT라는 초고해상도 개선 모델을 도입하였습니다. 이를 통해 대회 측에서 제공한 위성이미지 데이터의 해상도를 4배 이상 개선할 수 있었습니다.

1.2 초고해상도 이미지 개선 딥러닝 모델

초고해상도 개선 모델로 전처리된 데이터을 라벨링하였습니다. 이때, 사전 학습된 모델을 사용하여 자동으로 차량을 식별하게 하였습니다. 위의 영상은 사전 학습 모델이 식별하지 못한 예외적인 경우에 수작업으로 라벨링을 진행한 것입니다.

2.1 객체 탐지 딥러닝 모델 도입

MMRotate 프레임워크를 활용하여 위성이미지 데이터 내에서 차량 등의 객체를 식별할 수 있었습니다. 처음에는 사전 학습된 모델을 활용하여 성능지표를 평가하였습니다.

2.2 Weighted Boxed Ensemble 앙상블 기법으로 성능 개선

소형 객체 탐지 모델의 성능을 개선하기 위하여, 추가적인 학습과 Weighted Boxed Ensemble 기법을 적용하였습니다. 그 결과, 이전에 식별한 차량에 대해서는 신뢰도가 대폭 상승한 것을 확인할 수 있었습니다. 뿐만 아니라, 이전에는 식별하지 못했던 유채색의 차량이나 주변 구조물의 그림자가 결쳐진 차량도 식별할 수 있었습니다.

3.1 Google Map API를 활용한 UX 구현

Google Map API를 활용하여 지도 기반의 인터페이스를 구현하였습니다. 이 덕분에 사용자는 제주도 전역에 위치한 공영주차장의 위치를 한눈에 파악할 수 있습니다. 뿐만 아니라, 추후에 경로 탐색 기능을 추가할 계획입니다.

3.2 반응형 UI 및 다크모드 지원으로 사용성 개선

스마트폰, 태블릿, 또는 컴퓨터에서도 연속적인 사용자 경험을 전달할 수 있도록 반응형 웹디자인을 적용하였습니다. 또, 더 나아가 다크모드 디자인을 적용하였습니다.

본 프로젝트의 서비스 아키텍처는 크게 4가지로 나눠서 살펴볼 수 있습니다.

1. 데이터 전처리 수행 서버

• 초고해상도 이미지 개선 딥러닝 모델
• 핵심 기능 수행 서버(소형 객체 식별 딥러닝 모델)
• 웹 어플리케이션(프론트엔드와 벡엔드 및 데이터베이스)

2. 핵심 기능 수행 서버

• 소형 객체 식별 딥러닝 모델
• 핵심 기능 수행 서버(소형 객체 식별 딥러닝 모델)
• 웹 어플리케이션(프론트엔드와 벡엔드 및 데이터베이스)

3. 웹 어플리케이션

• 프론트엔드
• 벡엔드
• 데이터베이스

4. 컨테이너화 및 배포 운영

• 프론트엔드
• 벡엔드
• 데이터베이스

본 프로젝트의 AI 아키텍처는 크게 2가지로 나눠서 살펴볼 수 있습니다.

1. 초고해상도 이미지 개선 딥러닝 모델

• 디렉토리 구조

  ESRGAN
  ├── LR                      # Pytorch 모델을 저장하는 폴더입니다.
  │   └── demo.png            # MVP 시연에 사용될 데모 이미지입니다.
  ├── models
  │   ├── ...
  │   └── RRDB_ESRGAN_x4.pth  # 베이스라인 관련 코드입니다.
  ├── ...
  └── results
      └── demo_rlt.png        # 모델링 결과로 출력되는 이미지입니다.
  

• 초기 설치방법

  # setup.sh 파일 만들기.
  # 아래의 쉘스크립트 복사 후 붙여넣기.
  # 터미널에서 setup.sh 실행
  
  git clone https://github.com/xinntao/ESRGAN
  cd ESRGAN
  
  cd models
  wget --load-cookies ~/cookies.txt \
  "https://docs.google.com/uc?export=download&confirm=$(wget \
  --quiet --save-cookies ~/cookies.txt \
  --keep-session-cookies --no-check-certificate \
  'https://docs.google.com/uc?export=download&id=1TPrz5QKd8DHHt1k8SRtm6tMiPjz_Qene' -O- \
  | sed -rn 's/.*confirm=([0-9A-Za-z_]+).*/\1\n/p')&id=1TPrz5QKd8DHHt1k8SRtm6tMiPjz_Qene" -O RRDB_ESRGAN_x4.pth \
  && rm -rf ~/cookies.txt
  cd ..
  
  cd LR
  wget https://raw.githubusercontent.com/ziweek/desirable-sea/main/src/demo.png
  cd ..

• 추론 실행방법

  # 1. 아래의 쉘스크립트 복사 후 터미널에 붙여넣기.
  # 2. 터미널에서 실행하기.
  # 3. 동일 디렉토리 내에서 result-resolution.jpg 파일 확인하기.
  
  python test.py

2. 소형 객체 식별 딥러닝 모델

• 디렉토리 구조

  desirable-sea
  ├── checkpoints  # Pytorch 모델을 저장하는 폴더입니다.
  ├── mmrotate     # 베이스라인 관련 코드입니다.
  │   ├── config
  │   ├── ...
  │   └── demo
  ├── ...
  ├── demo.png     # MVP 시연에 사용될 데모 이미지입니다.
  └── result.jpg   # 모델링 결과로 출력되는 이미지입니다.
  

• 초기 설치방법

  # 1. setup.sh 파일 만들기.
  # 2. 아래의 쉘스크립트 복사 후 붙여넣기.
  # 3. 터미널에서 setup.sh 실행
  
  sudo apt update
  sudo apt -y install libgl1-mesa-glx
  
  wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh
  chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh
  bash ./Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p /usr/local
  which conda
  conda --version
  
  pip install torch==1.7.0+cu110 torchvision==0.8.1+cu110 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
  pip install openmim --use-feature=2020-resolver
  mim install mmcv-full==1.5.3
  mim install mmdet==2.25.1
  
  git clone https://github.com/open-mmlab/mmrotate.git
  cd mmrotate
  pip install -r requirements/build.txt
  pip install -v -e .
  
  cd ..
  
  mkdir checkpoints
  cd checkpoints
  wget https://download.openmmlab.com/mmrotate/v0.1.0/redet/redet_re50_fpn_1x_dota_ms_rr_le90/redet_re50_fpn_1x_dota_ms_rr_le90-fc9217b5.pth
  cd ..
  
  wget https://raw.githubusercontent.com/ziweek/desirable-sea/main/src/demo.png
  

• 추론 실행방법

  # 1. 아래의 쉘스크립트 복사 후 터미널에 붙여넣기.
  # 2. 터미널에서 실행하기.
  # 3. 동일 디렉토리 내에서 result.jpg 파일 확인하기.
  
  python mmrotate/demo/image_demo.py demo.png \
  mmrotate/configs/redet/redet_re50_refpn_1x_dota_ms_rr_le90.py \
  checkpoints/redet_re50_fpn_1x_dota_ms_rr_le90-fc9217b5.pth \
  --out-file result.jpg