국방과학연구소 X 데이콘 미래도전 기술 경진대회

1. 배경

- 공간해상도가 높은 항공기 영상에 비해 위성영상은 공간해상도가 낮아 선박 식별이 어려움

- 민간의 급속한 기술 발전분야의 국방 R&D 적용가능성 파악 및 국내 인공지능 기반 인공위성 선박 인식 알고리즘 개발 저변의 확대

- 고성능 딥러닝 알고리즘의 확보를 통한 개발기간의 단축과 개발비용 감소   

2. 대회 목표

- 인공 위성 영상의 선박 종류를 인식하고 위치를 검출하는 알고리즘 개발

3. Sponsor - 국방과학연구소

4. 데이터

1) 데이터 다운로드

- https://dacon.io/index.php?mid=agreement10 의 참가신청을 완료한 팀에게만 제공

- 참가신청서에 이상이 없을 시, 평일 오전 11시에 팀장의 email로 해당 데이터 다운로드 url 전송

- 참가신청서 오류 확인시 신청 무효화 후 오류 메일 전송

2) 데이터 설명

- 원본 EO 위성영상(16k x 16k)을 전처리하여 가공된 패치(3k x 3k)로 제공

- 라벨: 물체가 위치한 Rotated Bounding Box

- 클래스: 선박 4종(컨테이너/유조선/기타/항공모함)

- 구성

      a) train_40p_w_neg_img

                         - train용 이미지 ( images )

                         - 이미지별 물체의 위치가 기록된 json 파일 ( labels.json )

      b) val_test_w_neg_img

                         - test용 이미지 ( images)

- labels.json 형식(json 파일)

    "properties": {

                   "bounds_imcoords": "11.11111,22.22222,33.33333,44.44444,55.55555,66.66666,77.77777,88.88888",

               //  “bounds_imcoords”: ”point1_x, point1_y, point2_x, point2_y, point3_x, point3_y, point4_x, point4_y”

                   "edited_by": "Ilwon Lee @ SI Analytics",

                   "feature_id": [

                         "3cd627bc8bb5856948f4a00622666c7d12317af10765408b3b7bc51cfcfe912b"

                   ],

                   "image_id": "0.png",

               //  “file_name” : “0.png”

                   "ingest_time": "2019:01:14 20:45:21",

                   "type_id": 4,

               //  “class_id:4

                   "type_name": "maritime vessels"

* 주석 처리된 부분은 제출 파일(csv)에서의 컬럼 이름입니다.

- 제출 파일 형식(csv 파일)

위의 내용을 기반으로 csv 파일로 만들면 다음과 같습니다.

- 제출 파일 형식 : sample_submission.csv

5. 베이스라인 코드 - https://github.com/SIAnalytics/simplified_rbox_cnn

6. 평가

- 평가산식 : mAP

- 평가 소요 시간 : Submit 버튼 클릭 후 1초~1분 소요

- 제출 파일이 오류가 나는 경우

               1. 제출 파일의 row가 3만개 이상일 때(운영상의 문제로 지정)

               2. 제출 파일의 header가 아래의 형식이 아닐 때

                       [ file name , class_ id, confidence , point1_ x , point1 _y , point2_ x , point2_ y , point3_ x , point3_ y , point4 _x , point4_ y ]

               3. 제출 파일의 class_id 중 아래에 포함되지 않는 것이 있을 때

                       [ 1, 2, 3, 4 ]

               4. confidence 중에서 0부터 1까지의 범위를 벗어나는 것이 있을 때

- 평가 과정

A. 임시 랭킹 (Public Score) : 대회 중 test 데이터의 일부로 채점

B. 최종 랭킹 (Private Score) : public score에서 사용하지 않은 test 데이터의 나머지로 채점. 리더보드 운영 기간 중에는 확인할 수 없으며, 대회 종료 이후에 공개

참가자는 Public Score와 모델의 성능을 고려하여 대회 종료 이전까지 제출 파일 중 최대 2개를 선택합니다. 즉, 참가자는 private score를 채점 받고 싶은 제출 파일을 직접 선택해야 합니다. 선택하지 않는 경우, 가장 최신으로 업로드한 파일로 채점됩니다. (1월 중으로 제출 파일 2개 선택 ui 추가 예정)

     private score 기준 상위 팀들에 대해 알고리즘 발표 평가회를 진행하며, 성능과 알고리즘의 독창성을 기반으로 평가합니다.

     (따라서 현재 경진대회 홈페이지 내 “평가 과정”에 Test 이미지를 라벨링하여 제출할 시, 실격처리가 될 수 있습니다)

7. 일정 (UTC+ 9 (한국) 기준)

1) 대회일정 (한국 표준시 기준)

- 참가 신청: ~ 2020년 1월 20일 23:59

- 제출: 2019년 11월 20일 00:01 ~ 2020년 3월 20일 23:59 (UTC+9)

- 알고리즘 발표평가 : 경진대회 종료 후 2주 이내 (추후 공지)

- 결과발표 : 경진대회 종료 후 1개월 이내 (추후 공지)

- 성과발표회/시상 : 2020. 7월 중 (추후 공지)

2) 경진대회용 데이터셋 공개일정 

- 전체 데이터셋 구성 : 학습용 데이터 (70%) + 평가용 데이터 (30%)

- 1차 데이터셋 공개 : 2019. 11월 20일 00:01, 약 70% 데이터셋 공개

  (학습용 영상 및 라벨 : 40%, 평가용 영상 : 30%)

- 2차 데이터셋 공개 : 2020. 1월 20일 00:01, 추가 데이터셋 공개

  (학습용 영상 및 라벨 : 30%)

전체 일정 요약은 다음과 같습니다

8. Prize

- 법률 검토중

9. 개인 및 팀 병합 규정

개인과 팀 규정

- 개인 참가자도 하나의 팀에 해당됩니다. 따라서 팀 관련 규정을 따릅니다.

- 팀은 팀장 포함 최대 5명

- 참가자 복수계정사용/복수팀참여 금지

- 1개 참가팀 당 1개 계정만 사용 가능합니다.

- 참가자 한명이 다수의 팀에 참여할 수 없습니다.

- 랭킹에는 제출한 팀며 대신 계정의 닉네임이 표시됩니다.

팀 외부 아이디어 공유금지

- 팀 외부로 코드나 데이터를 공유할 수 없습니다.

- 팀 외부인원과 공유 및 협력을 금지합니다.

팀 간 합병 금지

- 팀 확정 이후로 팀 간 합병이나 팀원 변경은 불가합니다.

  (단, 대회 신청 기간인 2020년 1월 20일 23:59 까지 dacon@dacon.io에 문의한 건에 한해 변경/ 합병 가능)

제출횟수 제한

- 일일 제출횟수는 최대 5회입니다.

- 최종안 등록 개수는 최대 2개입니다.

10. 대회 규칙

외부 학습데이터 사용금지

- 오직 경진대회용 데이터셋만을 활용해야 합니다. (외부 데이터 활용 금지)

- Pre-trained 모델은 사용 가능하지만 다음과 같은 제약 조건이 있습니다.

  1) 오직 public 데이터만을 활용하여 사전 학습 가능 (in-house 데이터 학습 금지)

  2) public 데이터 중 인공위성 영상 활용 금지

* 평가 시, 사용한 public 데이터는 모든 url과 모델의 아키텍처는 재연이 가능할 정도로 추후 상세히 기술해야 합니다.

저작물에 대한 권리

- 사업의 수행 과정에서 발생하는 지식재산권, 보고서의 판권 등 무형적 결과물은 개별 결과물을 개발자의 소유