센서퓨전(Sensor Fusion)이란?

LiDAR 3D Cuboid 작업유형으로, 라벨링 작업을 진행할 때 동시간 대 촬영된 카메라 이미지를 함께 확인할 수 있는 센서퓨전 기능을 제공합니다. 이때 보여지는 카메라 이미지 뷰어를 RV(Reference Viewer)라 표현합니다.

LiDAR센서와 RV이미지를 촬영하는 카메라는 동일한 위치에서 정보를 수집하지 않으므로 이에 대한 위치와 화각을 조정하는 과정이 필요합니다. 이 오차를 일치시키는 설정값을 'Calibration'값이라 표현합니다.

센서퓨전 기능을 활용하기 위해서는 기존 3D Cuboid 작업 파일에 RV이미지와 Calibration 값(또는 파일)을 추가적으로 업로드하여야 합니다.

센서퓨전 폴더 구조

RV 이미지, RV 이미지에 대한 GT 데이터, 씬 Calibration 데이터는 별도의 폴더구조로 구성되어야 합니다.

__RV__{title} : 작업 대상에 대한 레퍼런스 이미지
__GT__{title} : 레퍼런스 이미지에 대한 GT 데이터
__META__ : 씬 캘리브레이션 정보로 매핑될 데이터
__META__{title} : 프레임 캘리브레이션 정보로 매핑될 데이터
title에 들어갈 수 있는 항목
- front
- rear
- right
- left
- front_right
- front_left
- rear_right
- rear_left
- left_front
- left_rear
- right_front
- right_rear
작업 파일(bin)에 매칭될 RV, GT, META파일은 bin 파일명과 동일해야 합니다.
RV 이미지는 3D Cuboid 작업파일(bin)과 함께 동시에 업로드되어야 적용됩니다.
RV 이미지 확장자는 jpg, png를 지원합니다.

1. RV{title}

작업 대상(프레임)에 대한 레퍼런스 이미지
예: /scene/__RV__front/a.png
- 같은 폴더 내에서 확장자는 동일해야 함

2. GT{title}

레퍼런스 이미지에 대한 GT 데이터
예: /scene/__GT__front/a.json
GT는 에이모 GT 포맷으로 제한
- 필수 항목: filename, parent_path, annotations, attributes
  - 다른 항목 포함되어있을 경우 무시, 형식에 맞지 않을 경우 조회되지 않음
  - annotation type은 bbox, polygon, polysegmentation 유형만 조회
  - filename, parent_path로 매핑 대상 파일을 찾는 것은 아니기 때문에, 업로드한 폴더 구조만 맞으면 매핑에는 문제 없으나 크로스 체크를 위해 추가

json 파일 예시

parent_path, filename 은 매핑될 레퍼런스 이미지 정보 기준

{
	"parent_path": "/scene/__RV__front",
	"filename": "a.png",
	"annotations": [],
	"attributes": {} 
}

3. META

씬 캘리브레이션 정보로 매핑될 데이터
파일 명은 레퍼런스 뷰 이름으로 저장
예: /test/__META__/front.json

json 파일 예시

{
"rv_type" : "front",
"rotations": [0.032833,0.083,-0.009749],
"translations": [0.65757,-0.2875,-0.546727],
"intrinsic_camera_parameters": [2636.504955,2607.765140,1449.383497,945.305018,-0.355957,0.152205,-0.001168,0.002894],
"camera_mode_type": "pinhole",
"type": "type_m"
}

메타 데이터 파일 포맷

Name	Type	Required or not	A note
rotations	Listck:para	O	배열의 길이 3으로 고정
translations	Listck:para	O	배열의 길이 3으로 고정
intrinsic_camera_parameters	Listck:para	O	배열의 길이 8으로 고정
camera_mode_type	String	X	pinhole, fisheye 중 택 1 존재 하지 않을 경우 pinhole로 저장
type	String	X	Standard, type_m, remote 중 택 1 존재 하지 않을 경우 standard로 저장

4. META{title}

프레임 캘리브레이션 정보로 매핑될 데이터
파일 명은 매핑될 프레임명으로 저장.
- test.bin ↔ test.json
예: /scene/__META__front/a.json

센서퓨전 활성화하기

센서퓨전 활성화
라벨링 설정 메뉴의 스튜디오 설정 탭으로 이동하여 센서퓨전 활성화를 선택하면 센서퓨전 기능이 활성화됩니다.

캘리브레이션 공통 설정
프로젝트 내 모든 씬파일에 공통으로 적용되는 캘리브레이션 값을 설정합니다. 씬파일 또는 프레임 별 캘리브레이션 값이 업로드된다면 공통 캘리브레이션 값보다 우선 적용됩니다.

캘리브레이션 공통 설정 시
remoteUrl을 카메라 종류에 따라 아래와 같이 입력해야 합니다.

Lidar To Cam, Cuboid, Pinhole 카메라
remoteUrl: https://saas-dp-api.bluewhale.team/sensor-fusion/lidar-to-camera/cuboid/pinhole
Lidar To Cam, Cuboid, Fisheye 카메라
remoteUrl: https://saas-dp-api.bluewhale.team/sensor-fusion/lidar-to-camera/cuboid/fisheye

다른 질문이 있으신가요? help@aimmo.ai으로 문의주세요.

센서퓨전(Sensor Fusion)이란?

센서퓨전 폴더 구조

1. __RV__{title}

2. __GT__{title}