소개
확장성, 사용성, 활용성이 향상되어 QA, 작업 계획 등 다양한 분야에 활용 가능한 세계 최초 그래프 형태의 3차원 환경 모델인 3D Scene Graph
종래 기술의 문제점
- 기존의 이미지/비디오 캡셔닝(Captioning)은 출력이 정형화 되어있지 않아 활용이 어렵고 한 장의 이미지 처리로 제한된 공간에만 적용
- 3D Semantic Segmentation는 물체 간 관계 정보가 부재하여 개별 물체만 인식함
- 2D Scene Graph 는 물체의 물리적 위치 표현 불가로 3차원 공간에 적용할 수 없고 한 장의 이미지 처리로 제한된 공간에만 적용 가능함
본 기술의 특징
- (세계 최초) 3차원 환경의 Graph 형태 요약 모델
- Input: RGB-D video
- Output: 공간 내 물체들 의미와 관계를 그래프로 표현
- 의미 표현(노드): 물체 종류, 물체 특성(색, 크기 등), 3차원 좌표, 썸네일 등
- 관계 표현(엣지): 물체들 간의 관계 (next_to, on, in, have 등 25종)
- 특장점
- 확장성: 계산량/메모리 사용↓
- 사용성: 직관적 그래프 구조
- 활용성: 풍부한 정보 포함
- 작업계획(Task Planning)
- 질의 응답(QA)