동영상을 업로드하면 유창성 장애를 분석해주는 서비스(수다, SUDA)

작성자
bory
작성일
2020-12-29 23:35
조회
508
보리에서 동영상을 업로드하면 유창성 장애를 분석해주는 서비스(수다, SUDA)를 출시하였다.
이 서비스는 말더듬 조기 발견 및 중재를 목표로 하며, 장기간에 걸쳐 아동의 놀이 영상을 수집해서 말더듬 진행상황을 분석하는데 용이하다.

이 서비스는 IONIC Framework를 통해서 개발되었다.
IONIC Framework는 HTML, CSS, JavaScript 같은 Web 기술을 이용하 여 Progressive Web Apps(PWAs), High-performance mobile을 지 원하기 때문에, iOS, ANDROID, WEB 등 다양한 이종 플랫폼에 서 작동되는 하이브리드 앱을 개발할 수 있다

SUDA의 전체 시스템 구성도는 다음과 같다.
스마트폰이나 태블릿 PC에 설치된 앱에서 사용자가 동영상을 녹화하고 전송 버튼을 누르면, 녹화된 파일이 대용량 파일 전송 기능을 통해 클라우드로 전송된다. 본 시스템에서는 스마트폰, 태블릿 PC, 디지털카메라 등으로 녹화된 mp4 동영상 파일 포맷을 사용한다. mp4 확장자의 동영상 파일이 업로드 되면 동영상에서 오디오 데이터만 추출되는데, 추출된 오디오 데이터는 모노 채널 16,000샘플링레이트의 wav 확장자 파일 포맷으로 저장된다.

동영상에 포함된 발화를 추출하기 위해서 내부적으로 다양한 방법이 적용되었다. 대표적으로 Attention model이 성능이 가장 좋았지만, 추론 시간이 14초로 가장 많이 소요되었다. 규칙기반 방법은 0.1초 정도 소요되지만 성능은 Attention model 대비 1/4정도라서, 시간적으로 구애받지 않는다면 Attention model을 적용하는게 효율적이다.
전체 0