MR Mania

qtboy.egloos.com


포토로그


빠르고 안정적인 멀티플 타겟 트래킹 (Fast & Robust Multiple Target Tracking) Previous works



이번에 소개할 연구는 한달 전쯤 완성한 따끈따끈한 연구입니다. 제목은 Fast and Robust Multiple Target Tracking 이구요. 동영상에서처럼 이번에 개발한 트래커는 굉장히 빠르구요. 또한 다양한 환경에 안정적입니다. 200개의 타겟을 학습시킨 후 하나의 타겟 트래킹 기준, 640x480영상을 처리하는데 1.6 GHz Atom CPU 에서 14 ms (70 fps), 1.2 GHz Solo CPU 에서 16 ms (60 fps)의 시간이 소요되었습니다. 3.2 GHz CPU 에서 테스트시에는 2.8 ms (357 fps) 정도 밖에 안걸렸습니다. 그리고 저가형 카메라나 타겟의 빠른 움직임 때문에 발생하는 블러링에도 타켓을 놓치지 않고 잘 트래킹합니다. 한 페이지 트래킹 속도가 빠르기 때문에 동시에 여러 개의 타겟을 트래킹시켜봤습니다. 5개의 타겟을 동시에 트래킹한 결과 3.2 GHz CPU에서 60 fps가 나왔습니다.
새로 개발한 트래커는 인식시에는 generic randomized forest와 subregion에 대한 spatial locality를 적용하였고, 트래킹시에는 coarse-to-fine scheme 위에 adaptive keyframe-based tracking과 frame-to-frame tracking 기법을 적용하였습니다.

덧글

  • 테디디노 2010/07/22 15:50 # 삭제 답글

    멋지네요..근데 궁금한게 아무리 60fps, 30fps의 속도가 나와도 캡쳐한 프레임을 처리하는 시간이 걸리면 실제 움직이는 영상에서는 트랙킹을 처리하고 나서 3D를 띄우게 되면 위치 오차가 생길것 같은데 전혀 그런게 없네요..어떻게 구현하면 저렇게 되나요?
  • QTboy 2010/07/22 16:27 # 답글

    우선 연구에 대해서 관심가져주셔서 감사합니다.
    제가 사용한 방식은 카메라 캡쳐, 트래킹, 렌더링 과정이 순차적으로 반복되므로 말씀하신 위치 오차는 발생하지 않습니다. 만약 캡쳐를 계속하면서 그 영상을 배경화면으로 뿌리고 그 중 한 프레임을 잡아서 트래킹을 계산하게 되면, 렌더링 시점에 배경화면 영상은 몇 프레임 지나간 영상이 됩니다. 이때는 싱크가 안맞아서 테디디노님께서 언급하신 위치오차가 발생하게 됩니다.이런 현상은 안드로이드 스마트폰에서 동작하는 증강현실 어플리케이션에서 흔히 보실 수 있습니다.
  • 테디디노 2010/07/23 16:45 # 삭제 답글

    답변 감사합니다. 그런데 캡쳐, 트래킹, 렌더링이 순차적으로 이루어져서 오차가 발생하지 않는다라는게 잘 이해가 되질 않네요. 찾아보니 오차를 안생기게 하기 위해서 캡쳐해서 트래킹을 계산한 이미지를 연산이 끝난후 3D렌더링을 할때 동시에 화면에 뿌려주는 방법이 있던데 이렇게 한다는 말씀이신지요??? 궁금하네요..^^;
  • QTboy 2010/07/24 13:02 # 답글

    그 말씀이 맞습니다.
  • 고양이 2010/08/13 18:10 # 삭제 답글

    결과가 대단하네요. 아직 출판되지 않은 건가요? 논문이 있다면 알려주시면 고맙겠습니다. 아래 댓글에서 언급하신 "markerless visual tracking for augmented books"도 찾을 수가 없던데 어디에 실린 논문인지 알 수 있을까요? 같은 제목으로 찾아보니 Hirose라는 사람이 쓴 논문 밖에 안 나오더군요. ㅜㅜ
  • QTboy 2010/08/16 10:32 # 답글

    연구실 홈페이지 http://mind.kaist.ac.kr/mixedreality.php 에서 접속하셔서 "Markerless Visual Tracking for Augmented Books" 항목의 그림을 누르시면 관련 논문을 보실 수 있습니다. 이 논문은 예전 버전이구요. 가장 최근 버전은 현재 논문심사 중입니다. 논문 심사를 통과하면 이 논문도 올려놓겠습니다.
  • 고양이 2010/08/19 13:45 # 삭제 답글

    오 감사합니다.
  • jsyoo 2010/12/14 14:13 # 삭제 답글

    규성이형 멋져 ㅋㅋㅋ
댓글 입력 영역