YOLO githubs

1. Indra

https://github.com/indra4837/yolov4_trt_ros

원인은 정확히 모르겠으나 필요한 library들의 버전 맞추는 것에 어려움이 있었음 특히 이 파일을 이용할 때 opencv를 까는데 난리가 났다. 용량 부족→이용하려면 sd 마운트 필요

문제점 SD 마운트:

SD에 OS를 올려버리거나(꽤 고생할것으로 보임.. ) OS는 원래 파티션에 그대로 두고 SD에 도커를 설치해야할것으로 보임(권장. 앞으로도 환경설정 계속 필요)

2. jkjung

https://github.com/jkjung-avt/tensorrt_demos

yolo+trt 버전 맞추는 것 성공, SD마운트하지 않고도 video로 받아오는 데 용량 문제 전혀 없었음 ros는 우리가 따로 작성해야 함. 공부할 것: custom msg의 작성, subscribe/publish 하는 코드를 짜야 함

해결할 것: bbox 정제 (mini의 detection 정보만 사용해야함)

문제점 ros:

custom msg로 보낼 BBOX를 정제하는 것이 문제.

BBOX가 깔끔하게 하나로 나오는 경우 형식에 맞춰 딱 보낼 수 있지만 사실 그렇지 않음.

1. BBOX를 ROI안에서 잡히는 것만 취하도록 코드를 짜든가
2. confidence를 아주 높게 만들어서(95%이상) BBOX가 하나만 잡히고 신뢰할 수 있도록 하기(어려울 것으로 보임)
3. SORT를 이용해서 id를 부여하고 tracking하도록 만들기(저번학기 경험상 SORT도 어렵다고 함)

제안

msg를 보내기 전에 정제할 것이 아니라 일단 잡히는 BBOX를 모두 pub filter node를 따로 만들어서 잡히는 BBOX 모두 subscribe && SORT(Kalman Filter + Hungarian Algorithm)은 어렵더라도 filter 아무거나 (ex. kalman) 하나 적용

추후 진행사항 요약

ROS custom msg topic publish/subscribe

ROS custom msg

Bbox purification (mini info)

• 오직 mini의 bbox만을 이용하기 위해 detect된 값 정제 필요
  • bbox 중점, ROI 활용
    • confidence score 임계값 높히기

Depth Estimation