정밀지도 객체 분류 및 네트워크를 이용한 교정 최적화 Reading & Summary

 본 논문은 자율주행 시스템에서 안정적으로 차량을 통제할 수 있기 위해서 필요로 하는 환경인식 중 객체 분류에 관한 내용을 다루고 있습니다. 보통 카메라를 이용하여 여러 객체들을 분류하는 YOLO와 같은 딥러닝 알고리즘이 익숙한 사람이 많겠지만, 본 논문은 LiDAR데이터와 카메라 데이터를 융합한 데이터 셋을 이용하여 학습을 진행하는 특징을 갖고 있습니다. 또한 ICP알고리즘을 이용하여 카메라와 LiDAR 캘리브레이션 한 연구내용도 주목하도록 합시다.

 

정밀지도 객체 분류 및 네트워크를 이용한 교정 최적화[1]

강동완 등 4명, 2020

 

---

전체 요약

  이 연구의 목적은 라이다센서와 카메라 센서를 동시에 이용하면서 딥러닝을 이용한 객체 분류와 라이다 센서와 카메라 센서 간 불가피하게 일어나는 오차들을 각 이미지마다 맞춰주어 차량의 환경에 따른 오차를 최소화시키는 연구이다. 결과적으로 가드레일, 점선, 실선, 표지판, 방벽, 연석, 가로 신호등, 세로 신호등 총 8개의 객체 분류를 실시하였고 차선을 제외한 객체 검출률은 50퍼센트의 정확도를 보였다. 

 

키워드

MMS(mobile Mapping System) : 3차원 공간정보 취득 장치. 차량 또는 이동체에 위치측정 및 지형지물 측량을 윟 카메라 LiDAR, GPS, INS, DMI 등의 다양한 센서들을 융합한 측량장치.

UTM 좌표계 : 지구를 경도 6도, 위도 8도의 간격으로 횡축 메카트로 도법을 따라 60*20의 격자로 나눈 좌표계.

IOU (Intersection over Union) : 교집합 영역 넓이 / 합집합 영역 넓이. 보통 학습을 할때 threshold 값을 0.5로 둔다고 한다. 두 박스의 2/3 이 겹칠때 0.5를 가짐[2].

Initial learning rate : 학습 속도는 최소 손실 함수를 향해 이동하면서 각 반복에서 단계 크기를 결정하는 최적화 알고리즘의 튜닝 매개 변수. 초기 학습 속도를 말함.

Momentum : Gradient descent(기울기 하강 방식) 기반의 optimization algorithm(최적화 알고리즘)[3]. 가중치가 감소하던 방향으로 더 많이 변화하게 되는것으로 학습속도에 영향을 준다.

Epoch : 한 번의 epoch는 인공 신경망에서 전체 데이터 셋에 대해 forward pass/backward pass 과정을 거친 것을 말함. 즉, 전체 데이터 셋에 대해 한 번 학습을 완료한 상태[4].

Batchsize : 한 번의 batch마다 주는 데이터 샘플의 size. 여기서 batch(보통 mini-batch라고 표현)는 나눠진 데이터 셋을 뜻하며 iteration는 epoch를 나누어서 실행하는 횟수라고 생각하면 됨[4].

 

관련연구 

   딥러닝을 이용한 4가지 포인트 클라우드 객체 분류 방법 (Object Classification)

1. 2차원 좌표계의 이미지로 투영시켜 기존 영상처리에 사용하던 시스템을 모방한 분류 방법.

2. 좌표계의 차원의 변화보다 차원 데이터의 특성을 유지하며 데이터의 양을 줄이기 위해 voxel을 통해 데이터를 단순화하여 딥러닝에 적용하는 방법.

3. 원본 그대로 딥러닝에 적용하는 방법.

4. 센서간 융합을 통한 방법. 양질의 융합 데이터를 얻기 위해서는 세밀한 교정 방법들이 요구됨.

 

연구의 목적 

  포인트클라우드의 경우 이미지보다 객체 분류에 있어서 부족한 특징을 갖고 있다. 이미지와 포인트 클라우드의 교정을 통해 이미지 분류 결과를 사용하는 pointcloud 분류 방법을 제안. 본 방법을 이용하기 위해서 카메라와 라이다간 교정작업이 필요로 됨.

 

연구 내용 및 실험 방법

1. PointCloud(이하 PC)에서 FOV(Field of View)를 추출하여 카메라와 동일한 FOV를 갖도록 한다.

1.1 이미지와 PC를 모델링하여 교정한다.

1.2 Centroid ICP distance와 photometric loss와 point cloud point loss 2가지 총 3가지 손실함수를 설정, 활용하여 교정을 최적화한다.

2. 이미지 객체 분류 (Image Segmentaion 이용)

3. 교정작업과 분류작업이 실행된 2D 환경에서 본래 갖고있던 데이터의 공간인 3D형식으로 역투 영시 킨다. 

3.1 오차를 최소화시키기 위해 포인트마다 인덱스를 부여.

3.2 이미지 좌표계와 PC좌표계의 오차때문에 노이즈가 많이 발생한다. 따라서 객체들을 군집화하고 데이터의 분류 결과를 투표하여 객체 재분류.

4. 검출된 데이터들을 갖고 최정적으로 관심 객체들로 이루어진 segmentation map과 RGB map을 생성.

 

실험 결과 

1. 교정작업에서 이루어진 카메라와 PC 데이터의 융합 간 오차는 평균적으로 dx 13센티 dy 6센티 정도의 오차를 보였다.

2. 객체 분리 결과 차선을 포함한 객체 검출률은 84%였고, 차선을 제외한 객체 검출률은 50%였다. (연석의 검출률이 1%로 가장 낮았다. 실선과 점선의 경우 약 95% 이상의 검출률을 보인 것과 차이를 보이는데, 그만큼 연석이 특징점을 가장 적게 가짐을 결과론적으로 확인할 수 있다.)

 

검출하고 분류가 완료된 데이터들로만 이루어진 분리지도 생성결과[1]

  위의 사진과 같이 분리지도를 만들게 되면, 정밀지도의 정확도를 가지지만 데이터의 용량이 급격하게 줄어 지도정보에 대한 통신량과 데이터 축적량이 급격하게 줄어 효율을 높일 수 있다.

---

<참고문헌 및 출처>

[1] 강동완 등 4명, 정밀지도 객체 분류 및 네트워크를 이용한 교정 최적화, 제어로봇시스템학회 논문지 제26권 제6호 ,2014 (https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE09351474)

[2] 딥러닝, 패기있게,  https://ballentain.tistory.com/12 (2020.08.03)

[3] [All about], https://light-tree.tistory.com/140 (2020.08.03)

[4] 프로그래밍 학습 블로그, https://m.blog.naver.com/qbxlvnf11/221449297033(2020.08.03)