- 센서장치
- 카메라 센서
- IMU 센서
- 라이다 센서
- 초음파 센서
- Depth 카메라 센서
카메라 센서
1080P USB 카메라
- 170도 어안렌즈 -> 화면이 휘어지지만 openCV 툴을 사용하여 펼 수 있다.
- CMOS OV2710 Sensor (CCD 카메라가 더 좋긴 하나 비싸고, 전기를 많이 먹는다)
- 120fps (640x480), 30fps (1920x1080) (일반 영화관같은 곳이 24~30fps)
- 빛의 3원색인 RGB를 통해 색을 표현
- 그림/동영상 데이터는 각 1byte(8bit)로 표현
- 3개 bytes를 통해 색을 표현 가능
- full-HD(1920x1080) 화면을 가득 채우는 그림의 크기는 1920x1080 x 3bytes = 6Mytes
흔히 색이 있는 사진을 볼 때, 데이터적으로 보면 흑백으로 표현된 사진이 R/G/B 색을 각가 입혀 이를 다 융합한 것이다.
- 해상도, PPI, 화소수
- 해상도 이름 : 640x480=SD, 1280x720=HD, 1920x1080=FHD, 2560x1640=QHD, 3840x2160=UHD
- PPI: 같은 크기안에 몇개의 화소가 들어있는지
- 화소: 해상도의 가로x세로를 곱한 것으로 rgb 한 묶음의 갯수를 말한다.
카메라 센서의 기능
- 영상 촬영
- 연속된 사진을 찍어 이미지파일로 전송하는 것
- 최대 해상도 : 1920x1080
추가 정보 640x480 사진을 초당 30장이라 가정할 때 1. 파일 크기 : 화소수 (640x480 = 30만 화소) x 3bytes = 사진 1장의 파일 크기는 90만 = 0.9Mbytes = 7.2Mbits 2. 전송속도: 초당 30장 사진찍으므로 1초 동안의 전송 데이터는 0.9M x 30장 = 27Mbytes 3. 전송 속도는 216Mbps, USB 2.0의 최대 속도는 480Mbps, 실제는 그 절반인 240Mbps가 된다. 따라서 전송에 과부하는 없다. 하지만 실제로는 사진을 압축해서 보내기 때문에 더 높은 해상도와 더 많은 프레임 전송이 가능하다. > 그러나 요즘에는 압축 시에는 압축을 또 풀어야 하기 때문에 압축을 하지 않는 추세라고 한다. 테슬라와 같은 회사가 이를 연구하고 있다. - 노출도 (exposure)
- 노출도: 주변 밝기에 따른 이미지 밝기 변화
- 환경에 따라 노출도를 조절하여 사진을 적절하게 찍을 수 있다.
- 자율주행의 경우 사람이 적절하다고 하는 것보다 더 낮게, 어둡게 하는 것이 더 잘 인식한다.
- 자동초점조정 (auto-focus)
- 자율주행 차량에서는 이 자동초점을 하는 시간이 걸리면 위험하므로 안쓰는 것이 좋다. 광폭으로 사용한다.
IMU 센서 (lnertial Measurement Unit sensor)
관성 측정 장치: 가속도계와 회전속도계, 자력계의 조합을 사용하여 어떤 물체(질량)에 가해지는 힘, 회전 각속도 등을 측정하는 장치다.
센서 종류
- 6축 IMU 센서
- 가속도 센서 (Accelerometer) : 직선방향 가속도 감지, 중력가속도 감지
- MEMS(Micro-Electro-Mechanical Systems) 기술로 만들어지는 센서
- 반도체 칩 안에 입체적인 구조물을 만듦
- 이 구조물이 외부의 힘에 따라 움직이는 것을 전기적 신호로 바꾸어 출력
- X,Y,Z축 방향의 직선 움직임과 기울어짐의 자세 파악
- 자이로 센서 (Guroscope) : 회전속도인 각속도를 감지
- MEMS 기술 기반으로 만들어짐
- X,Y,Z축을 기준으로 한 회전 움직임 감지
- x축을 기준으로 회전 -> rolling
- 이동방향에 대해 평행한 축 주위의 회전각을 나타낸다. 차량이 코너링할 때 옆으로 기울어지는 것을 감지
- y축 기준 회전 -> pitching
- 이동 방향에 대해 수직을 이루는 축 주위의 회전각을 나타낸다. 차량이 언덕을 올라가거나 내려가오는 것을 감지할 수 있다.
- z축 기준 회전 -> yawing
- 이동방향에 대해 수직을 이루는 축 주위의 회전각을 나타낸다. 차량의 좌회전/우회전 회전하는 것을 알 수 있다.
- x축을 기준으로 회전 -> rolling
- 가속도 센서 (Accelerometer) : 직선방향 가속도 감지, 중력가속도 감지
- 9축 IMU 센서
- 가속도 센서 (Accelerometer)
- 자이로 센서 (Guroscope)
- 지자계 센서 (Magnetometer) : N,S극 방향 감지, 동서남북 방위각 감지
- 3축 나침반과 같이 방위를 알려주는 디지털 나침반 기능을 한다.
라이다 센서
라이다 센서 종류
1채널 2D 라이다 (0.9 degree, 4000 sampling,0.15m~18m)
- 1채널 : 광선이 1개 나가는 것, 1채널이라는 것은 높이가 1개로만 된다는 것, 위나 아래에 대해서는 인식이 안될 수 있다.
- 0.9 degree : 0.9도씩 광선을 쏜다.
- 0.15m~18m 범위 : 광선의 거리가 0.15cm부터 18m까지 인식이 된다.
1채널 2D 라이다 (0.504 degree, 5000 sampling, 0.12m~12m)
- 1채널
- 0.504 degree : 0.504도씩 광선을 쏜다.
- 0.12~18m :
- 5000Hz : 초당 5000개의 데이터를 받는다.
- motor frequency : 1초에 몇 바퀴 도는지
- resolution : 회전속도에 따라 각도를 정하고, 이 두 개를 곱해서 1초당 얼마나 데이터를 나오는지 알 수 있다.
멀티 채널 라이다
- 위아래로 스캔 가능
- 사람, 차량, 벽, 기둥 인식 가능
라이다와 레이다의 차이
- 레이다(RADAR)
- 전파 신호의 반사파를 이용
- 속도 감지 가능
- 구름 많은 날씨 환경 및 야간에도 손쉽게 작동
- LIDAR보다 더 긴 작동거리를 제공
- 라이다(LIDAR)
- 레이저 신호의 반사파를 이용
- 짧은 주파수로 작은 물체도 감지 가능
- 정확한 3D 단색 이미지 구성
- 라이다로 장애물을 감지할 수 있다.
- x,y 좌표로 변환하여 장애물 위치를 판단하고 진행방향에 장애물이 있으면 정지한다.
- 360도를 1도씩 한다고 하면 360개의 거리값을 array데이터로 만들어 사용하는 것이다.
- 라이다는 극좌표로 값을 받기 때문에 이를 직교좌표계로 바꿔야 한다.
초음파 센서
초음파 (Ultrasonic Wave)
- 인간의 귀가 들을 수 있는 주파수 대역을 가청이라 하는데, 이 가청 주파수 대역보다 높은 진동수로 발생하는 파동을 말한다.
가청 주파수는 사람마다 다르지만, 대체로 20Hz ~ 20kHz
초음파 센서는 초음파를 이용하여 센서로부터 사물까지의 직선거리를 측정한다.
- 초음파센서는 차량에서 전방은 라이다 센서를 사용하기 때문에 전방이 아닌 측/후방에 장착된다.
초음파 센서 동작
- 시그널
- Vcc : 센서 부품에 전력을 공급 (DC 5V) (전기의 +극과 같음)
- GND : 회로의 그라운드에 연결 (전기의 -극과 같음)
- Trig(신호값) : 센서를 동작시키기 위한 트리거 시그널 (입력)
- Echo(신호값) : 거리 츩정 결과를 전달하기 위한 시그널 (출력)
동작 순서
- 송신부에서 초음파를 발사한다.
- 초음파가 물체에서 반사된다.
- 반사된 초음파가 수신부에서 감지된다.
- 송신과 수신 사이의 시간 간격을 기준으로 물체까지의 거리를 계산한다.
구체적인 동작 시나리오 (시작 -> 초음파 발사 및 수신 -> 시간차 출력)
- TRIG 핀에 10us(1x10^-6)동안 5V의 전기 신호를 보낸다.
- 초음파센서가 40kHz 초음파를 여덟 개 만들어서 물체로 보낸다.
- 물체에 반사된 초음파가 되돌아와서 초음파센서에 수신된다.
- 센서는 송신과 수신의 시간차에 비례하는 길이를 echo핀으로 출력한다.
거리 측정
- 소리의 속도는 초당 340m -> 1cm 이동하는데 약 29us 소요
- 송신과 수신의 시간차 = 초음파가 왕복이므로 2를 나누어야 한다.
- 물체까지의 거리 = [(송신과 수신의 시간차 / 2) / 29us ]cm
초음파 센서의 문제점
- 쏜 신호가 흠수되면 수신이 불가능해진다.
- 비스듬하게 쏴서 다른 곳으로 튕겨 나가면 수신이 블가능하다.
- 물체가 너무 작을 때
- 물체가 너무 부드러울 때
DEPTH 카메라
depth 카메라는 stereo 카메라고도 한다.
구성 : 왼쪽 적외선 카메라, 적외선 방출기, 오른쪽 적외선 카메라, RGB컬러 카메라
적외선은 흑백으로 출력되기 때문에 RGB컬러를 입힐 카메라가 더 있다.
거리 측정
적외선 카메라를 2개 사용해서 깊이 즉 거리를 측정한다.
적외선을 통해 얻은 depth 정보와 RGB 정보와 융합해서 3차원 공간에 칼라 이미지를 표시할 수 있다.