STATERA Library · Series 02 · Volume 03 · Chapter 01 · KR
Source: https://github.com/Statera-Library/02_Vol_03_AMR_Sensors_and_Perception/blob/main/01_Robot_Perception_Overview/01_Robot_Perception_Overview_KR.md

Volume 03. AMR Sensors and Perception

Chapter 01. Robot Perception Overview

01.1 Perception Functions in AMR

인지(Perception)는 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 의사결정을 수행하거나 물리적인 동작을 실행하기 전에 주변 환경을 관찰하고, 해석하며, 이해할 수 있도록 하는 일련의 과정이다. 센서(Sensor)는 영상, 거리, 속도, 온도 또는 관성 데이터와 같은 원시 측정값(Raw Measurement)을 제공하지만, 인지 시스템은 이러한 서로 다른 신호를 의미 있는 환경 정보(Environmental Knowledge)로 변환하여 상위 수준의 위치추정(Localization), 경로계획(Planning), 자율주행(Navigation), 제어(Control) 모듈이 활용할 수 있도록 한다. 실제 AMR 시스템에서 인지는 자율지능(Autonomous Intelligence) 파이프라인(Pipeline)의 첫 번째 단계이며, 이후의 모든 기능은 인지 시스템이 생성하는 정보의 품질, 신뢰성 및 실시간성에 크게 의존한다. 환경을 잘못 해석하면 오류가 자율주행 스택(Stack) 전체로 전파되어 주행 오류, 안전사고, 임무 실패 또는 장비 손상으로 이어질 수 있다. 따라서 인지는 단순한 센싱(Sensing)이 아니라, 물리적인 관측값을 행동 가능한 디지털 환경 표현으로 지속적으로 변환하는 지능적인 해석 과정이다.

전통적인 산업 자동화는 환경이 비교적 고정되고 예측 가능했지만, 현대의 AMR은 작업자, 지게차(Forklift), 차량(Vehicle), 팔레트(Pallet), 설비(Equipment), 문(Door), 엘리베이터(Elevator), 조명 변화 및 임시 장애물이 존재하는 동적인 공간에서 운용되는 경우가 점점 많아지고 있다. 따라서 로봇은 정적인 구조물뿐 아니라 지속적으로 변화하는 환경의 상태까지 인식해야 한다. 이를 위해 인지 시스템은 객체를 식별하고, 의미를 분류하며, 위치를 추정하고, 움직임을 추적하며, 미래의 행동까지 예측해야 한다. 예를 들어 창고 통로를 걸어가는 작업자는 단순한 장애물(Obstacle)이 아니라 사람(Human)으로 인식되어야 하며, 보행 방향과 속도를 추정하고 충돌 가능성을 평가하여 자율주행 시스템이 안전하면서도 효율적인 회피 경로를 선택할 수 있도록 충분한 정보를 제공해야 한다.

인지 기능 중 가장 기본적인 요소는 환경 센싱(Environmental Sensing)이다. 모든 AMR은 여러 종류의 센서를 이용하여 주변 환경 정보를 수집하며, 각 센서는 서로 다른 물리적 특성을 측정한다. 라이다(LiDAR)는 거리와 형상을 측정하고, 카메라(Camera)는 시각 정보를 획득하며, 깊이 카메라(Depth Camera)는 3차원 구조를 생성한다. 레이더(Radar)는 악천후에서도 물체를 감지하고, 초음파 센서(Ultrasonic Sensor)는 근거리 장애물을 측정한다. GNSS(Global Navigation Satellite System)는 실외 위치를 제공하며, IMU(Inertial Measurement Unit)는 가속도와 회전 운동을 측정한다. 각 센서는 장점과 한계를 동시에 가지며, 카메라는 풍부한 의미 정보를 제공하지만 조명 변화에 민감하고, 라이다는 정확한 기하학 정보를 제공하지만 객체 종류를 직접 구분하지 못한다. 레이더는 비나 안개 속에서도 안정적으로 동작하지만 공간 해상도가 상대적으로 낮다. 따라서 효과적인 인지는 서로 다른 센서의 상호보완적인 정보를 함께 활용하는 것에서 시작된다.

원시 센서 데이터(Raw Sensor Data)는 그대로는 거의 의미를 가지지 못한다. 의미 있는 환경 해석을 수행하기 위해서는 먼저 다양한 전처리(Preprocessing) 과정이 필요하다. 영상 데이터는 렌즈 왜곡 보정(Lens Distortion Correction), 색상 정규화(Color Normalization), 노출 보정(Exposure Adjustment), 잡음 제거(Noise Reduction), 영상 정렬(Rectification) 등을 수행한다. 라이다 데이터는 잘못된 측정값 제거, 고립된 포인트(Point) 제거, 이동 중 발생하는 왜곡(Motion Distortion) 보정 및 계산 효율을 위한 점군(Point Cloud) 구조화 과정을 거친다. 레이더 데이터는 도플러(Doppler) 처리와 잡음 제거가 수행되며, IMU 데이터는 바이어스(Bias) 추정과 필터링(Filter) 과정을 거친다. 또한 시간 동기화(Time Synchronization)를 통해 서로 다른 주기로 동작하는 센서들의 데이터가 동일한 시점을 기준으로 정렬되어 이후의 인지 알고리즘에서 일관성 있게 활용될 수 있도록 한다.

전처리 이후에는 특징 추출(Feature Extraction)이 수행된다. 특징 추출은 시점(Viewpoint), 조명(Illumination), 크기(Scale) 변화에도 비교적 안정적으로 유지되는 중요한 정보를 찾아내는 과정이다. 영상에서는 코너(Corner), 에지(Edge), 텍스처(Texture), 키포인트(Keypoint), 또는 심층학습(Deep Learning)을 통해 학습된 특징 표현이 사용된다. 라이다에서는 평면(Plane), 모서리(Edge), 코너 및 기하학적 불연속성이 중요한 특징이 된다. 시간적인 변화는 객체의 움직임과 궤적(Trajectory)을 표현하는 특징으로 활용된다. 이러한 특징들은 위치추정(Localization), 지도작성(Mapping), 객체 인식(Object Recognition), 장면 이해(Scene Understanding)의 기반이 된다. 최근에는 사람이 설계한 특징보다 신경망이 스스로 학습한 특징 표현이 더욱 널리 사용되면서 다양한 환경에서도 높은 강인성(Robustness)을 확보하고 있다.

객체 검출(Object Detection)은 인지 시스템의 핵심 기능 중 하나이다. 인지 시스템은 단순히 픽셀(Pixel)이나 점군(Point Cloud)을 처리하는 것이 아니라, 환경 속에 존재하는 의미 있는 객체를 식별한다. 산업용 AMR은 작업자, 지게차, 팔레트, 이동형 로봇, 컨베이어 시스템, 산업 설비, 안전 펜스, 적재 구역, 교통 콘(Traffic Cone), 선반(Rack), 예기치 않은 장애물 등을 인식해야 한다. 최신 객체 검출기는 객체의 종류뿐 아니라 바운딩 박스(Bounding Box), 분할 마스크(Segmentation Mask), 또는 3차원 형상 정보를 이용하여 위치까지 함께 추정한다. 안정적인 객체 검출은 안전한 자율주행, 물류 자동화, 재고 관리, 협업 로봇(Human-Robot Collaboration) 및 지능형 작업 수행의 핵심 기반이 된다. 또한 조명 변화, 가림(Occlusion), 다양한 방향, 계절 변화 및 센서 노이즈가 존재하는 실제 환경에서도 높은 성능을 유지해야 한다.

객체를 한 번 검출하는 것만으로는 충분하지 않다. 객체는 지속적으로 이동하기 때문에 객체 추적(Object Tracking)이 함께 수행되어야 한다. 추적은 새로운 관측값을 이전에 관찰된 객체와 연결하여 동일한 객체의 식별자(ID)를 유지하고, 이동 경로를 추정하며, 미래 위치를 예측하고, 일시적으로 시야에서 사라진 경우에도 동일 객체로 다시 연결하는 역할을 수행한다. 특히 창고, 공장, 병원, 공항, 물류센터처럼 여러 이동체가 동시에 존재하는 환경에서는 다중 객체 추적(Multi-Object Tracking)이 매우 중요하다. 안정적인 추적은 움직임 예측(Motion Prediction), 행동 분석(Behavior Analysis), 충돌 위험 평가(Collision Risk Assessment) 및 장기적인 환경 이해를 가능하게 하며, 불필요한 급제동이나 불안정한 주행을 줄이는 데에도 중요한 역할을 한다.

장면 이해(Scene Understanding)는 개별 객체를 인식하는 수준을 넘어 환경 전체를 하나의 의미 있는 공간으로 해석하는 과정이다. 로봇은 각각의 객체뿐 아니라 객체들 간의 공간적 관계와 기능적 의미를 함께 이해해야 한다. 복도(Hallway)는 창고 통로와 다르고, 보행자 구역은 적재 구역과 다르며, 비상구는 일반 출입구와 다른 의미를 가진다. 의미론적 분할(Semantic Segmentation)은 영상이나 공간의 모든 영역에 바닥(Floor), 벽(Wall), 도로(Road), 식생(Vegetation), 산업 설비, 선반, 차량, 사람 등과 같은 의미를 부여한다. 이러한 정보는 자율주행 시스템이 단순히 장애물을 피하는 수준을 넘어 상황(Context)을 이해하고 적절한 주행 전략을 선택할 수 있도록 지원한다.

자유 공간 추정(Free Space Estimation)은 안전한 자율주행을 위해 반드시 필요한 인지 기능이다. 자율주행은 장애물을 인식하는 것뿐 아니라 실제로 이동 가능한 공간을 정확하게 판단하는 것이 핵심이기 때문이다. 자유 공간 검출(Free Space Detection)은 라이다, 깊이 카메라, 스테레오 비전(Stereo Vision), 레이더 및 의미론적 분할 결과를 결합하여 주행 가능한 영역과 점유된 영역을 구분한다. 이렇게 생성된 점유 지도(Occupancy Map) 또는 주행 가능 지도(Traversability Map)는 지역 경로계획(Local Path Planning)과 장애물 회피(Obstacle Avoidance)의 직접적인 입력 데이터가 된다. 실외 AMR은 여기에 노면의 거칠기(Roughness), 경사(Slope), 자갈, 진흙, 눈, 물 고임 등의 조건까지 평가하여 실제 주행 가능 여부를 판단해야 한다.

깊이 추정(Depth Estimation)과 3차원 재구성(3D Reconstruction)은 AMR이 단순한 2차원 영상이 아니라 실제 공간 구조를 이해할 수 있도록 한다. 3차원 인지(3D Perception)는 객체의 크기, 위치, 표면 형상 및 주변 공간 구조를 추정한다. 라이다나 스테레오 카메라가 생성한 점군은 장애물 검출, 물체 조작, 지도 작성 및 자율주행에 활용되는 공간 표현을 제공한다. 최신 시스템은 복셀 맵(Voxel Map), 점유 격자(Occupancy Grid), 메쉬(Mesh) 또는 신경망 기반 공간 표현을 구축하여 계산 효율성과 환경 표현 능력을 동시에 향상시키고 있다. 특히 건설 현장, 항만, 농업, 산악 지형과 같이 높이 변화가 큰 환경에서는 3차원 인지가 차량의 안정성과 이동 가능성을 판단하는 핵심 요소가 된다.

인지 시스템은 위치추정(Localization)에도 중요한 정보를 제공한다. 로봇은 환경 속의 랜드마크(Landmark), 라이다 특징, 시각 특징, GNSS 측정값, IMU 및 휠 오도메트리(Wheel Odometry)를 이용하여 자신의 위치와 자세(Pose)를 지속적으로 추정한다. 위치추정 알고리즘이 실제 계산을 수행하지만, 그 정확도는 인지 시스템이 제공하는 특징의 품질에 크게 의존한다. 특징 추출 오류, 잘못된 객체 연결 또는 센서 품질 저하는 위치추정 성능을 직접적으로 저하시킨다. 따라서 인지와 위치추정은 서로 독립된 기능이 아니라 긴밀하게 결합된 시스템으로 동작하며, 지도작성(Mapping)과도 지속적으로 상호작용하면서 장기간 안정적인 위치추정을 유지한다.

현대의 인지 시스템은 단일 센서만으로는 충분하지 않기 때문에 다중 센서 융합(Multi-Sensor Fusion)을 적극적으로 활용한다. 카메라는 어두운 환경에서 성능이 저하되고, 라이다는 강우나 강설 환경에서 영향을 받으며, 레이더는 공간 해상도가 낮고, GNSS는 실내나 고층 건물 주변에서 정확도가 크게 감소한다. 센서 융합은 이러한 개별 센서의 한계를 상호 보완하여 정확성(Accuracy), 강인성(Robustness), 신뢰성(Reliability) 및 안전성(Safety)을 향상시킨다. 융합은 원시 데이터(Raw Data), 특징(Feature), 객체(Object) 또는 의사결정(Decision) 수준에서 수행될 수 있으며, 시스템 구조와 계산 자원에 따라 적절한 방식이 선택된다. 안전이 중요한 산업용 AMR에서는 센서 융합이 필수적인 핵심 기술로 자리 잡고 있다.

실시간성(Real-Time Operation)은 AMR 인지 시스템의 가장 중요한 요구사항 중 하나이다. 산업용 로봇은 이동하면서 동시에 주변 환경을 지속적으로 인식해야 하므로 대용량 센서 데이터를 매우 짧은 시간 안에 처리해야 한다. 처리 지연(Latency)은 제동 거리, 충돌 회피 능력 및 전체 자율주행 안정성에 직접적인 영향을 미친다. 고해상도 카메라, 다채널 라이다, 레이더 및 AI 추론(Inference)은 매우 큰 계산량을 요구하므로 GPU(Graphics Processing Unit) 가속, 병렬 처리(Parallel Processing), 최적화된 신경망(Neural Network) 및 결정론적(Deterministic) 소프트웨어 구조가 필수적이다. 따라서 인지 시스템 설계에서는 정확도와 계산 효율성 사이의 균형을 유지하는 것이 매우 중요한 공학적 과제가 된다.

궁극적으로 인지는 로봇이 물리적인 세계를 이해하는 가장 중요한 관문이다. 위치추정, 지도작성, 경로계획, 자율주행, 물체 조작, 플릿 관리(Fleet Management), 검사(Inspection), 사람-로봇 협업(Human-Robot Collaboration) 등 모든 자율 기능은 정확한 환경 이해에서 시작된다. 인공지능(AI)이 발전함에 따라 인지는 단순한 객체 인식 기술에서 벗어나 장면 추론(Scene Reasoning), 멀티모달 세계 모델(Multimodal World Model), 미래 상황 예측(Predictive Environmental Intelligence)으로 빠르게 발전하고 있다. 미래의 AMR은 환경을 단순히 관찰하는 수준을 넘어 사람의 의도(Intention)를 이해하고, 환경 변화를 예측하며, 의미적 관계(Semantic Relationship)를 학습하고, 지속적으로 진화하는 내부 세계 모델(World Model)을 구축하게 될 것이다. 이러한 차세대 인지 시스템은 단순한 센서 처리 기술이 아니라 구현형 인공지능(Embodied AI)의 핵심 기반으로서, 다양한 산업과 공공 환경에서 더욱 안전하고 효율적이며 지능적인 자율 로봇을 실현하는 중심 기술이 될 것이다.

01.2 Sensor Modalities

센서 모달리티(Sensor Modality)는 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 자신과 주변 환경을 관찰하기 위해 사용하는 서로 다른 물리적 측정 방식(Physical Sensing Mechanism)을 의미한다. 각각의 모달리티는 빛(Light), 거리(Distance), 움직임(Motion), 온도(Temperature), 소리(Sound), 전자기파 반사(Electromagnetic Reflection), 위성 위치 정보(Satellite Position) 등 서로 다른 물리량을 측정한다. 하나의 센서만으로는 모든 환경에서 완전하고 신뢰성 있는 정보를 제공할 수 없기 때문에, AMR의 인지 시스템(Perception System)은 여러 센서 모달리티를 함께 사용하여 상호 보완적인 정보를 획득한다. 어떤 센서를 선택하느냐에 따라 자율주행 정확도, 장애물 검출 성능, 안전성, 환경 적응성, 계산량 및 전체 시스템 비용이 크게 달라진다.

카메라(Camera)는 사람의 시각과 가장 유사한 정보를 제공하는 대표적인 센서 모달리티이다. RGB 카메라는 색상(Color), 질감(Texture), 모서리(Edge), 형상(Shape), 표식(Marking), 사람(Person), 차량(Vehicle), 그리고 물체의 외형(Appearance)을 기록한다. 이러한 특성 덕분에 카메라는 객체 검출(Object Detection), 의미론적 분할(Semantic Segmentation), 바코드 인식(Barcode Recognition), 비전 검사(Visual Inspection), 사람-로봇 상호작용(Human-Robot Interaction) 등에 매우 효과적이다. 그러나 카메라는 조명(Illumination), 노출(Exposure), 렌즈 상태 및 영상 품질에 크게 의존한다. 그림자, 눈부심, 어두운 환경, 모션 블러(Motion Blur), 역광, 렌즈 오염 및 악천후는 카메라 성능을 크게 저하시킬 수 있으므로 적절한 설치, 보정(Calibration), 전처리(Preprocessing) 및 추가 조명이 필요하다.

단안 카메라(Monocular Camera)는 하나의 렌즈만 사용하는 구조로 크기가 작고 가격이 저렴하며 설치가 간단하다. 객체 인식, 비전 기반 위치추정(Visual Localization), 차선 또는 바닥 마킹 검출, 의미 기반 환경 이해 등에 널리 활용된다. 그러나 단안 카메라는 거리 정보를 직접 측정하지 못하는 근본적인 한계를 가진다. 움직임, 물체 크기, 원근감(Perspective), 인공지능(AI) 모델 등을 이용하여 깊이(Depth)를 추정할 수는 있지만, 전용 거리 센서만큼 정확하지 않을 수 있다. 따라서 안전이 중요한 자율주행에서는 라이다(LiDAR), 레이더(Radar), 오도메트리(Odometry) 등과 함께 사용하는 경우가 대부분이다.

스테레오 카메라(Stereo Camera)는 두 개의 렌즈를 이용하여 시차(Disparity)를 계산하고 이를 통해 깊이를 추정한다. 서로 다른 두 영상에서 동일한 특징점을 비교하여 3차원 공간 정보를 복원하며, 깊이 맵(Depth Map) 또는 점군(Point Cloud)을 생성할 수 있다. 이러한 특성은 장애물 검출, 지형 분석(Terrain Analysis), 로봇 조작(Manipulation), 도킹(Docking), 근거리 자율주행에 매우 유용하다. 그러나 성능은 렌즈 간 거리(Baseline), 카메라 보정 상태, 영상의 질감(Texture), 조명 및 계산 자원에 크게 영향을 받는다. 질감이 부족한 표면, 반복되는 무늬, 강한 반사, 어두운 환경 및 먼 거리에서는 깊이 추정 정확도가 떨어질 수 있다.

깊이 카메라(Depth Camera)는 스테레오 비전(Stereo Vision), 구조광(Structured Light), 또는 비행시간(Time-of-Flight, ToF) 기술을 이용하여 거리 정보를 직접 생성한다. 구조광 카메라는 적외선 패턴을 투사하고 변형 정도를 분석하며, ToF 카메라는 빛의 왕복 시간 또는 위상 차이를 이용하여 거리를 계산한다. 이러한 센서는 조밀한 깊이 맵(Dense Depth Map)을 생성하여 근거리 장애물 검출, 물체 크기 측정, 가장자리 인식 및 로봇 조작에 적합하다. 소형이며 설치가 간편하여 실내 AMR에서 널리 활용된다. 그러나 강한 햇빛, 반사체, 투명 물체, 다중 반사(Multipath), 짧은 측정 거리 및 여러 장치 간 적외선 간섭은 성능을 저하시킬 수 있다.

2차원 라이다(2D LiDAR)는 수평 방향으로 레이저를 스캔하여 주변까지의 거리를 매우 정확하게 측정하는 센서이다. 레이저 펄스를 방출한 후 반사되어 돌아오는 시간을 측정하여 거리 정보를 계산한다. 생성된 스캔 데이터는 벽, 선반(Rack), 기계, 팔레트, 작업자 다리 및 다양한 장애물을 표현한다. 2D 라이다는 위치추정(Localization), 지도작성(Mapping), 장애물 검출 및 보호 영역(Protective Field) 감시에 널리 사용되며 계산량도 비교적 적다. 하지만 장애물이 스캔 평면보다 높거나 낮은 위치에 존재하는 경우에는 이를 인식하지 못할 수 있다. 예를 들어 매달린 구조물, 테이블 상판, 낮은 턱, 포크(Fork), 케이블 등은 검출되지 않을 가능성이 있다.

안전 라이다(Safety LiDAR)는 기능 안전(Functional Safety)을 목적으로 설계된 특수한 레이저 스캐너이다. 로봇 주변의 경고 영역(Warning Zone)과 보호 영역(Protective Zone)을 지속적으로 감시하며, 사람이 접근하거나 장애물이 침입하면 속도를 줄이거나 즉시 비상 정지(Emergency Stop)를 수행한다. 일반 인지용 센서와 달리 엄격한 신뢰성, 자기 진단(Diagnostics), 고장 검출(Fault Detection) 및 응답 시간(Response Time) 요구사항을 만족해야 한다. 또한 AI 기반 인지 시스템과 독립적으로 동작하여 결정론적(Deterministic) 안전 계층(Safety Layer)을 제공한다. 그러나 하나의 수평 스캐너만으로는 모든 형태의 장애물을 감지할 수 없기 때문에 실제 산업용 시스템에서는 카메라, 초음파 센서, 범퍼(Bumper), 3D 라이다 등을 함께 사용한다.

3차원 라이다(3D LiDAR)는 여러 개의 수직 채널(Channel)을 이용하여 공간 전체를 스캔하고 3차원 점군(Point Cloud)을 생성한다. 이를 통해 다양한 높이에 존재하는 장애물을 검출하고, 지형 형상, 경사(Slope), 돌출 구조물(Overhang), 그리고 복잡한 환경을 정밀하게 분석할 수 있다. 3D 라이다는 실외 자율주행 로봇, 대형 AMR, 건설 로봇, 자율주행 차량 및 검사 로봇에서 매우 중요한 센서이다. 성능은 채널 수, 각도 해상도(Angular Resolution), 스캔 속도, 측정 거리, 반사율 및 방수 성능 등에 의해 결정된다. 그러나 높은 비용, 많은 데이터량, 복잡한 보정 과정, 비·안개·먼지 및 반사체에 대한 민감성은 고려해야 할 중요한 요소이다.

레이더(Radar)는 전파(Radio Wave)를 송신하고 반사되는 신호를 분석하여 물체를 인식하는 센서이다. 특히 밀리미터파 레이더(Millimeter-Wave Radar)는 거리(Range), 상대 속도(Relative Velocity), 경우에 따라 방향(Angle)까지 동시에 추정할 수 있다. 비, 안개, 먼지, 연기, 야간 및 강한 햇빛에서도 비교적 안정적으로 동작하며, 도플러(Doppler) 정보를 이용하여 이동하는 물체를 효과적으로 검출할 수 있다. 반면 공간 해상도가 낮고, 다중 반사(Multipath), 허상(Ghost Target), 가까운 물체 분리의 어려움, 의미 정보 부족 등의 한계를 가진다. 따라서 실제 시스템에서는 카메라나 라이다와 함께 센서 융합(Sensor Fusion) 형태로 사용하는 경우가 많다.

초음파 센서(Ultrasonic Sensor)는 초음파의 반사 시간을 이용하여 근거리의 거리를 측정한다. 가격이 저렴하고 크기가 작으며 저속 주행, 도킹(Docking), 주차(Parking), 벽 추종(Wall Following), 사각지대(Blind Zone) 감시에 매우 효과적이다. 넓은 평면에서는 안정적으로 동작하지만, 부드러운 재질, 경사진 표면, 작은 물체, 공기 흐름, 환경 소음 및 인접 센서 간 간섭은 성능을 저하시킬 수 있다. 또한 초음파의 빔 폭(Beam Width)이 넓기 때문에 정확한 물체 형상이나 위치를 추정하기에는 적합하지 않다. 그럼에도 불구하고 카메라나 라이다의 사각지대를 보완하는 근거리 안전 센서로 매우 널리 활용된다.

적외선 근접 센서(Infrared Proximity Sensor)는 적외선의 반사를 이용하여 매우 가까운 거리의 물체를 검출한다. 주로 근접 감지(Presence Detection), 가장자리 검출(Edge Detection), 도킹 정렬 및 단순 충돌 방지 기능에 사용된다. 크기가 작고 가격이 저렴하지만, 물체의 색상, 반사율, 표면 각도, 주변 조명 및 렌즈 오염 등에 따라 성능이 크게 달라질 수 있다. 따라서 고성능 AMR의 주 센서로 사용되지는 않지만, 저전력과 간단한 구조가 필요한 국부적인 기능에서는 여전히 유용하게 활용된다.

열화상 카메라(Thermal Camera)는 물체에서 방출되는 적외선 복사(Infrared Radiation)를 측정하여 온도 차이를 영상으로 표현한다. 사람, 화재, 과열된 장비, 전기 설비의 이상, 저조도 환경의 작업자 등을 효과적으로 검출할 수 있다. 따라서 순찰 로봇, 산업 검사, 화재 예방, 야간 감시 및 사람 검출에 매우 유용하다. RGB 카메라와 달리 가시광선에 의존하지 않지만, 영상의 질감이 부족하며 유리, 반사체, 주변 온도 및 물체의 방사율(Emissivity)에 따라 해석이 달라질 수 있다. 정확한 온도 측정을 위해서는 별도의 보정이 필요하다.

GNSS(Global Navigation Satellite System)는 위성 신호를 이용하여 실외 위치를 측정하는 센서이다. 일반 GNSS는 수 미터 수준의 정확도를 제공하지만, RTK(Real-Time Kinematic)를 적용하면 보정 정보를 이용하여 수 센티미터 수준까지 정확도를 향상시킬 수 있다. GNSS는 항만, 농업, 공항, 도로 및 대규모 산업 현장에서 운용되는 실외 AMR의 핵심 센서이다. 또한 이중 안테나(Dual Antenna)를 이용하면 정지 상태에서도 차량의 방향(Heading)을 계산할 수 있다. 그러나 건물, 터널, 나무, 실내 공간, 전파 간섭 및 다중 반사(Multipath)는 정확도를 크게 떨어뜨리므로 IMU, 휠 오도메트리, 라이다 또는 비전 기반 위치추정과 함께 사용된다.

관성측정장치(IMU, Inertial Measurement Unit)는 선형 가속도(Linear Acceleration)와 각속도(Angular Velocity)를 측정하며 경우에 따라 자기장 센서(Magnetometer)도 포함한다. IMU는 로봇의 움직임, 자세 변화, 진동 및 동적 상태를 매우 높은 주기로 측정한다. 이를 통해 자세 안정화(Stabilization), 데드 레커닝(Dead Reckoning), 위치추정, 지형 분석 및 카메라·라이다의 움직임 보정을 수행할 수 있다. 외부 센서가 일시적으로 동작하지 않아도 정보를 제공할 수 있다는 장점이 있지만, 시간이 지날수록 드리프트(Drift)가 누적되는 문제가 있다. 이러한 오차는 노이즈, 바이어스, 온도 변화 및 적분 오차에 의해 발생하므로 다른 센서와의 융합이 반드시 필요하다.

휠 엔코더(Wheel Encoder)는 바퀴의 회전량을 측정하여 휠 오도메트리(Wheel Odometry)를 생성한다. 이를 통해 이동 거리, 속도 및 방향 변화를 추정할 수 있으며 속도 제어, 위치 예측, 경로 추종 및 저수준 제어에 널리 활용된다. 그러나 휠 회전과 실제 이동 거리가 항상 일치한다고 가정하기 때문에 미끄러짐(Slip), 거친 지형, 타이어 변형, 마모, 적재 중량 변화 및 충돌이 발생하면 오차가 급격히 증가할 수 있다. 특히 전방향 이동(Omnidirectional) 플랫폼이나 스키드 조향(Skid-Steer) 차량에서는 측면 미끄러짐으로 인해 정확도가 더욱 낮아질 수 있다.

모터 전류(Motor Current), 토크(Torque), 조향각(Steering Angle), 서스펜션 위치(Suspension Position), 브레이크 상태 및 배터리 정보도 내부 상태를 인식하는 자기 인지(Proprioceptive Sensing)의 중요한 센서 모달리티이다. 이러한 센서는 외부 환경을 직접 측정하지는 않지만 로봇 내부의 기계적 상태를 지속적으로 모니터링한다. 이를 통해 바퀴 잠김, 과부하, 액추에이터 고장, 예상치 못한 저항, 노면 미끄러짐, 과열 및 배터리 이상을 조기에 감지할 수 있다. 내부 상태 인지는 상태 모니터링(Health Monitoring), 예측 유지보수(Predictive Maintenance), 안전 제어 및 고장 진단에 매우 중요한 역할을 한다.

마이크(Microphone)와 음향 센서(Acoustic Sensor)는 소리를 이용하여 환경 정보를 획득한다. 경보음, 사이렌, 이상 소음, 사람의 음성, 충격, 베어링 고장, 누설음 및 다양한 환경 이벤트를 감지할 수 있다. 여러 개의 마이크를 이용한 마이크 어레이(Microphone Array)는 소리의 발생 방향까지 추정할 수 있으며, 인공지능을 이용하여 다양한 음향 이벤트를 분류할 수도 있다. 이러한 기능은 순찰 로봇, 산업 검사, 사람과의 상호작용 및 예측 유지보수에 유용하지만, 주변 소음, 반향(Echo), 바람, 진동 및 개인정보 보호 문제를 고려해야 한다. 따라서 음향 센서는 일반적으로 주행 센서가 아니라 보조 센서로 활용된다.

촉각 센서(Tactile Sensor)와 접촉 센서(Contact Sensor)는 로봇과 환경이 실제로 접촉했는지를 측정한다. 범퍼(Bumper), 힘 센서(Force Sensor), 압력 스위치(Pressure Switch), 로드셀(Load Cell), 토크 센서 등이 이에 해당한다. 이러한 센서는 충돌 발생 여부를 확인하거나 접촉력을 측정하고, 화물 적재 또는 도킹 상태를 확인하는 데 사용된다. 비접촉 센서를 대체할 수는 없지만, 다른 센서가 실패한 경우 최종 안전 계층으로 매우 중요한 역할을 수행한다. 특히 산업용 AMR에서는 기계식 범퍼가 가장 신뢰성이 높은 최후의 충돌 감지 장치로 널리 사용된다.

센서 선택은 최신 기술을 적용하는 것보다 실제 운용 환경에 적합한지를 기준으로 이루어져야 한다. 실내 물류 로봇은 2D 라이다, 깊이 카메라, 휠 오도메트리 및 안전 라이다를 중심으로 구성되는 경우가 많다. 반면 실외 AMR은 3D 라이다, 레이더, GNSS, IMU, 카메라 및 방수·방진 구조가 요구된다. 검사 로봇은 열화상, 음향, 가스 센서, 진동 센서 및 고해상도 카메라를 추가할 수 있으며, 대형 차량은 긴 검출 거리와 높은 이중화(Redundancy)를 요구한다. 따라서 비용, 시야(Field of View), 거리(Range), 해상도(Resolution), 갱신 주기(Update Rate), 지연 시간(Latency), 소비 전력, 인터페이스, 설치 위치, 안전 인증 및 유지보수까지 종합적으로 고려해야 한다.

센서 모달리티의 진정한 가치는 다중 센서 융합(Multi-Sensor Fusion)에서 나타난다. 카메라는 의미 정보(Semantic Information)를 제공하고, 라이다는 기하학적 구조(Geometry)를 제공하며, 레이더는 속도와 악천후 대응 능력을 제공한다. GNSS는 절대 위치를, IMU는 빠른 움직임 정보를, 휠 엔코더는 상대 이동 정보를 제공한다. 이러한 정보를 함께 융합하면 불확실성을 줄이고 센서 간 불일치를 감지하며, 일부 센서가 일시적으로 성능이 저하되어도 안정적으로 동작할 수 있다. 융합은 원시 데이터, 특징, 객체 또는 의사결정 수준에서 수행될 수 있으며 시스템 구조와 계산 자원에 따라 적절한 방식이 선택된다.

여러 센서를 효과적으로 활용하기 위해서는 정확한 보정(Calibration)과 시간 동기화(Time Synchronization)가 반드시 필요하다. 내부 보정(Intrinsic Calibration)은 센서 자체의 특성을 정의하며, 외부 보정(Extrinsic Calibration)은 센서 간의 위치와 자세 관계를 결정한다. 시간 동기화는 서로 다른 센서가 동일한 시점의 데이터를 제공하도록 맞추는 과정으로, 로봇이나 주변 물체가 움직이는 환경에서는 특히 중요하다. 작은 시간 오차나 위치 오차만으로도 객체가 중복 검출되거나, 융합 오류, 깊이 추정 오류, 위치추정 불안정 및 허위 장애물(False Obstacle)이 발생할 수 있다. 따라서 설치 이후, 유지보수, 충격, 센서 교체 또는 기계 구조 변경 후에는 반드시 보정 상태를 재검증해야 한다.

현대의 AMR에서 센서는 단순히 여러 개의 독립적인 장치가 아니라 하나의 통합 정보 아키텍처(Integrated Information Architecture)를 구성한다. 각각의 센서 모달리티는 현실 세계의 일부만을 관찰하며, 인지 시스템은 각 센서의 데이터 품질, 불확실성, 사용 가능 여부 및 중요도를 실시간으로 평가해야 한다. 또한 센서 오염, 차단, 고장 및 성능 저하를 스스로 감지하고 이에 맞추어 처리 방식을 변경하거나 로봇의 행동을 조정해야 한다. 미래의 AMR은 이벤트 카메라(Event Camera), 고체형 라이다(Solid-State LiDAR), 이미징 레이더(Imaging Radar), 뉴로모픽 센서(Neuromorphic Sensor), 다양한 환경 센서 및 멀티모달 인공지능(Multimodal AI)을 더욱 적극적으로 활용하게 될 것이다. 궁극적인 목표는 단순히 더 많은 센서를 사용하는 것이 아니라, 안전한 자율주행을 위해 신뢰성 있고 시의적절하며 의미 있는 정보를 지속적으로 제공하는 균형 잡힌 센서 시스템을 구축하는 것이다.

01.3 Perception for Navigation

자율주행을 위한 인지(Perception for Navigation)는 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 센서 관측값을 현재 위치에서 목표 지점까지 안전하게 이동하는 데 필요한 공간적 정보와 의미적 정보로 변환하는 과정이다. 자율주행에는 단순히 주변에 객체가 존재한다는 사실을 아는 것만으로는 충분하지 않다. 로봇은 자유 공간(Free Space)이 어디에 있는지, 어떤 표면을 주행할 수 있는지, 장애물이 어떻게 움직이는지, 경계와 통로가 어디에 위치하는지, 환경 조건이 이동에 어떠한 영향을 미치는지를 이해해야 한다. 따라서 인지는 물리적 환경과 로봇의 움직임을 결정하는 위치추정(Localization), 경로계획(Planning), 행동(Behavior), 제어(Control) 모듈을 지속적으로 연결하는 정보의 다리 역할을 한다.

자율주행 시스템(Navigation System)은 일반적으로 전역 경로계획(Global Route Planning), 지역 경로계획(Local Path Planning), 장애물 회피(Obstacle Avoidance), 운동 제어(Motion Control), 안전 감시(Safety Supervision)와 같은 여러 계층이 서로 연결된 구조로 동작한다. 각 계층은 서로 다른 공간 범위와 시간 범위에서 인지 정보에 의존한다. 전역 경로계획은 지도, 도로 구조, 복도, 제한 구역, 목적지 정보를 필요로 하며, 지역 경로계획은 현재 장애물의 위치, 자유 공간의 경계, 노면 상태, 단기 움직임 예측 정보를 필요로 한다. 안전 감시는 사전에 정의된 보호 영역 안에서 위험요소를 빠르고 신뢰성 있게 검출해야 한다. 따라서 성공적인 인지 아키텍처(Perception Architecture)는 하나의 일반적인 센서 출력이 아니라 여러 종류의 환경 표현(Environmental Representation)을 제공해야 한다.

자율주행을 위한 가장 중요한 인지 기능 중 하나는 장애물 검출(Obstacle Detection)이다. AMR은 벽, 선반, 팔레트, 사람, 지게차, 케이블, 기둥, 연석, 문, 차량, 건설 자재, 임시 장비 등 주행을 방해할 수 있는 모든 물체와 구조물을 식별해야 한다. 장애물 검출은 거리 측정값, 점군(Point Cloud), 깊이 영상(Depth Image), 레이더 표적(Radar Target), 의미론적 분할(Semantic Segmentation), 또는 이러한 정보의 조합을 기반으로 수행할 수 있다. 생성된 장애물 정보에는 지역 경로계획기가 적절한 안전 간격을 유지하는 경로를 생성할 수 있도록 위치, 크기, 형상, 신뢰도 정보가 충분히 포함되어야 한다.

정적 장애물 인지(Static Obstacle Perception)는 시간이 지나도 위치가 비교적 일정하게 유지되는 환경 요소를 대상으로 한다. 여기에는 벽, 기둥, 선반, 기계, 울타리, 적재 구역, 고정형 기반 시설 등이 포함된다. 정적 객체는 일반적으로 점유 격자 지도(Occupancy Grid), 벡터 지도(Vector Map), 복셀 지도(Voxel Map), 또는 3차원 점군 지도(3D Point Cloud Map)로 표현된다. 이러한 구조물이 사전에 작성된 지도에 포함되어 있더라도, 지도 작성 이후 환경이 변할 수 있기 때문에 실시간 인지는 이를 계속 확인해야 한다. 선반이 이동하거나, 문이 닫히거나, 임시 차단물이 기존 경로를 막을 수 있기 때문이다. 따라서 자율주행 시스템은 저장된 환경 정보와 현재 관측값을 지속적으로 비교해야 한다.

동적 장애물 인지(Dynamic Obstacle Perception)는 사람, 차량, 이동형 로봇, 지게차, 카트와 같이 움직이는 대상을 처리한다. 현재 위치를 검출하는 것은 첫 번째 단계에 불과하다. 인지 시스템은 속도, 방향, 가속도, 궤적(Trajectory), 불확실성(Uncertainty)까지 함께 추정해야 한다. 이러한 정보가 있어야 경로계획기는 로봇이 특정 위치에 도달할 시점에 장애물이 어디에 있을지를 예측할 수 있다. 시간적 인지가 없다면 AMR은 움직이는 물체가 나타날 때마다 해당 물체가 안전하게 멀어지고 있는 상황에서도 반복적으로 정지할 수 있다. 정확한 추적(Tracking)과 움직임 예측(Motion Prediction)은 더욱 부드럽고 효율적이며 사회적으로 적절한 자율주행 행동을 가능하게 한다.

자유 공간 검출(Free Space Detection)도 매우 중요하다. 자율주행은 장애물을 인식하는 것뿐 아니라 로봇이 안전하게 이동할 수 있는 영역을 식별하는 데 의존하기 때문이다. 인지 시스템은 라이다(LiDAR), 카메라(Camera), 깊이 센서(Depth Sensor), 레이더(Radar), 기하학적 모델(Geometric Model)을 이용하여 점유되지 않은 공간을 추정한다. 이러한 관측 결과는 지역 점유 격자(Local Occupancy Grid), 비용 지도(Cost Map), 주행 가능 영역 마스크(Drivable Area Mask), 주행성 지도(Traversability Map)로 변환될 수 있다. 자유 공간은 단순히 눈에 보이는 물체가 없는 영역을 의미하지 않는다. 로봇의 폭, 최소 회전 반경, 적재물 크기, 제동 거리, 위치추정 불확실성, 요구 안전 여유까지 함께 고려해야 한다. 시각적으로 열린 통로라도 로봇이 지나가기에는 너무 좁거나 불안정할 수 있다.

지면 및 바닥 인지(Ground and Floor Perception)는 자율주행 판단의 기준이 되는 주행 표면을 제공한다. 실내 AMR은 일반적으로 평탄한 바닥에서 운용되지만, 경사로, 문턱, 바닥 가장자리, 배수 홈, 반사 표면, 작은 단차를 식별해야 한다. 실외 로봇은 도로, 자갈, 잔디, 진흙, 모래, 눈, 물, 불규칙한 지면을 해석해야 한다. 지면 평면 추정(Ground Plane Estimation)은 주행 가능한 표면과 수직 장애물을 분리하며, 지형 분류(Terrain Classification)는 로봇이 특정 영역을 통과할 수 있는지를 평가한다. 또한 시스템은 불안정이나 기계적 손상을 방지하기 위해 경사도, 거칠기, 단차 높이, 지상고, 예상 접지력까지 계산할 수 있다.

경계 인지(Boundary Perception)는 AMR이 허용된 운용 영역 안에 머물 수 있도록 한다. 응용 분야에 따라 경계에는 벽, 연석, 도로 가장자리, 차선 표시, 선반 정렬선, 울타리, 플랫폼 끝, 보행자 구역, 가상 지오펜스(Virtual Geofence)가 포함될 수 있다. 카메라는 시각적 표시와 의미적 경계를 검출할 수 있으며, 라이다는 기하학적 불연속과 물리적 가장자리를 식별할 수 있다. GNSS(Global Navigation Satellite System)와 디지털 지도(Digital Map)는 넓은 실외 운용 구역을 정의할 수 있다. 물리적 경계와 가상 경계를 결합하면 일방통행로, 제한 구역, 보행자 전용 구역처럼 실제 장애물이 존재하지 않는 장소에서도 자율주행 시스템이 현장 규칙을 준수할 수 있다.

인지는 로봇의 위치와 자세를 지도 또는 전역 기준 좌표계(Global Reference Frame)에 대해 결정하는 위치추정(Localization)도 지원한다. 라이다 스캔은 기하학적 지도와 정합될 수 있고, 카메라는 시각적 랜드마크(Visual Landmark)를 인식할 수 있으며, GNSS는 실외 절대 좌표를 제공할 수 있다. IMU(Inertial Measurement Unit)와 휠 오도메트리(Wheel Odometry)는 단기 이동을 추정한다. 경로계획기는 로봇의 추정 자세를 기준으로 인지된 장애물과 계획 경로가 정확하게 정렬되어 있다고 가정하므로, 자율주행 품질은 위치추정 품질에 직접적으로 제한된다. 따라서 인지 시스템은 안정적인 랜드마크를 생성하고, 신뢰할 수 없는 특징을 제거하며, 위치추정 시스템에 불확실성 정보를 제공해야 한다.

지도작성(Mapping)과 인지는 자율주행에서 긴밀하게 연결되어 있다. 초기 배치 단계에서 인지 시스템은 환경의 기하학적 정보와 의미 정보를 수집하여 지도를 생성한다. 실제 운용 중에는 동일한 센서 시스템이 지역 지도를 갱신하고 저장된 환경과 다른 변화를 검출한다. 장기 자율주행(Long-Term Navigation)을 위해서는 일시적인 변화와 영구적인 구조 변화가 구분되어야 한다. 통로에 놓인 팔레트는 일시적인 변화일 수 있지만, 새로 설치된 벽은 지도 갱신이 필요한 영구적인 변화일 수 있다. 동적 지도 관리(Dynamic Map Management)는 안정적인 기준 지도가 불필요하게 훼손되는 것을 방지하면서도, 자율주행 시스템이 반복적으로 막힌 구역을 통과하려고 계획하는 문제를 줄인다.

의미적 인지(Semantic Perception)는 객체, 표면, 구역에 의미를 부여하여 자율주행 성능을 향상시킨다. 기하학적 인지는 특정 영역이 열려 있음을 보여줄 수 있지만, 의미적 이해는 그 영역이 보행자 횡단구역, 충전 스테이션, 비상구, 기계 작업 구역, 적재 구역, 제한 통로라는 것을 식별할 수 있다. 이러한 라벨은 경로 선택, 주행 속도, 우선순위, 정지 행동에 영향을 준다. 로봇은 작업자 근처에서 속도를 낮추고, 작업 중인 지게차 통로를 피하거나, 전용 정렬 절차를 사용하여 도킹 스테이션에 접근할 수 있다. 따라서 의미 정보는 단순한 기하학적 이동을 넘어 상황 인식형 자율주행(Context-Aware Navigation)을 가능하게 한다.

사람 인지(Human Perception)는 사람과 로봇이 함께 사용하는 환경에서 특히 중요하다. 작업자는 팔레트나 벽과 동일하게 처리되어서는 안 된다. 사람은 예측하기 어렵게 움직일 수 있고, 더 큰 안전 여유가 필요하며, 로봇의 행동이 이해 가능하기를 기대하기 때문이다. 인지 시스템은 사람의 자세, 보행 방향, 손짓, 시선, 안전 장비 착용 여부, 위험 구역과의 거리를 검출할 수 있다. 고급 행동 인식(Behavior Recognition)을 사용할 수 없는 경우에도 신뢰성 있는 사람 검출과 추적은 자율주행 시스템이 미리 속도를 낮추고, 편안한 통과 거리를 유지하며, 주변 작업자를 놀라게 하거나 위험하게 만들 수 있는 갑작스러운 움직임을 피하도록 한다.

센서 융합(Sensor Fusion)은 상호 보완적인 정보를 결합하여 자율주행 인지 성능을 향상시킨다. 라이다는 정확한 기하학 정보를 제공하고, 카메라는 풍부한 의미 정보를 제공하며, 레이더는 상대 속도를 측정하고 악천후에서도 안정적으로 동작한다. 초음파 센서(Ultrasonic Sensor)는 근거리 사각지대를 보완하고, GNSS는 전역 위치를 제공하며, IMU는 빠른 움직임 추정을 지원한다. 융합 시스템은 하나의 센서 모달리티 성능이 저하되어도 운용을 지속할 수 있으며, 서로 불일치하는 관측값을 상호 검증할 수 있다. 예를 들어 안개 속에서 카메라 영상이 불명확한 경우 레이더가 이동 물체를 확인하고, 라이다가 물체의 정확한 형상과 위치를 보완할 수 있다. 센서 융합은 불확실성을 줄이고 인지의 연속성을 향상시킨다.

시간 동기화(Time Synchronization)는 움직이는 센서, 이동 객체, 빠르게 변화하는 장면을 처리하는 자율주행 인지에서 필수적이다. 카메라, 라이다, 레이더, IMU, 오도메트리 데이터가 서로 다른 시간에 획득되거나 처리되고 이를 보정하지 않으면 동일한 객체가 서로 다른 위치에 존재하는 것처럼 나타날 수 있다. 이는 장애물 형상을 왜곡하고, 추적 정확도를 낮추며, 비용 지도를 불안정하게 만든다. 하드웨어 트리거(Hardware Trigger), 정밀 시간 프로토콜(Precision Time Protocol, PTP), 동기화된 시계, 정확한 타임스탬프(Timestamp), 움직임 보정(Motion Compensation)을 이용하여 관측값을 정렬한다. 지연 시간(Latency)도 매우 중요하다. 정확한 인지 정보라도 경로계획기와 제어기가 반응하기에는 너무 늦게 도착하면 안전하지 않기 때문이다.

인지 출력 인터페이스(Perception Output Interface)는 자율주행 요구사항에 맞게 설계되어야 한다. 원시 영상과 점군은 데이터량이 너무 크고 실시간 해석이 어렵기 때문에 일반적으로 경로계획기에 직접 전달되지 않는다. 대신 인지 파이프라인은 장애물 목록(Obstacle List), 추적 객체 상태(Tracked Object State), 점유 격자, 의미 지도(Semantic Map), 자유 공간 다각형(Free Space Polygon), 지형 비용(Terrain Cost), 예측 궤적(Predicted Trajectory), 신뢰도 값을 포함한 구조화된 출력을 생성한다. 이러한 출력은 일관된 좌표계(Coordinate Frame)와 타임스탬프를 사용해야 한다. 또한 인지 품질이 저하된 경우 경로계획기가 보수적으로 동작할 수 있도록 불확실성 정보도 전달해야 한다.

자율주행 인지는 가려짐(Occlusion)과 사각지대(Blind Area) 문제를 처리해야 한다. 대형 차량, 선반, 벽, 모서리, 식생, 적재물은 중요한 객체를 일시적으로 가릴 수 있다. 작업자가 선반 뒤에서 갑자기 나타나거나, 다른 로봇이 직접 보이지 않는 교차로로 진입할 수 있다. 다중 센서 배치, 넓은 시야각(Field of View), 지도 정보, 추적 기억(Tracking Memory), 예측 모델을 이용하여 이러한 상황을 관리할 수 있다. 자율주행 시스템은 사각 모서리 이전에 속도를 낮추고, 가려진 영역 근처에서 안전 여유를 확대하며, 제어된 움직임을 통해 추가적인 관측을 수행할 수 있다. 안전한 인지는 현재 관측할 수 없는 대상에 대해서도 추론하는 능력을 포함한다.

실내 자율주행과 실외 자율주행은 서로 다른 인지 요구사항을 가진다. 실내 환경은 벽과 바닥이 구조화되어 있는 경우가 많지만, 좁은 통로, 반복적인 기하학 구조, 반사 표면, 사람 및 장비와의 밀접한 상호작용이 존재한다. 실외 환경은 더 긴 검출 거리, 가변적인 지형, 햇빛, 날씨, 식생, GNSS 불확실성, 높은 주행 속도를 포함한다. 실내 창고에만 맞게 설계된 인지 시스템은 비, 먼지, 경사, 개방된 공간에 노출되면 정상적으로 동작하지 않을 수 있다. 따라서 센서 선택, 장착 위치, 알고리즘, 보호 하우징, 검증 절차는 실제 운용 영역(Operational Domain)을 반영해야 한다.

도킹(Docking)과 정밀 접근(Precise Approach)에는 일반적인 경로 추종보다 특수한 인지 기능이 필요하다. AMR은 충전기, 컨베이어, 카트, 작업 셀, 엘리베이터, 검사 스테이션, 조작 대상과 정확하게 정렬해야 할 수 있다. 일반 위치추정은 로봇을 목표 근처까지 이동시킬 수 있지만, 최종 정렬은 피두셜 마커(Fiducial Marker), 반사판(Reflector), 깊이 카메라, 초음파 센서, 가장자리 검출, 지역 기하학 정합(Local Geometric Matching)에 의존하는 경우가 많다. 인지 시스템은 횡방향 오차, 방향 오차, 거리, 목표 사용 가능 여부, 장애물 존재 여부를 추정해야 한다. 정밀 도킹 인지는 전력 전달이나 작업 실행 전에 물리적 결합이 정상적으로 이루어졌는지도 확인해야 한다.

인지 품질은 자율주행의 부드러움과 생산성에 직접적인 영향을 준다. 노이즈가 많은 검출 결과, 불안정한 객체 식별자, 지연된 갱신, 흔들리는 자유 공간 경계는 반복적인 제동, 경로 진동(Path Oscillation), 불필요한 재계획, 임무 처리량 감소를 유발할 수 있다. 필터링(Filtering)과 추적은 안정성을 향상시키지만, 지나치게 강한 필터링은 실제 위험에 대한 반응을 늦출 수 있다. 엔지니어는 반응성과 시간적 일관성(Temporal Consistency) 사이의 균형을 맞춰야 한다. 또한 자율주행 스택은 신뢰도가 낮은 일시적 관측값에 과도하게 반응하지 않으면서도, 안전에 대한 확신이 부족한 경우에는 보수적으로 행동해야 한다. 따라서 안정적인 인지는 높은 검출 정확도만큼 중요하다.

강인한 자율주행(Robust Navigation)을 위해서는 인지 상태 감시(Perception Health Monitoring)가 필요하다. 시스템은 렌즈 가림, 라이다 창 오염, 메시지 누락, 비정상 타임스탬프, 과도한 노이즈, 보정 오차 증가, 과열, 프레임 속도 저하, 센서 출력 불일치를 감지해야 한다. 인지 품질이 허용 가능한 기준 아래로 떨어지면 로봇은 속도를 줄이고, 안전 여유를 확대하며, 성능 저하 운용 모드(Degraded Operating Mode)로 전환하거나, 안전하게 정지하고, 유지보수를 요청할 수 있다. 환경 인식 능력이 신뢰할 수 없는 상태에서는 정상적인 주행 가정을 그대로 사용할 수 없기 때문에, 상태 정보는 자율주행 시스템과 안전 시스템에 공유되어야 한다.

자율주행을 위한 인지 시험은 개별 센서의 정확도만 평가하는 것이 아니라 전체 주행 행동을 평가해야 한다. 현장 검증(Field Validation)에는 정적 및 동적 장애물, 좁은 통로, 사각 모서리, 조명 변화, 반사 재질, 낮은 장애물, 돌출 구조물, 경사로, 악천후, 센서 오염, 통신 지연, 부분 고장이 포함되어야 한다. 평가 지표에는 검출 거리, 오검출(False Positive), 미검출(Missed Detection), 자유 공간 정확도, 궤적 예측 오차, 지연 시간, 정지 거리, 임무 완료율 등이 포함될 수 있다. 기록된 센서 데이터와 시뮬레이션을 이용한 반복 시험은 고장을 재현하고, 통제된 조건에서 소프트웨어 버전별 성능을 비교하는 데 도움이 된다.

궁극적으로 자율주행을 위한 인지는 AMR이 주변 객체에 단순히 반응하는 것이 아니라 목적을 가지고 이동할 수 있도록 지속적으로 갱신되는 환경 모델을 생성한다. 이 환경 모델은 기하학, 의미, 움직임, 불확실성을 신뢰성 있게 표현함으로써 센싱(Sensing)을 위치추정, 지도작성, 경로계획, 행동, 제어, 안전과 연결한다. AMR의 기능이 발전함에 따라 자율주행 인지는 상호작용을 예측하고, 운용 상황을 이해하며, 변화하는 조건에 적응하는 예측형 세계 모델(Predictive World Model)로 발전할 것이다. 이러한 발전은 창고, 공장, 병원, 항만, 건설 현장, 도로, 공공 공간에서 더욱 안전하고 부드러우며 효율적인 자율성을 가능하게 할 것이다.

01.4 Perception for Safety

안전을 위한 인지(Perception for Safety)는 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 충돌, 인명 사고, 장비 손상 또는 제어 불가능한 움직임으로 이어질 수 있는 위험 상황을 사전에 감지할 수 있도록 하는 센싱(Sensing), 해석(Interpretation), 검증(Validation), 그리고 대응 지원(Response Support) 기능들의 집합이다. 일반적인 인지가 환경을 풍부하게 이해하는 것을 목표로 하는 반면, 안전 인지는 로봇의 행동을 즉시 제한해야 하는 위험 조건을 식별하는 데 초점을 맞춘다. 그 목적은 안전 제어기(Safety Controller), 운동 제어기(Motion Controller), 자율주행 스택(Navigation Stack), 비상 정지(Emergency Stop) 시스템에 시의적절하고 신뢰할 수 있으며 충분히 보수적인 정보를 제공하는 것이다.

안전 인지 시스템은 로봇 주변 공간을 지속적으로 감시하는 동시에 로봇 자체의 운용 상태도 모니터링해야 한다. 외부 위험 요소에는 사람, 차량, 팔레트, 벽, 낮은 장애물, 돌출 구조물, 계단, 개방된 가장자리, 연기, 화재, 불안정한 지형 등이 포함될 수 있다. 내부 위험 요소에는 센서 고장, 브레이크 이상, 과속, 조향 오류, 배터리 이상, 액추에이터 과열, 통신 장애 등이 포함된다. 따라서 안전한 자율주행은 환경 인지와 시스템 상태 감시(System Health Monitoring)를 결합하여, 로봇이 눈에 보이는 위험뿐 아니라 센싱 능력이나 제어 능력의 상실에도 적절하게 대응할 수 있어야 한다.

가장 기본적인 안전 기능은 신뢰성 있는 장애물 검출(Obstacle Detection)이다. AMR은 객체가 사람인지, 상자인지, 차량인지, 기계 부품인지를 정확하게 분류하지 못하더라도, 이동 경로나 보호 공간(Protective Space)에 진입하는 모든 물체를 인식해야 한다. 안전 관점에서는 객체의 종류보다 위험을 발생시킬 수 있는 거리와 위치에 물리적인 대상이 존재하는지를 우선적으로 판단하는 것이 중요하다. 이러한 보수적인 원칙은 의미론적 분류(Semantic Classification) 오류가 충돌 위험으로 이어지는 것을 방지하며, 인공지능(AI)의 신뢰도가 낮은 경우에도 안전 반응이 안정적으로 유지되도록 한다.

보호 구역(Protective Zone)은 일반적으로 인지 결과를 속도 제어와 정지 명령으로 변환하기 위해 로봇 주변에 설정된다. 경고 구역(Warning Zone)은 조기 감속을 유도하고, 더 작은 보호 구역은 제어된 정지(Control Stop) 또는 비상 정지를 명령한다. 이러한 보호 구역은 항상 고정되어 있는 것이 아니다. 로봇의 속도, 적재 중량(Payload), 조향각(Steering Angle), 제동 성능, 노면 상태, 이동 방향, 위치추정 불확실성 등에 따라 크기가 동적으로 변경될 수 있다. 무거운 화물을 적재한 상태에서 고속으로 주행하는 AMR은 빈 상태에서 저속으로 이동하는 로봇보다 더 긴 보호 거리를 필요로 한다.

안전 인증(Safety-Certified)을 받은 레이저 스캐너(Laser Scanner)는 미리 정의된 보호 구역을 결정론적으로 감시할 수 있기 때문에 널리 사용된다. 이 장치는 수평 평면(Horizontal Plane)에서 거리를 지속적으로 측정하며, 객체가 설정된 경계를 통과하면 즉시 이를 보고한다. 일반적인 인지 센서와 달리, 안전 스캐너는 내부 자기진단(Diagnostics), 고장 검출(Fault Detection), 이중 처리(Redundant Processing), 제어된 응답 시간(Response Time), 인증된 인터페이스를 갖추고 있어 복잡한 AI 해석 없이도 안전 기능을 직접 수행할 수 있다. 그러나 수평 스캔만으로는 낮거나 높은 위치의 장애물, 매달린 구조물, 불규칙한 형상의 물체를 놓칠 수 있으므로 추가적인 센서가 함께 사용되는 경우가 많다.

3차원 라이다(3D LiDAR), 깊이 카메라(Depth Camera), 스테레오 카메라(Stereo Camera), 레이더(Radar), 초음파 센서(Ultrasonic Sensor), 범퍼(Bumper)는 안전 스캐너의 기하학적 사각지대를 보완할 수 있다. 예를 들어 낮은 장애물은 주 스캔 평면 아래에 존재할 수 있고, 테이블 가장자리나 매달린 화물은 스캔 평면 위에 위치할 수 있다. 지게차 포크(Forklift Fork), 케이블, 경사로, 팔레트, 열린 서랍, 돌출된 기계 부품은 하나의 센서만으로는 검출하기 어려운 위험 요소가 될 수 있다. 다양한 높이와 여러 센서 모달리티(Multi-Modal Sensing)를 활용하면 이러한 비정형 장애물을 접촉 전에 검출할 가능성이 크게 높아지지만, 각 센서가 안전 기능에서 담당하는 역할은 명확하게 정의되고 검증되어야 한다.

사람 검출(Human Detection)은 사람이 예측하기 어려운 방식으로 움직이며 갑자기 로봇의 경로로 들어올 수 있기 때문에 특별한 주의가 필요하다. 안전 인지는 라이다 기반 기하학 정보, 카메라 기반 보행자 검출(Pedestrian Detection), 열화상(Thermal Imaging), 레이더 또는 이들의 조합을 사용할 수 있다. 시스템은 부분적인 가려짐(Occlusion)이 존재하는 경우에도 보수적인 동작을 유지하면서 사람의 위치, 거리, 이동 방향, 상대 속도를 추정해야 한다. 팔레트 뒤에 서 있는 작업자, 문 뒤에서 나오는 사람, 바닥 근처에서 몸을 숙이고 작업하는 사람은 검출하기 어려울 수 있으므로, 다양한 자세, 복장, 조명 조건, 접근 방향에서 충분한 성능 검증이 이루어져야 한다.

추적(Tracking)과 움직임 예측(Motion Prediction)은 검출된 객체가 앞으로 어떻게 움직일지를 추정함으로써 안전성을 향상시킨다. 단순한 순간 정보만으로는 사람이 현재 경로 밖에 있는 것처럼 보일 수 있지만, 추적을 수행하면 해당 사람이 교차로 방향으로 이동하고 있다는 사실을 알 수 있다. 인지 시스템은 이동 궤적(Trajectory), 속도, 충돌까지 남은 시간(Time to Collision), 불확실성을 계산하여 위험이 보호 구역에 도달하기 전에 로봇이 미리 감속하도록 할 수 있다. 예측은 기본적인 장애물 검출을 대체해서는 안 되지만, 반응 시간을 늘리고 실제로는 안전하게 멀어지는 객체 때문에 불필요한 비상 정지가 발생하는 것을 줄여 보다 부드러운 동작을 지원할 수 있다.

안전 인지는 단순히 장애물까지의 거리만이 아니라 정지 거리(Stopping Distance)를 고려해야 한다. 정지 거리에는 인지 지연(Perception Delay), 통신 지연, 제어기 반응 시간, 브레이크 작동 시간, 실제 감속 거리까지 모두 포함된다. 또한 로봇의 속도, 적재 중량, 타이어 상태, 노면 마찰력, 경사도 및 기계적 마모에 따라 달라진다. 따라서 인지 시스템과 안전 제어기는 반드시 검증된 최악 조건(Worst Case)의 정지 모델을 사용해야 한다. 장애물이 필요한 정지 거리보다 가까운 위치에서 검출되면, 인지 시스템이 정확하더라도 물리적으로 충돌을 피할 수 없을 수 있다.

속도 및 분리 감시(Speed and Separation Monitoring)는 주변 사람이나 장비와의 거리 및 상대 운동에 따라 AMR의 속도를 조절하는 기능이다. 거리가 충분히 멀면 정상 속도로 주행할 수 있지만, 거리가 가까워질수록 점진적으로 감속하고 최소 안전 거리에서는 정지한다. 이러한 단계적 반응은 빈번한 비상 정지보다 생산성을 향상시키면서도 안전성을 유지할 수 있다. 이를 위해서는 정확한 거리 측정, 낮은 지연 시간, 신뢰성 있는 사람 검출, 그리고 불확실성을 보수적으로 처리하는 능력이 필수적이다. 거리 추정이 잘못되면 작업자 근처에서 위험한 움직임이 허용될 수 있기 때문이다.

가려짐(Occlusion)은 안전 인지에서 가장 큰 문제 중 하나이다. 벽, 선반, 차량, 적재물, 기계 구조물은 위험 요소를 직접 관측하지 못하도록 가릴 수 있다. 작업자가 선반 뒤에서 갑자기 나타나거나, 지게차가 사각 교차로에서 갑자기 등장할 수도 있다. 로봇은 관측되지 않는 공간이 안전하다고 가정해서는 안 된다. 지도 정보(Map Information), 이전 추적 정보(Prior Tracks), 다중 센서 배치, 인프라 센서(Infrastructure Sensor), 사각지대 접근 시 감속 전략 등을 통해 이러한 위험을 줄일 수 있다. 안전한 동작은 아직 장애물이 검출되지 않았더라도 시야가 제한된 구역에 접근하기 전에 속도를 낮추는 것을 포함한다.

바닥 및 지형 인지(Floor and Terrain Perception) 역시 안전에 직접적인 영향을 준다. 실내에서는 계단, 구멍, 경사로, 젖은 바닥, 바닥 가장자리, 배수 홈, 케이블, 반사 표면이 위험 요소가 될 수 있다. 실외에서는 급경사, 자갈, 진흙, 눈, 물, 연약 지반, 불안정한 지형 등이 포함된다. 인지 시스템은 지면 형상, 경사도, 거칠기, 낙차(Drop-off), 주행 가능성을 추정해야 한다. 장애물이 없는 공간이라도 노면이 로봇을 지지하지 못하거나, 미끄러지거나, 전복되거나, 빠질 위험이 있다면 안전하지 않은 공간으로 판단되어야 한다.

가장자리 및 낙하 위험 검출(Edge and Drop-off Detection)은 계단, 플랫폼, 적재 도크, 피트(Pit), 고가 작업장 주변에서 운용되는 로봇에게 매우 중요하다. 아래를 향하는 깊이 센서, 라이다, 초음파 센서, 구조광, 기계식 가장자리 검출기가 갑작스러운 지면의 단절을 감지하는 데 사용될 수 있다. 이러한 센서는 어두운 바닥, 반사 바닥, 투명한 표면, 햇빛, 먼지, 불규칙한 형상 등을 고려해야 한다. 낙하 위험을 놓칠 경우 치명적인 사고로 이어질 수 있으므로, 이러한 구역에서는 속도를 낮추고 센서를 이중화하는 경우가 많다.

환경 조건(Environmental Conditions)은 운영자가 즉시 인식하지 못하는 방식으로 안전 인지 성능을 저하시킬 수 있다. 비, 안개, 눈, 먼지, 연기, 어둠, 눈부심, 직사광선, 물방울, 진흙, 결로는 센서의 측정 거리 감소나 허위 측정을 유발할 수 있다. 강인한 시스템은 현재 환경이 검증된 운용 한계를 초과했는지를 스스로 판단할 수 있어야 한다. 이러한 경우 로봇은 속도를 낮추고, 안전 여유를 확대하며, 렌즈 청소 장치나 히터를 작동시키고, 다른 센서로 전환하거나, 작업자의 개입을 요청하거나, 안전하게 정지할 수 있다. 인지 성능이 저하된 상태에서 정상 운용을 계속하는 것은 눈에 보이지 않는 심각한 위험을 초래할 수 있다.

따라서 센서 상태 감시(Sensor Health Monitoring)는 안전 인지의 핵심 요소이다. 시스템은 렌즈 차단, 보호창 오염, 데이터 누락, 영상 정지, 비정상적인 프레임 속도(Frame Rate), 과도한 노이즈, 타임스탬프 오류, 보정 오차 증가, 과열, 전압 이상, 센서 간 측정값 불일치 등을 감지해야 한다. 데이터가 계속 전송되고 있다고 해서 센서가 정상적으로 동작하는 것은 아니다. 상태 감시는 통신 상태뿐 아니라 데이터 품질까지 평가해야 한다. 신뢰도가 검증된 기준 이하로 떨어지면 로봇은 안전 상태(Safe State) 또는 사전에 정의된 성능 저하 운용 모드(Degraded Operating Mode)로 전환해야 한다.

이중화(Redundancy)는 하나의 센서에 대한 의존성을 줄여 안전성을 향상시킨다. 서로 다른 센서는 서로 다른 방식으로 고장 나야 하며, 하나의 센서가 성능을 잃었을 때 다른 센서가 이를 보완할 수 있어야 한다. 라이다는 정확한 기하학 정보를 제공하고, 카메라는 사람과 표식을 인식하며, 레이더는 안개나 먼지 속에서도 동작하고, 범퍼는 최후의 접촉 검출 기능을 수행한다. 그러나 단순히 센서를 많이 추가한다고 진정한 이중화가 되는 것은 아니다. 동일한 전원, 동일한 통신망, 동일한 장착 구조, 동일한 소프트웨어 오류는 여러 센서를 동시에 고장 나게 만들 수 있다.

보정(Calibration)과 시간 동기화(Time Synchronization)는 공간적 또는 시간적 오차가 실제 객체의 위치를 잘못 표현하게 만들 수 있기 때문에 안전상 매우 중요하다. 잘못 보정된 카메라-라이다 시스템은 보행자를 보호 구역 밖에 있는 것처럼 인식할 수 있다. 시간 동기화가 맞지 않으면 움직이는 지게차가 센서마다 서로 다른 위치에 나타나 추적과 센서 융합의 정확도가 크게 저하된다. 설치, 수리, 충돌, 센서 교체, 구조물 변형, 소프트웨어 변경 이후에는 반드시 보정 상태를 다시 검증해야 한다. 또한 시간 동기화는 네트워크 부하, 시계 오차, 시스템 재시작, 통신 장애 상황에서도 안정적으로 유지되어야 한다.

안전 인지는 비안전(Non-Safety) AI 기능과 적절히 분리되어야 한다. AI 기반 객체 검출과 의미 이해는 자율주행 품질을 향상시킬 수 있지만, 인증된 안전 기능에서 요구하는 결정론적 특성과 자기진단 기능을 만족하지 못할 수도 있다. 실제 시스템은 안전 인증을 받은 인지 계층(Safety-Rated Perception Layer)과 보다 풍부한 기능을 제공하는 일반 인지 계층(Non-Safety Perception Layer)을 함께 사용하는 경우가 많다. 안전 계층은 최소한의 보호 기능을 담당하고, 일반 인지 계층은 부드러운 자율주행, 사람 중심 상호작용, 상황 기반 의사결정을 지원한다. 이러한 명확한 역할 분리는 복잡한 AI 오류가 기본적인 충돌 보호 기능을 무력화하는 것을 방지한다.

안전 인지의 출력(Output)은 단순하고, 신속하며, 모호하지 않아야 한다. 일반적으로 보호 구역 침입, 경고 구역 침입, 최근접 장애물 거리, 객체 속도, 허용 속도 제한, 정지 요청, 비상 정지 요청, 센서 성능 저하 상태, 센서 고장 상태 등의 정보를 제공한다. 이러한 신호는 정의된 좌표계, 타임스탬프, 신뢰도 규칙, 우선순위 로직을 따라야 한다. 또한 안전 관련 메시지는 무거운 인지 연산, 데이터 기록, 시각화, 일반 네트워크 트래픽 때문에 지연되어서는 안 되며, 검증된 시간 내에 반드시 제어기로 전달되어야 한다.

오검출(False Positive)과 미검출(False Negative)은 모두 신중하게 관리되어야 한다. 미검출은 실제 위험을 놓치는 것이므로 직접적인 충돌로 이어질 수 있다. 반면 오검출은 존재하지 않는 위험을 감지하여 불필요한 정지와 생산성 저하를 초래한다. 안전 시스템은 기본적으로 미검출을 최소화하는 것을 우선하지만, 오검출이 지나치게 많으면 작업자가 안전 기능을 우회하려고 할 수도 있다. 따라서 엔지니어는 센서 성능, 필터링, 장착 위치, 보정 및 검증을 지속적으로 개선하면서도 불확실한 상황에서는 항상 보수적으로 동작하도록 설계해야 한다.

다른 차량과의 안전한 상호작용(Safe Interaction)은 차량의 속도, 크기, 이동 방향, 통행 우선권(Right-of-Way)을 인식해야 한다. 지게차, 카트, 트럭, 다른 AMR은 사람보다 빠르게 접근할 수 있으며 제동 거리도 더 길 수 있다. 레이더, 라이다, 카메라, 협력형 통신(Cooperative Communication)은 차량 검출과 충돌 위험 평가를 지원한다. 로봇은 교차로에서 양보하거나, 운행 중인 차량 통로를 피하거나, 중장비 근처에서는 더 큰 안전 거리를 유지해야 한다. 안전 인지는 직접 관측과 인프라 기반 정보를 모두 활용할 수 있어야 하지만 어느 하나에만 의존해서는 안 된다.

시험(Testing)은 실제 운용 조건과 최악의 조건 모두에서 안전 인지를 평가해야 한다. 검증에는 다양한 크기, 재질, 색상, 반사율, 위치, 접근 각도, 속도, 조명, 날씨, 바닥 종류, 적재 상태, 센서 고장이 포함되어야 한다. 사람은 서 있는 자세, 걷는 자세, 웅크린 자세, 무릎을 꿇은 자세, 부분적으로 가려진 자세 등 다양한 형태로 시험되어야 한다. 시험 항목에는 검출 거리, 반응 시간, 정지 거리, 감시 범위, 고장 대응, 오경보, 미검출, 성능 저하 운용 시의 동작 등이 포함된다. 반복 시험을 통해 일회성 성공이 아니라 일관된 성능을 입증해야 한다.

시뮬레이션(Simulation)과 기록 데이터 재생(Recorded Data Replay)은 안전 개발을 지원할 수 있지만 실제 시험을 완전히 대체할 수는 없다. 시뮬레이션은 다양한 시나리오를 생성하고 센서 고장을 주입하며 희귀한 상황을 안전하게 평가할 수 있도록 한다. 기록된 센서 데이터는 고장을 재현하고 소프트웨어 버전 간 성능을 비교하는 데 유용하다. 그러나 실제 센서는 오염, 진동, 전자기 간섭, 온도 변화, 기계적 흔들림, 예상치 못한 환경 영향을 받으며, 이러한 요소는 시뮬레이션에서 완벽하게 재현하기 어렵다. 따라서 최종 검증은 반드시 실제 환경에서의 물리적 시험과 현장 실증(Field Trial)을 포함해야 한다.

기능 안전 공학(Functional Safety Engineering)은 인지가 위험 감소(Risk Reduction)에 어떻게 기여하는지를 정의하는 체계적인 절차를 제공한다. 위험 분석(Hazard Analysis)은 위험 사건을 식별하고 심각도와 발생 가능성을 평가하며 필요한 안전 기능을 정의한다. 이후 안전 요구사항은 검출 범위, 응답 시간, 자기진단, 고장 처리, 안전 상태 전환 등을 구체적으로 규정한다. 인지 구성 요소는 이러한 요구사항에 따라 개발되고, 통합되고, 검증되며, 유지관리되어야 한다. 단순히 안전 스캐너를 설치하거나 비상 정지 버튼을 추가한다고 안전이 확보되는 것은 아니며, 완전하고 추적 가능한 시스템 설계를 통해서만 안전이 달성될 수 있다.

운용 절차(Operational Procedures)는 자동화 수준이 매우 높은 시스템에서도 여전히 중요하다. 센서 보호창은 정기적으로 청소되어야 하고, 보호 구역은 점검되어야 하며, 장착 브래킷은 검사되고, 소프트웨어 설정은 관리되어야 한다. 작업자는 경고 표시, 성능 저하 모드, 비상 절차, 로봇을 사용해서는 안 되는 조건을 충분히 이해해야 한다. 선반 이동, 새로운 출입문 설치, 조명 변경, 반사 재질 추가, 차량 동선 변경과 같은 현장 변화는 안전 인지 성능에 직접적인 영향을 줄 수 있다. 따라서 정기적인 점검과 재검증을 통해 실제 시스템이 초기 안전 가정과 계속 일치하는지를 확인해야 한다.

궁극적으로 안전을 위한 인지는 AMR이 위험을 인식하고, 불확실성을 평가하며, 피해가 발생하기 전에 스스로 행동을 제한할 수 있도록 하는 핵심 기능이다. 장애물 검출, 사람 추적, 보호 구역 관리, 지형 분석, 센서 진단, 이중화, 시간 동기화, 정지 모델, Fail-Safe 제어를 하나의 통합된 안전 아키텍처(Safety Architecture)로 결합한다. AMR이 더욱 빠른 속도로 운행되고 사람과 공유하는 환경이 더욱 복잡해질수록, 안전 인지는 더욱 예측적(Predictive)이고, 상황 인식(Context-Aware)이 가능하며, 높은 복원력(Resilience)을 갖는 방향으로 발전할 것이다. 그러나 그 핵심 원칙은 변하지 않는다. 신뢰할 수 있는 인지를 보장할 수 없는 상황에서는 로봇은 반드시 속도를 줄이거나, 정지하거나, 안전 상태(Safe State)로 전환하여 위험을 최소화해야 한다.

01.5 Perception for AI Decision Making

인공지능 의사결정을 위한 인지(Perception for AI Decision Making)는 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 센서 관측값을 인공지능(Artificial Intelligence, AI) 시스템이 행동을 선택하고, 대안을 평가하며, 상황에 맞게 동작을 조정하는 데 사용할 수 있는 구조화된 정보로 변환하는 과정이다. 센서는 영상, 거리, 속도, 온도, 관성 신호와 같은 측정값을 생성하지만, 이러한 값만으로는 로봇이 무엇을 해야 하는지를 직접 판단할 수 없다. 인지 시스템은 이를 객체, 사건, 공간적 관계, 위험, 기회, 환경 상태로 해석한다. 이렇게 해석된 표현은 AI 기반 추론(Reasoning), 계획(Planning), 예측(Prediction), 작업 실행(Task Execution)의 근거가 된다.

AI 의사결정은 단순한 장애물 검출(Obstacle Detection)보다 더 높은 수준의 이해를 요구한다. 로봇은 관찰한 대상이 운용 상황에서 어떤 의미를 가지는지를 판단해야 한다. 팔레트(Pallet)는 현재 임무에 따라 장애물일 수도 있고, 배송 대상일 수도 있으며, 픽업을 기다리는 화물일 수도 있다. 사람은 이동 위험요소일 수도 있고, 지시를 내리는 작업자일 수도 있으며, 공유 통로에서 우선권을 가진 존재일 수도 있다. 닫힌 문은 경로 차단을 의미할 수 있지만, 출입 제어 인터페이스를 통해 열 수 있는 상호작용 대상일 수도 있다. 따라서 인지는 환경 관측값을 목표, 규칙, 작업 상태와 연결하는 상황 인식형 정보(Context-Aware Information)를 제공해야 한다.

첫 번째 요구사항은 현재 장면에 대한 일관된 표현(Coherent Scene Representation)이다. AI 시스템은 어떤 객체가 존재하는지, 어디에 위치하는지, 객체들이 서로 어떤 관계에 있는지, 각 추정값의 신뢰도가 어느 정도인지 알아야 한다. 객체 목록(Object List), 의미 지도(Semantic Map), 점유 격자(Occupancy Grid), 장면 그래프(Scene Graph), 3차원 점군(3D Point Cloud), 추적 궤적(Tracked Trajectory), 환경 라벨(Environmental Label) 등이 이러한 목적에 활용될 수 있다. 유용한 표현은 불필요한 원시 데이터로 의사결정 시스템을 과부하시키지 않으면서 중요한 정보를 요약해야 한다. 동시에 안전하고 지능적인 행동 선택을 위해 충분한 기하학, 의미, 움직임, 불확실성 정보를 보존해야 한다.

객체 인식(Object Recognition)은 익명의 센서 반사값 대신 의미 있는 객체 범주를 AI 시스템에 제공한다. 지게차, 작업자, 팔레트, 충전 스테이션, 검사 대상, 비상구, 제한 설비를 인식하면 로봇은 객체별로 서로 다른 행동 규칙을 적용할 수 있다. 객체 범주는 주행 속도, 경로 우선순위, 요구 분리 거리, 작업 순서, 통신 전략에 영향을 줄 수 있다. 그러나 분류 결과를 완벽하게 신뢰해서는 안 된다. AI 의사결정은 신뢰도 값, 대체 가설(Alternative Hypothesis), 미지 객체(Unknown Object)의 가능성을 함께 고려해야 하며, 불확실한 인지 결과가 과도하게 자신감 있는 행동이나 위험한 행동으로 이어지지 않도록 해야 한다.

의미론적 분할(Semantic Segmentation)은 환경 영역마다 의미를 부여하여 의사결정에 필요한 인지 정보를 확장한다. 로봇은 바닥, 도로, 잔디, 물, 벽, 선반, 기계 구역, 보행자 구역, 적재 구역, 제한 공간을 구분할 수 있다. 이를 통해 의사결정 시스템은 단순히 이동할 수 있는 공간이 아니라, 법적·물리적·운용적으로 적절한 이동 영역을 판단할 수 있다. 두 구역이 기하학적으로 모두 열려 있어도 한쪽은 차량 전용 구역이고 다른 쪽은 보행자 전용 구역일 수 있다. 따라서 의미 정보는 기하학적 자율주행을 정책 인식형 행동(Policy-Aware Behavior)으로 확장하고, AMR이 현장 규칙, 임무 제약, 사회적 기대를 준수하도록 한다.

공간적 관계(Spatial Relationship)는 의사결정이 개별 객체의 정체성보다 객체들이 어떻게 배치되어 있는지에 따라 달라지는 경우가 많기 때문에 중요하다. 로봇은 팔레트가 선반 앞에 있는지, 사람이 기계 옆에 서 있는지, 차량이 교차로로 접근 중인지, 검사 대상이 장비에 의해 부분적으로 가려졌는지를 이해해야 할 수 있다. 장면 그래프와 관계 모델(Relational Model)은 가까이 있음, 뒤에 있음, 내부에 있음, 연결됨, 차단됨, 접근 가능함, 특정 방향으로 이동 중임과 같은 개념을 표현할 수 있다. 이러한 관계는 개별 검출 결과만으로는 얻기 어려운 상위 수준의 추론을 지원하며, AI 시스템이 장면의 운용 구조를 해석할 수 있도록 한다.

시간적 인지(Temporal Perception)는 로봇이 변화를 이해하도록 한다. 하나의 관측값은 현재 상태를 설명하지만, 지능적인 의사결정에는 과거에 어떤 일이 발생했고 앞으로 무엇이 일어날 가능성이 있는지를 이해하는 과정이 필요하다. 추적 시스템(Tracking System)은 객체 식별자를 유지하고, 움직임을 추정하며, 작업자가 접근하는지, 차량이 가속하는지, 문이 열리고 있는지, 팔레트가 최근 이동했는지를 알려준다. 시간 이력(Temporal History)은 지속적인 상태와 순간적인 노이즈를 구분하는 데 도움을 준다. 또한 AI 시스템이 위험이나 기회가 완전히 발생한 이후에 반응하는 것이 아니라, 사전에 사건을 예측하고 능동적으로 행동을 선택하도록 한다.

예측(Prediction)은 인지와 AI 의사결정을 연결하는 핵심 기능이다. 로봇은 관찰된 궤적, 행동 패턴, 장면 상황, 학습된 모델을 바탕으로 주변 객체와 환경의 가능한 미래 상태를 추정할 수 있다. 사람이 통로를 건널 것인지, 다른 AMR이 좁은 통로를 점유할 것인지, 지게차가 교차로로 회전할 것인지를 예측할 수 있다. 이러한 예측에는 항상 불확실성이 존재하므로, 의사결정 시스템은 하나의 결정론적 결과에만 의존해서는 안 되며 여러 가능한 미래를 함께 평가해야 한다. 예측형 인지(Predictive Perception)는 보다 부드러운 이동, 조기 위험 감소, 효율적인 협업을 지원한다.

불확실성(Uncertainty)은 반드시 명시적으로 표현되어야 한다. 인지는 결코 완벽하게 정확하지 않기 때문이다. 센서 노이즈, 가려짐, 조명, 날씨, 반사 재질, 보정 오류, 익숙하지 않은 객체는 모두 신뢰도를 낮출 수 있다. AI 의사결정 계층은 어떤 정보가 신뢰할 수 있고, 모호하며, 불완전하거나, 서로 모순되는지를 알아야 한다. 신뢰도 점수(Confidence Score), 확률 분포(Probability Distribution), 공분산(Covariance), 품질 플래그(Quality Flag), 미지 객체 라벨은 시스템이 상황에 맞게 행동을 조정하도록 한다. 불확실성이 높을 경우 로봇은 속도를 줄이고, 추가 관측을 수행하며, 더 안전한 경로를 선택하거나, 사람의 지원을 요청하거나, 중요하지 않은 작업을 연기할 수 있다.

능동 인지(Active Perception)는 AI 시스템이 로봇의 관측 방식을 직접 조절할 수 있도록 한다. 로봇은 현재 센서 데이터를 수동적으로 받아들이는 것에 그치지 않고, 불확실성을 줄이기 위해 이동하거나, 회전하거나, 시점을 바꾸거나, 카메라 노출을 조정하거나, 조명을 켜거나, 물체에 천천히 접근할 수 있다. 예를 들어 목표물이 부분적으로 가려져 있다면, 로봇은 진행 여부를 결정하기 전에 위치를 바꾸어 더 나은 관측값을 확보할 수 있다. 능동 인지는 센싱과 행동을 피드백 루프(Feedback Loop)로 연결하며, 로봇이 정보 품질을 향상시키는 움직임을 스스로 선택하게 한다. 이는 검사, 조작, 도킹, 복잡한 환경 운용에서 특히 중요하다.

인지는 임무 조건이 충족되었는지를 확인함으로써 작업 수준 의사결정(Task-Level Decision Making)도 지원한다. 로봇은 적재 구역이 비어 있는지, 카트가 올바르게 연결되었는지, 제품이 존재하는지, 검사 스테이션에 접근 가능한지, 충전 커넥터가 정렬되었는지를 확인해야 할 수 있다. 이러한 관측값은 다음 임무 단계를 시작할 수 있는지를 결정한다. 따라서 AI 의사결정은 자율주행뿐 아니라 상태 검증(State Verification)과 작업 흐름 진행(Workflow Progression)을 위해서도 인지에 의존한다. 잘못된 확인은 작업 미완료, 장비 손상, 잘못된 검사 결과, 기계와의 위험한 상호작용으로 이어질 수 있다.

사람 중심 의사결정(Human-Aware Decision Making)은 사람, 행동, 상호작용 신호에 대한 인지를 필요로 한다. 로봇은 신체 자세, 이동 방향, 손동작, 음성 명령, 시선, 보호 장비 착용 여부, 이상 상태 징후를 검출할 수 있다. 이러한 관측은 양보 행동, 속도, 통신 방식, 작업 우선순위에 영향을 줄 수 있다. 로봇에게 정지 신호를 보내는 작업자는 단순히 주변에 서 있는 사람과 다르게 해석되어야 한다. 그러나 사람의 의도 추정(Human Intention Estimation)은 불확실하고 문화적 차이에도 영향을 받으므로, 시스템은 공격적인 가정을 피해야 한다. 보수적인 해석과 명확한 로봇 피드백이 신뢰할 수 있는 상호작용을 위해 중요하다.

멀티모달 인지(Multimodal Perception)는 기하학, 외형, 움직임, 소리, 온도, 로봇 내부 상태를 결합하여 AI 의사결정의 품질을 높인다. 카메라는 사람을 식별하고, 라이다(LiDAR)는 정확한 거리를 제공하며, 레이더(Radar)는 접근 속도를 측정하고, 마이크는 경고음을 감지하며, 열화상 센서(Thermal Sensor)는 과열된 장비를 식별할 수 있다. 내부 센서는 배터리 용량 저하, 바퀴 미끄러짐, 액추에이터 스트레스를 알려줄 수 있다. 이러한 모달리티를 통합하면 AI 시스템은 외부 환경뿐 아니라 로봇 자체의 행동 가능 상태까지 포함한 보다 완전한 상황 정보를 바탕으로 의사결정을 수행할 수 있다.

의사결정 시스템은 운용 지능(Operational Intelligence)을 위한 인지와 인증된 안전(Certified Safety)을 위한 인지를 구분해야 한다. 고급 AI는 사람이 로봇의 경로를 건널 의도가 있다고 추론할 수 있지만, 안전 인증 스캐너는 사람이 보호 구역에 진입하면 독립적으로 즉시 정지를 요구할 수 있다. 이 두 계층은 서로 혼동되지 않으면서 협력해야 한다. AI 인지는 효율성, 예측, 상황 이해를 향상시키고, 결정론적 안전 기능(Deterministic Safety Function)은 최소 보호 행동을 강제한다. 명확한 아키텍처 분리는 불확실한 AI 추론이 필수 안전 제약을 무시하지 못하도록 한다.

실시간 성능(Real-Time Performance)은 필수적이다. 지연된 인지는 정확하더라도 의사결정 시점에는 의미가 없어질 수 있기 때문이다. AI 시스템은 환경 조건이 변하기 전에 대안을 평가할 수 있을 만큼 빠르게 갱신된 정보를 받아야 한다. 고해상도 카메라, 점군, 신경망, 추적, 예측, 장면 추론은 매우 큰 계산 부하를 생성한다. 따라서 효율적인 데이터 파이프라인(Data Pipeline), GPU 가속, 병렬 처리, 메시지 우선순위, 제한된 지연 시간(Bounded Latency)이 필요하다. 시스템은 중요하지 않은 의미 정보보다 긴급 위험요소를 먼저 처리해야 하며, 최대 센서 부하와 통신 부하에서도 예측 가능한 처리 시간을 유지해야 한다.

인지 출력은 개별 센서 형식이 아니라 AI 추론의 요구사항을 기준으로 설계되어야 한다. 의사결정 엔진은 객체 식별, 자세(Pose), 속도, 의도 확률(Intent Probability), 접근 가능성(Accessibility), 위험 수준(Risk Level), 작업 관련성(Task Relevance), 신뢰도와 같은 구조화된 설명으로부터 이점을 얻는다. 장면 그래프, 세계 모델(World Model), 신념 상태(Belief State), 기호적 사실(Symbolic Fact)은 인지와 추론 사이에 안정적인 인터페이스를 제공할 수 있다. 이러한 추상화는 의사결정 알고리즘이 특정 카메라, 라이다, 레이더 하드웨어에 종속되지 않도록 하며, 전체 자율주행 스택을 재설계하지 않고도 센서나 인지 모델을 교체하기 쉽게 만든다.

학습 기반 의사결정 시스템(Learning-Based Decision System)은 인지 이력을 활용하여 시간이 지남에 따라 행동을 개선할 수 있다. 반복 관측을 통해 교통 패턴, 혼잡 시간, 사람들의 주요 이동 경로, 일반적인 적재 지연, 센서 성능을 저하시키는 환경 조건을 파악할 수 있다. 로봇은 이러한 패턴을 바탕으로 경로 선택, 속도 프로파일, 관측 전략, 작업 시간을 조정할 수 있다. 그러나 잘못된 적응이 위험한 행동을 유발할 수 있기 때문에 온라인 학습(Online Learning)은 매우 신중하게 관리되어야 한다. 변화는 운용 규칙, 안전 제약, 모니터링, 검증, 롤백(Rollback) 기능에 의해 제한되어야 한다.

세계 모델(World Model)은 객체, 장소, 사건, 관계, 가능한 미래 상태를 내부적으로 유지함으로써 AI 의사결정에 보다 포괄적인 기반을 제공한다. 짧은 시간 동안만 존재하는 센서 프레임과 달리, 세계 모델은 정보를 시간에 따라 보존하고 새로운 증거가 들어올 때마다 이를 갱신한다. 통로가 일시적으로 막혀 있다는 사실, 작업자가 마지막으로 출입구 근처에서 관측되었다는 사실, 특정 기계가 현재 사용할 수 없다는 상태를 기록할 수 있다. 이러한 기억은 로봇이 현재 시야를 넘어 추론할 수 있도록 하며, 장기 계획(Long-Horizon Planning), 작업 조정(Task Coordination), 부분 관측 상황에서의 복구를 지원한다.

인지 정보가 서로 충돌하는 경우에도 의사결정은 강인하게 유지되어야 한다. 카메라는 사람을 검출했지만 라이다는 일부 형상만 확인할 수 있고, 레이더는 움직임을 보고했지만 시각 시스템에서는 객체를 찾지 못할 수 있다. 시스템은 충돌을 해결하기 전에 각 센서의 신뢰성, 환경 조건, 보정 상태, 과거 일관성을 비교해야 한다. 안전과 관련된 상황에서는 일반적으로 보수적인 해석이 적절하다. 중요도가 낮은 상황에서는 로봇이 추가 정보를 수집할 수 있다. 명시적인 충돌 처리(Conflict Handling)는 서로 불일치하는 데이터가 숨겨진 가정을 통해 불안정하고 예측 불가능한 행동으로 변하는 것을 방지한다.

AI 의사결정을 위한 인지 시험은 관측과 행동의 전체 관계를 평가해야 한다. 객체 검출 정확도만 독립적으로 측정하는 것은 충분하지 않다. 엔지니어는 인지 출력이 올바른 경로 선택, 안전한 양보, 작업 진행, 복구 행동, 사람과의 상호작용으로 이어지는지를 시험해야 한다. 시험 시나리오에는 모호한 객체, 가려짐, 상황 변화, 센서 불일치, 비정상적인 사람 행동, 통신 지연, 성능이 저하된 환경 조건이 포함되어야 한다. 평가 지표에는 의사결정 정확도, 작업자 개입률, 작업 성공률, 응답 지연, 위험 노출, 반복 시험 간 일관성이 포함될 수 있다.

설명 가능성(Explainability)은 AI 의사결정이 복잡한 인지 모델에 의존할수록 중요해진다. 작업자와 엔지니어는 로봇이 왜 정지했는지, 경로를 변경했는지, 작업을 거부했는지, 도움을 요청했는지를 이해할 필요가 있다. 시스템은 사각 모서리 근처에서 낮은 신뢰도로 사람이 검출되었거나, 통로가 제한 구역으로 분류되었거나, 센서 간 불일치가 허용 기준을 초과했다는 사실을 보고할 수 있어야 한다. 이러한 설명은 디버깅, 운용 신뢰, 규제 검토, 사고 분석을 개선한다. 또한 실제 인지 실패와 합리적인 보수적 행동을 구분하는 데에도 도움이 된다.

궁극적으로 AI 의사결정을 위한 인지는 AMR이 단순한 반응형 자동화(Reactive Automation)에서 상황 인식형 자율성(Context-Aware Autonomy)으로 발전하는 데 필요한 근거를 제공한다. 원시 측정값을 객체, 관계, 예측, 불확실성, 작업 관련 세계 상태로 변환하여 추론과 행동을 지원한다. 로봇 지능이 발전함에 따라 인지는 지속형 세계 모델(Persistent World Model), 인과적 이해(Causal Understanding), 멀티모달 해석, 능동적 정보 수집, 협력 행동에 더욱 깊이 기여하게 될 것이다. 그러나 AI 의사결정의 품질은 항상 그 결정이 의존하는 인지 정보의 품질, 실시간성, 정직성(Honesty)에 의해 근본적으로 제한될 것이다.

01.6 Perception Data Types

인지 데이터 유형(Perception Data Types)은 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 주변 환경과 자신의 운용 상태에 대한 정보를 수집하고, 표현하며, 교환하고, 저장하는 구조화된 형태를 의미한다. 센서는 영상(Image), 거리(Distance), 속도(Velocity), 온도(Temperature), 음향(Sound Wave), 가속도(Acceleration), 위치(Position Estimate)와 같은 다양한 측정값을 생성한다. 이러한 측정값은 차원(Dimensionality), 시간 특성(Timing), 정확도(Accuracy), 데이터 밀도(Density), 의미(Semantics) 측면에서 크게 다르다. 신뢰성 있는 인지 아키텍처(Perception Architecture)는 이러한 차이를 유지하면서도 데이터를 위치추정(Localization), 지도 작성(Mapping), 자율주행(Navigation), 안전(Safety), 검사(Inspection), 인공지능 의사결정(AI Decision Making)을 지원하는 호환 가능한 표현으로 변환해야 한다.

원시 센서 데이터(Raw Sensor Data)는 각 물리 센서가 측정한 값을 가장 직접적으로 디지털화한 형태이다. 카메라는 픽셀 밝기나 색상 배열을 생성하고, 라이다(LiDAR)는 스캔 방향에 따른 거리와 반사 강도(Reflectivity)를 생성한다. 레이더(Radar)는 거리, 방위각(Azimuth), 상대 속도(Radial Velocity), 신호 세기(Signal Strength)를 반환하며, 관성측정장치(Inertial Measurement Unit, IMU)는 가속도와 각속도 샘플을 생성한다. 원시 데이터는 가장 많은 원본 정보를 포함하지만 동시에 노이즈(Noise), 왜곡(Distortion), 불필요한 정보, 센서 고유의 데이터 형식도 함께 포함한다. 따라서 상위 인지 모듈이 활용하기 위해서는 보정(Calibration), 필터링(Filtering), 시간 동기화(Synchronization), 해석(Interpretation)이 반드시 필요하다.

영상 데이터(Image Data)는 가장 풍부한 정보를 포함하는 인지 데이터 유형 가운데 하나이다. 일반 카메라는 각 픽셀이 밝기 또는 색상을 나타내는 2차원 배열을 생성하며, 일반적으로 흑백(Grayscale), RGB, 적외선(Infrared) 또는 다양한 분광(Spectral) 형식으로 표현된다. 영상은 외형(Appearance), 질감(Texture), 형태(Shape), 표시(Marking), 조명(Lighting), 주변 상황(Context)을 포함하고 있어 객체 인식(Object Recognition), 의미론적 분할(Semantic Segmentation), 비전 기반 위치추정(Visual Localization), 결함 검사(Defect Inspection), 사람과의 상호작용(Human Interaction)에 활용될 수 있다. 그러나 영상만으로는 정확한 거리 정보를 직접 제공하지 못하며, 조명, 그림자, 눈부심, 모션 블러(Motion Blur), 렌즈 오염, 날씨, 노출 설정에 크게 영향을 받는다.

깊이 영상(Depth Image)은 영상의 각 픽셀에 센서와의 거리를 함께 저장하는 데이터이다. 스테레오 카메라(Stereo Camera), 구조광 센서(Structured-Light Sensor), 비행시간(Time-of-Flight, ToF) 카메라 또는 라이다 데이터를 투영하여 생성될 수 있다. 깊이 영상은 카메라의 공간 구조와 기하학적 거리 정보를 동시에 제공하기 때문에 장애물 검출(Obstacle Detection), 객체 크기 측정(Object Sizing), 표면 복원(Surface Reconstruction), 조작(Manipulation), 도킹(Docking)에 매우 유용하다. 그러나 무효 픽셀(Invalid Pixel), 반사체, 투명 재질, 태양광 간섭, 제한된 측정 거리 등으로 인해 누락되거나 부정확한 값이 발생할 수 있다. 따라서 인지 시스템은 유효한 거리 데이터와 불확실하거나 사용할 수 없는 데이터를 구분해야 한다.

점군(Point Cloud)은 x, y, z 좌표를 가진 수많은 점들의 집합으로 3차원 공간을 표현하는 데이터이다. 추가적으로 반사 강도(Intensity), 색상(Color), 시간정보(Timestamp), 센서 채널(Sensor Channel), 분류(Classification), 신뢰도(Confidence) 등을 포함할 수 있다. 라이다는 가장 대표적인 점군 생성 센서이지만 스테레오 비전(Stereo Vision), 깊이 카메라(Depth Camera), 3차원 재구성(Reconstruction) 알고리즘도 점군을 생성할 수 있다. 점군은 객체, 표면, 지면 구조, 자유 공간에 대한 직접적인 기하학 정보를 제공하지만 데이터가 희소(Sparse)하고 불규칙하며 계산량이 많다. 따라서 실시간 의사결정을 위해 필터링, 다운샘플링(Downsampling), 분할(Segmentation), 복셀화(Voxelization), 지도 변환(Map Transformation) 과정을 거치는 경우가 많다.

거리 데이터(Range Data)는 센서와 가장 가까운 표면 사이의 거리를 하나 이상의 측정 방향에 대해 표현하는 데이터이다. 2차원 라이다는 각도 순서대로 배열된 거리 값을 생성하며, 초음파 센서(Ultrasonic Sensor)나 단순 근접 센서는 하나 또는 소수의 거리 값만 제공하기도 한다. 거리 데이터는 크기가 작으면서도 충돌 회피(Collision Avoidance), 벽 추종(Wall Following), 도킹(Docking), 보호 구역 감시(Protective Zone Monitoring), 지역 지도 생성(Local Mapping)에 매우 효과적이다. 하지만 센서 장착 위치, 시야(Field of View), 빔 폭(Beam Width), 최소·최대 측정 거리, 반사 특성, 환경 조건에 따라 누락 검출(Missed Detection)이나 허위 반사(False Echo)가 발생할 수 있으므로 이러한 특성을 함께 고려해야 한다.

레이더 데이터(Radar Data)는 다른 광학 센서와 달리 도플러(Doppler) 효과를 이용하여 상대 속도를 직접 측정할 수 있다는 특징이 있다. 레이더 데이터에는 목표물 거리(Range), 방위각(Azimuth), 고도(Elevation), 상대 속도(Radial Speed), 신호 크기(Signal Amplitude), 검출 신뢰도(Detection Confidence)가 포함될 수 있다. 따라서 비, 안개, 먼지, 야간 환경에서도 접근하는 차량이나 이동하는 사람을 안정적으로 검출할 수 있다. 그러나 공간 해상도는 카메라나 라이다보다 낮으며 다중 반사(Multipath Reflection), 허상(Ghost Target), 여러 객체가 하나로 합쳐지는 현상이 발생할 수 있다. 따라서 레이더 데이터는 군집화(Clustering), 추적(Tracking), 다른 센서와의 융합(Fusion)을 통해 해석 정확도를 높여야 한다.

열 데이터(Thermal Data)는 적외선 복사 에너지를 측정하여 온도와 관련된 영상 형태로 표현하는 데이터이다. 열화상 카메라는 사람, 동물, 과열된 기계, 전기적 이상, 화재, 조명이 부족한 환경의 따뜻한 물체를 검출할 수 있다. 산업용 AMR에서는 장비 검사와 안전 감시에 활용될 수 있다. 측정값은 표면 방사율(Emissivity), 관측 각도, 거리, 대기 조건, 주변 열원의 반사에 영향을 받을 수 있다. 따라서 열 인지는 상대적인 열 패턴(Relative Heat Pattern)과 보정된 온도 추정(Calibrated Temperature Estimate)을 구분하고 품질 정보를 함께 유지해야 한다.

음향 데이터(Acoustic Data)는 마이크(Microphone) 또는 마이크 배열(Microphone Array)이 시간에 따라 측정한 공기 압력 변화를 의미한다. 음성(Speech), 경보음(Alarm), 기계 소음, 충격음, 공기 누출(Air Leak), 베어링 이상(Bearing Fault), 환경 이벤트(Environmental Event) 등이 포함될 수 있으며 이는 광학 센서로는 감지하기 어려운 정보이다. 시간 영역 파형(Time-Domain Waveform), 주파수 스펙트럼(Frequency Spectrum), 음원 방향(Sound Source Direction), 분류된 음향 이벤트(Audio Event)가 대표적인 데이터 유형이다. 음향 인지는 사람과 로봇의 상호작용 및 예지보전(Predictive Maintenance)을 지원할 수 있지만 잔향(Reverberation), 배경 소음, 여러 음원의 중첩, 바람 소음, 마이크 감도 변화 등을 고려해야 하며 개인정보 보호와 데이터 보존 정책도 함께 고려해야 한다.

관성 데이터(Inertial Data)는 로봇 본체의 움직임을 선형 가속도(Linear Acceleration)와 각속도(Angular Velocity)로 표현한다. 일부 IMU는 자기장(Magnetic Field), 자세(Orientation), 온도, 내부 상태 정보도 함께 제공한다. 관성 데이터는 매우 높은 주기로 생성되며 단기 움직임 추정, 진동 검출, 기울기 측정, 외부 기준이 일시적으로 사라졌을 때 위치추정을 지원하는 데 필수적이다. 그러나 바이어스(Bias)와 노이즈가 누적되면서 드리프트(Drift)가 발생하기 때문에 휠 오도메트리(Wheel Odometry), 라이다, 카메라, 위성항법시스템(Global Navigation Satellite System, GNSS)과 반드시 융합되어야 한다.

휠 오도메트리 데이터(Wheel Odometry Data)는 바퀴 회전, 조향 위치, 모터 엔코더(Motor Encoder), 구동 제어기 정보를 이용하여 로봇의 이동량을 추정한다. 일반적으로 선형 이동량, 회전량, 속도, 자세 변화량을 표현한다. 오도메트리는 저렴하고 높은 주기로 제공되며 명령된 이동과 직접 연결되기 때문에 지역 자율주행(Local Navigation)과 운동 제어(Motion Control)에 널리 활용된다. 그러나 바퀴 미끄러짐(Slip), 스키드(Skid), 타이어 변형, 접지 손실, 불규칙한 노면에서는 정확도가 급격히 감소한다. 무거운 적재물, 급회전, 비포장 지면, 타이어 마모도 실제 이동과 바퀴 회전의 관계를 변화시키므로 불확실성을 지속적으로 평가해야 한다.

자세 데이터(Pose Data)는 로봇, 센서 또는 관측 대상의 위치와 방향을 특정 좌표계(Coordinate Frame)에서 표현하는 데이터이다. 2차원 자세는 일반적으로 x, y, Heading으로 표현되고, 3차원 자세는 이동(Translation)과 회전(Rotation)을 오일러 각(Euler Angle), 회전 행렬(Rotation Matrix), 쿼터니언(Quaternion) 등으로 표현한다. 자세 데이터는 위치추정(Localization), 지도 정합(Map Alignment), 경로 계획(Path Planning), 도킹(Docking), 센서 융합(Sensor Fusion)의 핵심이다. 모든 자세 정보에는 타임스탬프(Timestamp), 기준 좌표계, 불확실성 정보가 함께 포함되어야 하며, 그렇지 않으면 동일한 숫자라도 서로 다른 시점이나 좌표계를 의미할 수 있다.

변환 데이터(Transform Data)는 서로 다른 좌표계 사이의 공간적 관계를 정의한다. AMR은 지도(Map), 오도메트리(Odometry), 로봇 본체(Base), 라이다, 카메라, 매니퓰레이터(Manipulator), 적재물(Payload), 도킹 장치(Docking Mechanism) 등의 좌표계를 사용할 수 있다. 변환 정보는 한 좌표계의 위치와 자세를 다른 좌표계로 변환하는 방법을 제공한다. 정적 변환(Static Transform)은 센서 장착 관계를 나타내며, 동적 변환(Dynamic Transform)은 로봇이나 조향장치, 서스펜션, 매니퓰레이터의 움직임에 따라 변화한다. 작은 장착 오차나 시간 오차도 먼 거리 객체나 고속 이동에서는 큰 위치 오차를 유발할 수 있으므로 매우 정확해야 한다.

점유 데이터(Occupancy Data)는 공간이 비어 있는지, 점유되어 있는지, 또는 알 수 없는지를 표현한다. 2차원 점유 격자(Occupancy Grid)는 공간을 셀(Cell)로 나누고 각 셀에 확률이나 상태 값을 저장한다. 3차원에서는 복셀 격자(Voxel Grid), 옥트리(Octree), 부호 거리장(Signed Distance Field)이 사용될 수 있다. 이러한 표현은 불규칙한 센서 데이터를 계획 알고리즘이 쉽게 사용할 수 있는 공간 구조로 변환하여 충돌 회피, 경로 계획, 탐색, 충돌 검사에 활용된다. 관측되지 않은 공간은 자유 공간과 구분되어야 하며 단순히 데이터가 없다고 안전한 공간으로 간주해서는 안 된다.

의미 데이터(Semantic Data)는 객체, 표면, 영역 또는 사건에 의미를 부여한다. 사람(Person), 지게차(Forklift), 팔레트(Pallet), 도로(Road), 벽(Wall), 충전 스테이션(Charging Station), 문(Door), 식생(Vegetation), 물(Water), 제한 구역(Restricted Zone) 등의 클래스(Class Label)가 포함될 수 있다. 의미 정보는 영상 픽셀, 점군, 지도 셀, 바운딩 박스(Bounding Box), 추적 객체, 장면 그래프에 부착될 수 있다. 이를 통해 로봇은 모든 점유 공간을 동일하게 취급하지 않고 작업 목적에 맞는 규칙을 적용할 수 있다. 의미 분류 역시 불확실성이 존재하므로 신뢰도, 대체 클래스, 모델 버전, 근거 정보도 함께 포함하는 것이 바람직하다.

객체 데이터(Object Data)는 환경에서 검출된 개별 객체를 표현한다. 일반적으로 객체 ID, 종류(Category), 위치(Position), 크기(Dimension), 자세(Orientation), 속도(Velocity), 형상(Shape), 신뢰도(Confidence), 관측 이력을 포함한다. 바운딩 박스, 다각형(Polygon), 3차원 큐보이드(Cuboid), 키포인트(Keypoint), 표면 모델(Surface Model) 등이 대표적인 표현 방식이다. 객체 데이터는 추적, 충돌 예측, 조작, 재고 관리, 사람 및 장비와의 상호작용을 지원한다. 동일한 객체가 여러 센서에서 동시에 검출될 수 있으므로 중복 객체 생성을 방지하고 동일한 객체 ID를 유지하기 위한 데이터 연관(Data Association)이 필요하다.

추적 데이터(Track Data)는 하나의 프레임이 아니라 여러 시간에 걸쳐 동일 객체를 표현하는 데이터이다. 일반적으로 지속적인 식별자(Persistent Identifier), 상태(State), 속도, 가속도, 이동 이력(Trajectory History), 신뢰도, 유지 시간을 포함한다. 추적을 통해 객체가 정지 중인지, 접근 중인지, 멀어지는지, 경로를 가로지를 가능성이 있는지를 판단할 수 있으며 일시적인 미검출에도 강인한 동작을 제공한다. 추적 관리는 생성(Create), 확인(Confirmation), 유지(Continuation), 병합(Merge), 분리(Split), 삭제(Delete)를 수행해야 하며 잘못된 연관은 위험한 의사결정을 유발할 수 있다.

궤적 및 예측 데이터(Trajectory and Prediction Data)는 미래 시간 동안의 가능한 움직임을 표현한다. AMR 자신의 계획 경로, 다른 차량의 예상 이동, 사람의 가능한 이동 경로 등이 포함될 수 있다. 각 점에는 위치, 자세, 속도, 시간, 불확실성이 포함된다. 사람과 차량의 움직임은 결정론적이지 않기 때문에 여러 개의 예측 가설(Hypothesis)과 각 확률을 함께 생성하는 경우가 많다. 의사결정 시스템은 이를 이용하여 충돌 위험, 양보, 경로 선택, 속도 제어를 수행하며, 예측 시간 범위와 갱신 주기는 로봇 속도와 제동 능력에 맞게 설정되어야 한다.

지도 데이터(Map Data)는 현재 센서 시야를 넘어서는 지속적인 환경 정보를 제공한다. 계량 지도(Metric Map)는 기하학을, 의미 지도(Semantic Map)는 객체와 영역의 의미를, 위상 지도(Topological Map)는 장소와 연결 관계를 표현한다. 차선 지도(Lane Map), 평면도(Floor Plan), 고도 지도(Elevation Map), 주행 가능 지도(Traversability Map), 인프라 지도(Infrastructure Map)는 특수한 형태의 지도이다. AMR은 여러 종류의 지도를 동시에 사용할 수 있으며, 지도에는 원점, 축척, 해상도, 좌표계, 갱신 시간, 버전 정보가 포함되어야 한다. 오래되었거나 정렬이 맞지 않는 지도는 위치추정과 경로 계획에 심각한 오류를 초래할 수 있다.

주행 가능 데이터(Traversability Data)는 특정 영역을 로봇이 안전하게 이동할 수 있는지를 표현한다. 경사도(Slope), 거칠기(Roughness), 노면 종류, 지상고(Clearance), 지면 강도(Ground Strength), 장애물 높이, 바퀴 미끄러짐 위험, 차량 성능 제한 등을 종합하여 계산한다. 이는 단순 점유 정보와 다르며 비어 있는 공간이라도 너무 가파르거나, 미끄럽거나, 약하거나, 좁거나, 울퉁불퉁하면 이동 불가능한 영역이 될 수 있다. 데이터는 라벨(Label), 확률(Probability), 비용(Cost), 연속 점수(Continuous Score) 형태로 표현될 수 있으며 로봇 크기, 적재물, 타이어, 현재 상태에 따라 달라진다.

이벤트 데이터(Event Data)는 하나 이상의 센서로부터 의미 있는 사건을 추출하여 표현한다. 예를 들어 사람이 보호 구역에 진입한 경우, 문이 열린 경우, 경보가 울린 경우, 팔레트가 제거된 경우, 장비가 과열된 경우, 위치추정 품질이 기준 이하로 떨어진 경우 등이 있다. 이벤트는 연속적인 센서 데이터를 임무 수행에 의미 있는 상태 변화로 변환하여 상위 시스템과의 통신을 단순화한다. 이벤트에는 종류(Type), 시간(Time), 위치(Location), 심각도(Severity), 신뢰도, 발생 원인, 지속 시간이 포함되어야 하며 동일한 사건이 반복 보고되지 않도록 관리되어야 한다.

로봇 상태 데이터(Robot State Data)는 AMR이 현재 얼마나 정상적으로 인지하고 행동할 수 있는지를 표현한다. 배터리 상태(Battery State), 모터 전류, 바퀴 속도, 조향각, 브레이크 상태, 액추에이터 온도, 네트워크 상태, 프로세서 부하, 센서 상태, 적재 상태, 비상정지(Emergency Stop), 운용 모드 등이 포함될 수 있다. 내부 상태는 인지와 직접 관련되는데, 동일한 환경이라도 배터리가 부족하거나 브레이크 성능이 저하되었거나 무거운 화물을 적재한 경우에는 전혀 다른 의사결정을 내려야 하기 때문이다.

메타데이터(Metadata)는 모든 인지 데이터에 대한 부가 정보를 제공한다. 중요한 메타데이터에는 타임스탬프, 센서 ID, 좌표계, 시퀀스 번호, 보정 버전, 소프트웨어 버전, 노출 설정, 환경 조건, 처리 단계, 데이터 품질 상태 등이 포함된다. 메타데이터가 없으면 데이터를 정확히 동기화하거나 변환하거나 재현하거나 분석하기 어렵다. 또한 메타데이터는 디버깅과 장기 데이터셋 관리에도 매우 중요하며, 분산형 AMR 시스템에서는 센서부터 엣지 컴퓨터, 미들웨어(Middleware), 저장장치, 클라우드 서비스까지 일관되게 유지되어야 한다.

불확실성 데이터(Uncertainty Data)는 인지 결과의 신뢰성과 오차 범위를 표현한다. 신뢰도 점수(Confidence Score), 분산(Variance), 공분산 행렬(Covariance Matrix), 확률 분포(Probability Distribution), 품질 등급(Quality Category), 유효성 플래그(Validity Flag) 등이 사용될 수 있다. 위치 정보는 공분산으로, 객체 분류는 클래스 확률(Class Probability)로, 센서 상태는 이산 상태(Discrete State)로 표현하는 것이 일반적이다. 불확실성을 유지해야만 모든 관측값을 동일하게 신뢰하는 오류를 방지할 수 있으며, 신중한 의사결정, 센서 충돌 해결, 능동 인지, 성능 저하 시 안전한 운용을 지원할 수 있다.

인지 데이터 형식(Perception Data Format)은 하드웨어 드라이버, 알고리즘, 의사결정 시스템 간의 효율적인 정보 교환을 지원해야 한다. 배열(Array), 영상(Image), 점군 메시지(Point Cloud Message), 구조화 객체(Structured Object), 지도 계층(Map Layer), 시계열(Time Series), 이벤트 메시지(Event Message) 등이 대표적인 형식이다. 데이터 형식은 단위(Unit), 필드 의미(Field Meaning), 데이터 타입(Data Type), 허용 범위, 좌표계 규칙, 오류 조건을 명확히 정의해야 한다. 이러한 정의가 없으면 숨겨진 가정 때문에 시스템 통합 실패가 발생할 수 있으며, 명확한 데이터 계약(Data Contract)은 센서, 인지 알고리즘, 자율주행, AI 시스템이 독립적으로 발전하면서도 호환성을 유지하도록 한다.

데이터 동기화(Data Synchronization)는 서로 다른 센서가 서로 다른 주기와 지연 시간을 가지기 때문에 필수적이다. 카메라는 초당 수십 프레임, 라이다는 상대적으로 느린 스캔 주기, IMU는 초당 수백 샘플, GNSS는 비교적 낮은 갱신 주기로 동작한다. 인지 시스템은 센서 융합 이전에 이러한 데이터를 동일한 시간 기준으로 정렬해야 한다. 하드웨어 트리거(Hardware Trigger), 정밀 시간 프로토콜(Precision Time Protocol, PTP), 시계 보정, 타임스탬프 보정, 버퍼링(Buffering), 보간(Interpolation)이 사용될 수 있다. 동기화가 잘못되면 움직이는 객체가 서로 다른 위치에 존재하는 것처럼 보이며 위치추정, 추적, 예측 성능이 크게 저하된다.

데이터 저장(Data Storage)은 정보가 즉시 제어용인지, 임시 버퍼용인지, 진단용인지, 학습용인지, 장기 증거용인지에 따라 요구사항이 달라진다. 원시 센서 데이터는 가장 유연하지만 저장 공간을 많이 요구한다. 반면 객체, 추적, 지도, 이벤트 데이터는 크기가 작지만 오류 분석에 필요한 세부 정보를 잃을 수 있다. 실제 시스템은 중요한 이벤트 주변의 원시 데이터와 메타데이터를 함께 저장하는 계층형 저장 정책(Layered Storage Policy)을 사용한다. 압축(Compression), 색인(Indexing), 암호화(Encryption), 접근 제어(Access Control), 보존 기간(Retention Period), 데이터셋 버전 관리(Versioning)를 초기 설계부터 고려해야 한다.

궁극적으로 인지 데이터 유형은 AMR 자율성의 정보 기반을 형성한다. 영상은 외형을, 점군과 거리 데이터는 기하학을, 레이더와 추적 데이터는 움직임을, 지도는 지속적인 공간 정보를, 의미 데이터는 환경의 의미를, 내부 상태는 로봇 자신의 능력을 표현한다. 메타데이터, 좌표계, 타임스탬프, 불확실성은 이러한 서로 다른 데이터 유형을 하나의 일관된 시스템으로 연결한다. 위치추정, 경로 계획, 안전, 검사, AI 의사결정의 성능은 센서 자체의 품질뿐 아니라 인지 데이터가 얼마나 정확하게 표현되고, 동기화되고, 검증되고, 교환되며, 보존되는지에 의해 결정된다.

01.7 Real-Time Perception Requirements

실시간 인지 요구사항(Real-Time Perception Requirements)은 자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)이 센서 측정값을 즉각적인 주행(Motion), 안전(Safety), 위치추정(Localization), 경로 계획(Planning), 작업 의사결정(Task Decision)에 활용할 수 있는 정보로 얼마나 빠르고, 일관되며, 신뢰성 있게 변환해야 하는지를 정의한다. 실시간 동작은 단순히 가능한 한 빠르게 데이터를 처리하는 것을 의미하지 않는다. 로봇의 속도, 제동 성능, 운용 환경, 임무 특성에 맞는 정해진 시간 제한 안에서 모든 핵심 인지 기능을 완료하는 것을 의미한다. 아무리 정확한 인지 결과라도 너무 늦게 도착하면 실제 운용에서는 쓸모가 없거나 오히려 위험할 수 있다.

필요한 응답 시간(Response Time)은 지연이 초래하는 물리적 결과에 의해 결정된다. AMR이 사람, 차량, 벽 또는 플랫폼 가장자리로 이동하는 경우 센싱(Sensing), 통신(Communication), 처리(Processing), 의사결정(Decision Making), 구동 제어(Actuation)의 모든 지연 시간이 실제 제동이 시작되기 전까지 로봇이 이동하는 거리에 영향을 미친다. 저속 창고용 AMR은 고속 실외 AMR보다 긴 지연 시간을 허용할 수 있지만, 두 시스템 모두 실제 제동 성능을 기반으로 시간 예산(Timing Budget)을 계산해야 한다. 따라서 실시간 요구사항은 위험 분석(Hazard Analysis), 차량 동역학(Vehicle Dynamics), 운용 속도, 최소 보호 거리(Minimum Protective Distance)에서 출발해야 한다.

종단 간 지연 시간(End-to-End Latency)은 실제 환경에서 사건이 발생한 순간부터 이에 대응하는 제어 명령이 시작될 때까지의 전체 시간을 의미한다. 여기에는 센서 노출 또는 스캔 시간, 신호 변환, 장치 버퍼링, 네트워크 전송, 전처리(Preprocessing), AI 추론(Inference), 센서 융합(Sensor Fusion), 객체 추적(Tracking), 의사결정 로직, 메시지 전달, 제어기 실행, 액추에이터 반응 시간이 모두 포함된다. 신경망 추론 시간만 측정하는 것은 실시간 성능을 지나치게 단순화한 것이다. 실제 시스템에서는 여러 구성 요소에서 발생하는 작은 지연이 누적되어 안전과 자율주행에 심각한 영향을 줄 수 있으므로 전체 파이프라인을 함께 평가해야 한다.

실시간 인지 시스템은 처리 단계별로 명확한 지연 시간 예산(Latency Budget)을 가져야 한다. 전체 허용 시간을 데이터 획득(Data Acquisition), 시간 동기화(Synchronization), 전처리, 객체 검출(Detection), 위치추정(Localization), 센서 융합, 예측(Prediction), 출력(Output Publication) 등에 배분해야 한다. 긴급한 기능에는 엄격한 제한 시간을 부여하고 중요도가 낮은 기능에는 보다 유연한 시간을 허용할 수 있다. 예를 들어 긴급 장애물 검출은 즉시 처리되어야 하지만 의미 지도(Semantic Map) 갱신이나 장기 장면 이해(Long-Term Scene Understanding)는 더 긴 처리 시간을 허용할 수 있다. 이러한 예산을 초기 설계 단계에서 정의해야 중요하지 않은 알고리즘이 핵심 기능의 계산 자원을 점유하는 일을 방지할 수 있다.

평균 처리 속도(Average Speed)만큼 중요한 것이 결정성(Determinism)이다. 대부분의 경우 20밀리초에 끝나지만 가끔 200밀리초가 걸리는 인지 모듈보다 항상 40밀리초 안에 완료되는 모듈이 실시간 시스템에는 훨씬 적합하다. 실시간 제어는 평균 성능보다 최악 조건(Worst Case)의 예측 가능성을 요구하기 때문이다. 처리 시간의 변동은 메모리 할당, 프로세서 경쟁, 운영체제 스케줄링, 캐시 미스(Cache Miss), 열 스로틀링(Thermal Throttling), 네트워크 혼잡, 모델 초기화, 백그라운드 서비스 등에서 발생할 수 있다. 시스템은 이러한 시간 변동 요인을 최소화하고 실제 운용 환경에서 실행 시간 분포를 지속적으로 모니터링해야 한다.

하드 실시간(Hard Real-Time)과 소프트 실시간(Soft Real-Time)은 명확히 구분되어야 한다. 하드 실시간 기능은 반드시 정해진 시간 안에 완료되어야 하며, 이를 초과하면 허용할 수 없는 안전 문제가 발생할 수 있다. 보호 구역 감시(Protective Zone Monitoring)나 비상 정지(Emergency Stop) 신호가 대표적인 예이다. 반면 소프트 실시간 기능은 일반적으로 시간 제한을 만족해야 하지만, 간헐적인 지연은 성능 저하를 초래할 뿐 즉각적인 위험으로 이어지지는 않는다. 객체 분류(Object Classification), 의미 정보 생성(Semantic Labeling), Fleet 수준 지도 업데이트는 이러한 범주에 속할 수 있다. 두 요구사항을 구분하면 적절한 하드웨어, 소프트웨어, 검증 절차, 장애 대응 방식을 각각 적용할 수 있다.

센서 갱신 주기(Sensor Update Rate)는 새로운 환경 정보가 얼마나 자주 생성되는지를 결정한다. 카메라는 초당 30프레임 또는 60프레임, 라이다는 초당 10회 또는 20회 스캔, 레이더는 더 높은 갱신 속도, 관성측정장치(IMU)는 초당 수백에서 수천 개의 샘플을 생성할 수 있다. 아무리 처리 속도가 빨라도 센서 자체의 갱신 주기가 너무 느리면 빠르게 변화하는 환경을 정확히 반영할 수 없다. 따라서 갱신 주기는 최대 운행 속도에서 필요한 정보를 충분히 획득하면서도 불필요한 대역폭과 계산 부하를 발생시키지 않는 수준으로 선정되어야 한다.

샘플링 주기(Sampling Rate)는 환경의 변화 속도와 일치해야 한다. 벽이나 선반과 같은 고정 구조물은 사람이나 차량처럼 빠르게 움직이는 객체와 동일한 갱신 속도를 요구하지 않는다. 보행자, 차량, 회전 기계, 자동문, 불안정한 지형은 매우 짧은 시간 안에 크게 변화할 수 있으므로 높은 샘플링 주기가 필요하다. 샘플 간격이 너무 길면 객체는 다음 관측 시점까지 상당한 거리를 이동하게 된다. 따라서 실시간 설계에서는 상대 속도, 객체 크기, 시야(Field of View), 가려짐(Occlusion), 검출 확인에 필요한 시간을 함께 고려해야 한다.

데이터 최신성(Freshness)은 단순한 갱신 주기와는 다른 개념이다. 시스템이 자주 데이터를 출력하더라도 내부 버퍼링(Buffering)이나 처리 지연 때문에 오래된 데이터를 반복 사용할 수도 있다. 따라서 모든 인지 결과에는 실제 환경을 측정한 시점을 나타내는 신뢰할 수 있는 타임스탬프(Timestamp)가 포함되어야 한다. 의사결정 시스템은 데이터를 사용하기 전에 데이터의 나이를 확인해야 하며, 위치 정보, 객체 추적, 장애물 지도 등이 허용된 최신성 기준을 초과하면 이를 폐기하거나 속도를 줄이거나 다른 센서를 활용하거나 성능 저하 운용 모드(Degraded Operating Mode)로 전환해야 한다.

다수의 센서가 동시에 변화하는 환경을 관측하는 경우에는 시간 동기화(Time Synchronization)가 필수적이다. 카메라, 라이다, 레이더, IMU, 휠 엔코더, 위성항법시스템(Global Navigation Satellite System, GNSS)은 서로 다른 주기로 동작하며 각각 독립적인 시계를 사용할 수 있다. 동기화가 이루어지지 않으면 움직이는 객체가 센서마다 서로 다른 위치에 존재하는 것처럼 보이게 되고, 로봇의 움직임도 환경 정보와 일치하지 않게 된다. 이를 해결하기 위해 하드웨어 트리거(Hardware Trigger), 정밀 시간 프로토콜(Precision Time Protocol, PTP), 시계 보정(Clock Discipline), 타임스탬프 보정(Timestamp Correction), 보간(Interpolation), 제한된 버퍼링(Bounded Buffering)이 활용된다.

시간 동기화의 정확도는 응용 분야의 속도와 정밀도 요구사항에 맞추어 설정되어야 한다. 정지된 실내 환경에서는 작은 시간 오차가 큰 문제가 되지 않을 수 있지만, 고속 이동 환경에서는 수십 밀리초의 오차만으로도 큰 위치 오차가 발생한다. 예를 들어 초당 10미터로 이동하는 로봇에서 50밀리초의 시간 오차는 약 0.5미터의 공간 오차를 의미한다. 이는 센서 융합, 객체 연관(Object Association), 지도 작성, 충돌 예측의 정확도를 크게 저하시킬 수 있다. 따라서 시스템은 허용 가능한 시계 오프셋(Clock Offset), 드리프트(Drift), 지터(Jitter), 재동기화 동작, 네트워크 및 전원 장애 이후의 복구 성능을 명확히 정의해야 한다.

지터(Jitter)는 데이터 갱신 간격이나 처리 완료 시간의 변동을 의미한다. 지터가 크면 추적(Tracking), 예측(Prediction), 제어(Control) 알고리즘은 일정하지 않은 시간 간격 때문에 객체의 움직임을 정확하게 추정하기 어려워진다. 또한 네트워크 트래픽과 프로세서 부하가 순간적으로 집중되는 현상도 발생할 수 있다. 실시간 시스템은 센서 입력, 처리 결과, 통신 인터페이스, 제어기 인터페이스 각각에서 지터를 측정해야 한다. 버퍼와 스케줄러는 이러한 불규칙성을 줄일 수 있지만 지나친 버퍼링은 지연 시간을 증가시키므로 최신성과 시간 일관성 사이의 균형이 필요하다.

처리량(Throughput)은 일정 시간 동안 시스템이 처리할 수 있는 데이터의 양을 의미한다. 고해상도 카메라, 고밀도 점군(Point Cloud), 다수의 레이더 스트림, 고주기 IMU는 매우 많은 데이터를 생성한다. 시스템은 모든 센서가 동시에 동작하고 데이터 기록, 시각화, 통신, AI 추론이 함께 수행되는 최악의 조건에서도 중요한 프레임을 잃지 않고 처리해야 한다. 하나의 센서만 사용할 때는 충분했던 시스템이 실제 제품 환경에서는 처리량 부족으로 성능이 저하될 수 있으므로 최악 조건에서 평가해야 한다.

계산 자원(Computational Capacity)은 일반적인 상황이 아니라 최악의 부하(Worst-Case Workload)를 기준으로 설계되어야 한다. 중앙처리장치(CPU), 그래픽처리장치(GPU), 신경망처리장치(NPU), 메모리 대역폭, 저장장치 인터페이스, 네트워크 모두 실시간 성능에 영향을 준다. 객체 수 증가, 점군 밀도 증가, 영상 복잡도, AI 모델 구조, 동시에 수행되는 작업 수에 따라 계산량은 크게 달라질 수 있다. 따라서 예기치 않은 환경 변화나 소프트웨어 업데이트, 일시적인 계산 경쟁, 일부 컴퓨팅 장치의 고장에도 대응할 수 있도록 충분한 여유 자원을 확보해야 한다.

계산 자원이 제한될 경우 작업 우선순위(Task Prioritization)가 필수적이다. 안전 감시(Safety Monitoring), 장애물 검출, 위치추정, 움직임 추적은 시각화, 데이터 기록, 세밀한 의미 분류, 배경 지도 최적화보다 높은 우선순위를 가져야 한다. 스케줄러는 중요하지 않은 작업이 핵심 기능을 지연시키지 못하도록 해야 한다. 이를 위해 전용 스레드(Thread), CPU 코어, 하드웨어 가속기, 독립 통신 채널을 사용할 수 있으며, 우선순위 정책은 실제 부하 증가와 장애 상황에서도 예측 가능한 동작을 보장하도록 명확하게 정의되고 검증되어야 한다.

병렬 처리(Parallel Processing)는 독립적인 인지 단계를 동시에 수행함으로써 지연 시간을 줄일 수 있다. 카메라 전처리, 라이다 필터링, 레이더 추적, IMU 적분은 각각 독립된 계산 자원에서 수행될 수 있으며 이후 센서 융합 단계에서 결합된다. 또한 한 프레임이 AI 추론을 수행하는 동안 다음 프레임은 동시에 획득될 수 있다. 그러나 병렬 구조는 동기화, 메모리 공유, 스케줄링, 디버깅을 복잡하게 만들며 적절히 설계되지 않으면 경쟁 상태(Race Condition)나 지터 증가를 초래할 수 있다. 따라서 병렬 실행 구조 역시 실제 환경에서 충분히 검증되어야 한다.

데이터 축소(Data Reduction)는 현재 작업에 필요하지 않은 정보를 제거하여 실시간 성능을 유지하는 방법이다. 영상은 해상도를 줄이거나 일부 영역만 사용할 수 있으며, 점군은 다운샘플링(Downsampling)하고 로봇 운용과 관계없는 공간은 제거할 수 있다. 적응형 처리(Adaptive Processing)는 위험 구역, 도킹 목표, 검사 대상에는 높은 해상도를 유지하고 나머지 영역은 간략하게 처리할 수 있다. 그러나 안전에 필요한 정보를 제거하거나 사각지대를 만들어서는 안 되므로 실제 환경과 다양한 객체 조건에서 충분한 검증이 필요하다.

관심 영역 처리(Region-of-Interest Processing)는 중요한 정보가 존재할 가능성이 높은 영역에 계산 자원을 집중하는 방식이다. 자율주행 카메라는 전방 도로와 이동 경로에, 검사 카메라는 검사 대상 부품에, 도킹 시스템은 마커와 커넥터 위치에 계산을 집중할 수 있다. 이러한 방식은 계산량과 지연 시간을 줄여주지만, 사전 가정이 잘못되면 중요한 객체를 놓칠 수 있다. 따라서 시스템은 관심 영역 밖도 주기적으로 탐색하거나 항상 최소 수준의 감시를 유지하여 예기치 않은 상황에 대응해야 한다.

AI 모델(Model)은 실행 시간, 메모리 사용량, 정확도, 강인성(Robustness), 하드웨어 호환성을 함께 고려하여 선택해야 한다. 대규모 신경망은 높은 정확도를 제공할 수 있지만 임베디드 컴퓨터에서는 실시간 요구사항이나 열 제약(Thermal Constraint)을 만족하지 못할 수 있다. 더 작은 모델이 안정적인 실시간 성능을 제공하고 중복 기능을 동시에 실행할 수 있는 경우도 많다. 양자화(Quantization), 가지치기(Pruning), 컴파일 최적화, 연산자 융합(Operator Fusion), 하드웨어 전용 최적화는 성능을 높일 수 있지만 계산 결과를 변경할 수도 있으므로 반드시 정확성과 안정성을 다시 검증해야 한다.

배치 처리(Batch Processing)는 데이터센터에서는 효율적일 수 있지만 실시간 AMR 제어에는 적합하지 않을 수 있다. 여러 프레임을 모아서 처리하는 동안 지연 시간이 증가하기 때문이다. 실시간 인지에서는 대부분의 경우 센서 데이터가 생성되는 즉시 처리하는 것이 바람직하다. 작은 배치는 중요하지 않은 작업이나 오프라인 분석, 동기화된 다중 카메라 처리에서는 사용할 수 있지만 항상 지연 시간 예산을 만족해야 한다. 처리량 최적화와 응답 시간 최적화는 서로 다른 목표라는 점을 명확히 이해해야 한다.

메모리 관리(Memory Management)는 실시간 성능의 예측 가능성에 직접적인 영향을 준다. 대용량 영상이나 점군, 텐서를 반복적으로 동적 할당(Dynamic Allocation)하고 복사하면 지연 시간이 증가하고 실행 시간이 불규칙해질 수 있다. 따라서 실시간 시스템은 미리 할당된 버퍼(Preallocated Buffer), 고정 크기 메모리 풀(Memory Pool), 제로 카피 통신(Zero-Copy Communication), 공유 메모리(Shared Memory), 제한된 큐(Bounded Queue)를 사용한다. 이러한 방법은 메모리 단편화(Fragmentation)를 줄이고 성능을 안정화하지만, 버퍼가 가득 찼을 경우 오래된 데이터를 제거할지 최신 데이터를 유지할지에 대한 정책도 함께 정의되어야 한다.

큐 관리(Queue Management)는 처리 파이프라인이 과부하될 때 오래된 데이터를 계속 처리하는 상황을 방지하기 위해 매우 중요하다. 큐 크기를 무제한으로 허용하면 모든 프레임은 보존되지만 최신성이 크게 떨어질 수 있다. 많은 실시간 인지 기능에서는 오래된 모든 프레임보다 최신 프레임 하나가 훨씬 더 중요하다. 따라서 큐는 최대 길이(Maximum Depth), 데이터 만료 시간(Expiration Time), 프레임 삭제 정책(Drop Policy), 우선순위를 명확히 정의해야 한다. 추적이나 지도 작성은 연속성을 위해 다른 정책을 사용할 수 있지만 모든 큐는 지연 시간이 계속 누적되는 상황을 방지해야 한다.

센서, 컴퓨터, 제어기가 이더넷(Ethernet), CAN(Controller Area Network), 무선 통신(Wireless), 산업용 필드버스(Fieldbus)를 통해 연결되는 경우 네트워크 성능(Network Performance)도 실시간 요구사항의 일부가 된다. 대역폭(Bandwidth), 패킷 지연(Packet Delay), 패킷 손실(Packet Loss), 재전송(Retransmission), 스위치 설정, 서비스 품질(Quality of Service, QoS), 시간 동기화는 모두 처리 시간에 영향을 준다. 안전 관련 데이터는 영상 스트리밍이나 원격 접속보다 높은 우선순위를 가져야 하며, 네트워크 혼잡이나 연결 장애가 발생하더라도 시스템은 안전한 동작을 유지해야 한다.

미들웨어(Middleware)는 소프트웨어 모듈 사이에서 데이터가 이동하는 동안에도 실시간 특성을 유지해야 한다. 메시지 직렬화(Serialization), 역직렬화(Deserialization), 데이터 복사, 서비스 탐색(Discovery), 큐 설정, 신뢰성(Reliability) 설정은 예상보다 큰 지연을 유발할 수 있다. 명령과 이벤트에는 신뢰성 있는 전달이 필요할 수 있지만, 센서 데이터는 오래된 데이터를 반복 재전송하는 것보다 최신 데이터를 전달하는 것이 더 중요할 수 있다. 따라서 각 데이터 스트림은 중요도, 갱신 주기, 허용 가능한 손실, 최대 허용 지연에 따라 적절한 통신 정책을 적용해야 한다.

실시간 위치추정(Real-Time Localization)은 모든 지도, 경로, 장애물 정보와 제어 명령이 현재 로봇 위치에 의존하기 때문에 매우 중요하다. IMU와 휠 오도메트리는 빠른 위치 갱신을 제공하고, 라이다, 카메라, GNSS는 보다 정확한 보정을 수행한다. 센서 융합 시스템은 일부 센서가 일시적으로 사용 불가능한 상황에서도 일정한 지연 시간 안에 안정적인 자세(Pose)를 제공해야 한다. 갑작스러운 위치 변화나 늦은 보정은 자율주행을 불안정하게 만들 수 있으므로 모든 위치 정보에는 타임스탬프, 신뢰도, 상태 정보가 포함되어야 한다.

실시간 객체 추적(Real-Time Object Tracking)은 객체가 새롭게 등장하거나 사라지거나 일시적으로 가려지는 상황에서도 객체의 ID와 움직임을 지속적으로 유지해야 한다. 추적 결과는 다음 센서 데이터가 들어오기 전에 반드시 계산을 완료해야 한다. 처리 지연이 발생하면 속도와 충돌 예측도 실제 상황과 일치하지 않게 된다. 짧은 지연은 추적 예측으로 보완할 수 있지만 시간이 길어질수록 불확실성은 증가한다. 따라서 의사결정 시스템은 추적 결과뿐 아니라 그 결과가 얼마나 오래된 정보인지도 함께 고려해야 한다.

예측(Prediction)의 시간 기준도 매우 중요하다. 오래된 관측 데이터를 기반으로 생성된 미래 예측은 이미 일부가 지나간 미래를 예측하는 결과가 될 수 있다. 따라서 시스템은 센서 지연과 처리 지연을 보상하여 객체 상태를 현재 시점까지 먼저 보정한 후 미래를 예측해야 한다. 예측 시간 범위는 제동, 양보, 경로 선택을 지원할 만큼 충분히 길어야 하지만, 지나친 불확실성이 발생하지 않을 정도로 제한되어야 한다. 위험 수준과 장면 복잡도에 따라 여러 개의 미래 시나리오를 서로 다른 주기로 갱신할 수도 있다.

실시간 요구사항을 만족하지 못하는 경우에는 점진적 성능 저하(Graceful Degradation)가 반드시 제공되어야 한다. 프로세서 과부하, 센서 고장, 열 스로틀링, 네트워크 혼잡, 저장장치 경쟁 등으로 인해 시간 제한을 만족하지 못할 수 있다. 시스템은 지연 시간, 큐 상태, 계산 자원, 데이터 최신성을 지속적으로 감시하여 이러한 상황을 스스로 인식해야 한다. 이후 속도를 줄이거나, 중요하지 않은 인지 기능을 중단하거나, 해상도를 낮추거나, 안전 거리를 확대하거나, 예비 센서를 사용하거나, 임무를 일시 중지하거나, 안전하게 정지해야 한다. 인지 성능이 저하된 상태에서 정상 속도로 계속 운행하는 것은 매우 위험한 숨겨진 실패(Hidden Failure)이다.

열 관리(Thermal Management)는 지속적인 실시간 성능과 직접적인 관련이 있다. GPU와 CPU는 초기에는 충분한 성능을 제공하지만 장시간 동작 후 온도 제한 때문에 처리 속도가 감소할 수 있다. 밀폐된 산업용 케이스, 먼지 필터, 높은 외기 온도, 직사광선, 냉각팬 성능 저하는 이러한 문제를 더욱 악화시킨다. 따라서 실제 검증은 최대 계산 부하와 최고 온도 조건에서 장시간 수행되어야 한다. 또한 시스템은 온도 센서와 클록 주파수(Clock Frequency)를 지속적으로 감시하여 성능 저하가 발생하기 전에 대응해야 한다.

전원 상태(Power Condition)도 실시간 인지 성능에 영향을 준다. 배터리 전압 변화, 전력 변환기 성능, GPU 전력 모드, 모터나 조명, 통신 장치, 매니퓰레이터와의 전력 경쟁은 사용 가능한 계산 성능을 감소시킬 수 있다. 실험실 전원에서 정상적으로 동작하던 시스템도 실제 배터리 기반 플랫폼에서는 다른 성능을 보일 수 있다. 따라서 실시간 검증은 다양한 배터리 상태와 실제 운행 부하 조건에서 수행되어야 하며, 절전 모드(Power Saving Mode)가 안전 요구사항 이하로 처리 성능을 저하시키지 않도록 해야 한다.

성능 모니터링(Performance Monitoring)은 디버깅 단계에서만 추가하는 기능이 아니라 인지 아키텍처 자체에 내장되어야 한다. 각 핵심 모듈은 입력 시각, 출력 시각, 실행 시간, 큐 지연, 시간 제한 만족 여부, 프레임 손실(Frame Loss), 데이터 최신성, 자원 사용률(Resource Utilization)을 지속적으로 보고해야 한다. 이를 통해 지연이 센서, 통신, 계산, 센서 융합, 제어 중 어느 단계에서 발생했는지를 정확하게 파악할 수 있다. 모니터링 기능은 시스템 부하를 증가시키지 않을 만큼 가벼워야 하며, 장기 통계와 이벤트 기반 로그(Event Log)를 함께 제공하는 것이 바람직하다.

실시간 검증(Validation)은 평균 처리 시간뿐 아니라 백분위 지연(Percentile Latency)과 최악 조건(Worst-Case Timing)을 모두 평가해야 한다. 평균 지연 시간 하나만으로는 드물게 발생하는 위험한 지연을 확인할 수 없다. 최대 지연, 높은 백분위 지연, 지터, 시간 제한 초과, 프레임 손실, 과부하 후 복구 시간을 모두 분석해야 한다. 또한 복잡한 환경, 다수의 이동 객체, 악천후, 저조도, 고해상도 영상 기록, 높은 통신 부하, 열 스트레스, 센서 고장, 여러 임무 동시 수행 조건에서도 핵심 기능이 시간 제한을 만족하거나 안전한 성능 저하 동작을 수행함을 입증해야 한다.

시뮬레이션(Simulation)과 기록 데이터 재생(Recorded Data Replay)은 반복 가능한 실시간 성능 평가에 매우 유용하다. 동일한 환경을 여러 하드웨어와 소프트웨어 버전에서 반복 실행하여 지연 시간과 자원 사용량을 비교할 수 있으며, 객체 수나 센서 데이터량을 인위적으로 증가시키는 극한 시험도 가능하다. 그러나 실제 센서 획득 지연, 네트워크 특성, 온도 변화, 액추에이터와의 상호작용은 완전히 재현하기 어렵다. 따라서 최종 실시간 검증은 실제 AMR에 모든 생산용 센서, 컴퓨터, 통신, 제어 시스템을 탑재한 상태에서 실제 운용 환경에서 수행되어야 한다.

궁극적으로 실시간 인지(Real-Time Perception)는 센싱, 시간 관리, 계산, 통신, 제어를 체계적으로 통합하는 기술이다. 그 목적은 단순히 빠르게 센서 데이터를 해석하는 것이 아니라, 행동을 수행해야 하는 시간 제한이 지나기 전에 충분히 정확하고 충분히 최신의 정보를 로봇에 제공하는 것이다. 갱신 주기(Update Rate), 지연 시간(Latency), 지터(Jitter), 시간 동기화(Synchronization), 처리량(Throughput), 우선순위(Prioritization), 장애 대응(Fault Handling), 지속 성능(Sustained Performance)은 하나의 통합된 요구사항으로 설계되어야 한다. AMR은 환경의 중요한 변화를 항상 충분히 빠르게 인식하고 안전하고 효과적으로 대응할 수 있을 때 비로소 진정한 실시간 인지 시스템이라고 할 수 있다.

01.8 Perception System Design Process

자율주행 모바일 로봇(Autonomous Mobile Robot, AMR)의 인지 시스템 설계 과정(Perception System Design Process)은 로봇이 임무를 안전하고 효과적으로 수행하기 위해 무엇을 인식해야 하는지를 정의하는 것에서 시작된다. 인지 시스템은 단순히 센서와 알고리즘의 집합으로 설계되어서는 안 된다. 운용 목표(Operational Goal), 환경 조건(Environmental Condition), 차량 성능(Vehicle Capability), 안전 요구사항(Safety Obligation), 사람과 인프라와의 상호작용(Interaction)으로부터 도출되어야 한다. 체계적인 설계 과정은 임무 요구사항을 측정 가능한 인지 기능, 하드웨어 선택, 소프트웨어 아키텍처, 검증 방법, 전체 수명주기 관리와 연결한다.

첫 번째 단계는 임무 및 활용 사례 분석(Mission and Use-Case Analysis)이다. 엔지니어는 AMR이 어디에서 운용되는지, 어떤 작업을 수행하는지, 어떤 객체를 검출해야 하는지, 어떤 의사결정이 인지에 의존하는지, 그리고 인지 오류가 어떤 결과를 초래하는지를 이해해야 한다. 창고 운반 로봇, 실외 순찰 로봇, 고중량 AMR, 정밀 검사 플랫폼은 유사한 센서를 사용할 수 있지만, 요구되는 검출 거리, 정확도, 갱신 주기, 의미 정보는 매우 다를 수 있다. 임무 분석은 초기화부터 정상 운용, 복구, 유지보수, 종료까지의 대표적인 작업 흐름을 포함해야 한다.

운용 시나리오(Operational Scenario)는 인지 요구사항을 충분히 드러낼 수 있도록 구체적으로 정의되어야 한다. 이러한 시나리오에는 일반 자율주행, 교차로 통과, 도킹(Docking), 장애물 회피, 사람과의 상호작용, 화물 이송, 악천후, 저조도, 센서 오염, 지도 변경, 비상 상황 등이 포함된다. 각 시나리오는 로봇 상태, 환경 조건, 관련 객체, 필요한 인지 결과, 요구되는 시스템 응답을 명확하게 기술해야 한다. 시나리오 기반 분석은 이상적인 데모 환경만을 고려하고 실제 운용에서 중요한 예외 상황을 놓치는 문제를 방지한다.

운용 설계 영역(Operational Design Domain, ODD)은 인지 시스템이 정상적으로 동작해야 하는 환경의 범위를 정의한다. 여기에는 실내·실외 운용, 온도 범위, 조명 조건, 비, 안개, 먼지, 바닥 종류, 경사도, 최대 속도, 교통 밀도, 객체 종류, 인프라, 통신 가능 여부, 지도 품질 등이 포함될 수 있다. ODD는 설계와 검증에 활용할 수 있을 만큼 충분히 구체적이어야 한다. 단순히 "실외에서 사용 가능"이라는 표현만으로는 충분하지 않다. 실외 환경은 매우 다양하기 때문에 특정 조건에서만 정상 동작한다면 그 제한 사항을 명확하게 정의하고 시스템이 이를 준수하도록 해야 한다.

위험 분석(Hazard Analysis)은 임무 분석과 동시에 수행되며, 어떤 인지 실패가 허용할 수 없는 위험을 초래하는지를 판단한다. 사람을 검출하지 못하는 경우, 접근하는 차량의 속도를 잘못 판단하는 경우, 플랫폼 가장자리를 인식하지 못하는 경우, 위치추정을 상실하는 경우, 제한 구역을 주행 가능한 공간으로 오인하는 경우, 센서가 막힌 상태에서 계속 운행하는 경우 등이 대표적인 위험 요소이다. 분석에서는 심각도(Severity), 노출 빈도(Exposure), 제어 가능성(Controllability), 복합 고장(Failure Combination)을 함께 고려해야 한다. 이후 안전 요구사항은 안전 인증 센서, 독립 감시 기능, 중복 인지, 보수적 동작, 안전 정지 기능(Safe Stop Function) 등에 적절히 할당된다.

기능 요구사항(Functional Requirement)은 임무와 위험 분석 결과를 구체적인 인지 기능으로 변환한다. 여기에는 객체 검출(Object Detection), 자유 공간 추정(Free-Space Estimation), 위치추정(Localization), 지형 분류(Terrain Classification), 사람 추적(Human Tracking), 속도 추정(Velocity Estimation), 도킹 목표 인식(Docking Target Recognition), 센서 상태 감시(Sensor Health Monitoring), 불확실성 보고(Uncertainty Reporting) 등이 포함될 수 있다. 각 요구사항은 무엇을, 어떤 조건에서, 어떤 후속 기능을 위해 검출하거나 추정해야 하는지를 명확하게 정의해야 한다. "장애물을 안정적으로 검출한다."와 같은 모호한 표현 대신 객체 크기, 재질, 거리, 시야각, 속도, 환경 조건, 허용 오차 등을 포함한 측정 가능한 요구사항으로 작성해야 한다.

성능 요구사항(Performance Requirement)은 각 인지 기능이 달성해야 하는 품질과 시간 조건을 정의한다. 대표적인 항목으로는 검출 거리(Detection Range), 위치 정확도(Position Accuracy), 각도 정확도(Angular Accuracy), 분류 정확도(Classification Accuracy), 미검출률(False Negative Rate), 오검출률(False Positive Rate), 갱신 주기(Update Frequency), 종단 간 지연 시간(End-to-End Latency), 가용성(Availability), 복구 시간(Recovery Time)이 있다. 이러한 성능 목표는 로봇의 속도, 제동 거리, 기동 성능, 적재 하중, 제어 정밀도와 직접 연결되어야 한다. 과도한 성능 요구는 비용과 복잡도를 증가시키고, 부족한 성능은 운용 위험을 높이므로 실제 임무와 물리적 조건에 근거하여 설정해야 한다.

설계 과정에서는 운용 인지(Operational Perception)와 안전 인증 인지(Safety-Rated Perception)를 명확하게 구분해야 한다. 운용 인지는 효율적인 자율주행, 의미 이해, 예측, 검사, AI 기반 의사결정을 지원한다. 반면 안전 인증 인지는 관련 안전 요구사항을 만족하는 구조와 부품을 이용하여 최소한의 보호 기능을 수행한다. 두 계층은 정보를 공유할 수 있지만, 불확실한 AI 학습 결과가 결정론적 안전 기능을 대체해서는 안 된다. 이러한 구분을 초기에 정의하면 인증 범위, 인터페이스 책임, 장애 대응, 검증 방법을 명확히 할 수 있다.

환경 분석(Environmental Analysis)은 물리적 환경이 센서 성능에 어떤 영향을 미치는지를 평가한다. 조명 변화, 직사광선, 반사, 야간 환경, 비, 안개, 눈, 먼지, 진동, 전자기 간섭(Electromagnetic Interference), 온도, 결로(Condensation), 표면 오염은 센서마다 서로 다른 영향을 미친다. 설계자는 예상되는 환경 스트레스를 식별하고 그것이 측정 거리, 정확도, 가용성, 오검출에 미치는 영향을 분석해야 한다. 이러한 분석은 보호 윈도우(Protective Window), 히터(Heater), 세척 장치(Cleaning Device), 진동 절연(Shock Isolation), 장착 구조(Mounting Structure), 방진방수(Ingress Protection), 센서 중복 설계에도 활용된다.

객체 및 장면 분석(Object and Scene Analysis)은 로봇이 무엇을 인식해야 하며 각 대상이 얼마나 검출하기 어려운지를 평가한다. 객체의 크기(Size), 형상(Shape), 색상(Color), 반사율(Reflectivity), 온도(Temperature), 속도(Speed), 높이(Height), 재질(Material), 일반적인 위치(Location) 등이 주요 특성이다. 큰 벽은 얇은 케이블, 투명 유리, 검은 표면, 낮은 팔레트 포크, 부분적으로 가려진 사람보다 훨씬 쉽게 검출된다. 또한 장면 분석에서는 복잡한 배경(Clutter), 반복 구조(Repetitive Structure), 좁은 통로, 이동 객체, 사각지대 등을 함께 분석하여 센서 배치, 해상도, 시야각, 알고리즘 복잡도를 결정한다.

센서 선택(Sensor Selection)은 인지 기능과 환경 특성이 충분히 분석된 이후에 이루어져야 한다. 카메라(Camera), 라이다(LiDAR), 레이더(Radar), 초음파 센서(Ultrasonic Sensor), 열화상 카메라(Thermal Camera), 마이크(Microphone), IMU, 휠 엔코더(Wheel Encoder), 위성항법시스템(Global Navigation Satellite System, GNSS)은 각각 장점과 한계를 가진다. 특정 센서가 널리 사용된다는 이유나 최신 기술이라는 이유만으로 선택해서는 안 된다. 측정 원리가 요구되는 객체 특성, 거리, 날씨, 조명, 움직임, 정밀도, 안전 기능에 적합한지를 평가해야 하며 비용, 소비전력, 크기, 공급 안정성, 보정 요구사항, 유지보수 부담도 함께 고려해야 한다.

센서 커버리지(Sensor Coverage)는 로봇의 전체 형상과 움직임 범위를 기준으로 설계되어야 한다. 차량 본체, 적재물, 포크(Fork), 매니퓰레이터(Manipulator), 회전 궤적, 제동 거리 등을 모두 고려해야 한다. 센서는 전방, 후방, 측면, 근거리 사각지대, 높은 장애물, 지면 위험 요소 등을 임무에 맞게 충분히 관찰해야 한다. 커버리지 다이어그램과 3차원 모델은 차체, 장착 장비, 적재물, 움직이는 메커니즘에 의해 발생하는 사각지대를 확인하는 데 도움이 된다. 또한 정상 상태뿐 아니라 최악 조건에서도 센서 시야를 검증해야 한다.

장착 설계(Mounting Design)는 센서 성능만큼이나 인지 정확도에 큰 영향을 준다. 센서 위치(Position), 높이(Height), 방향(Orientation), 구조 강성(Structural Stiffness), 진동(Vibration), 열팽창(Thermal Expansion), 케이블 배선(Cable Routing), 유지보수 편의성은 모두 측정 품질에 영향을 미친다. 매우 정확한 라이다라도 유연한 브래킷에 장착되면 점군(Point Cloud)이 불안정해질 수 있으며, 반복적인 충격을 받는 카메라는 보정이 틀어질 수 있다. 장착 구조는 센서를 보호하면서도 시야를 방해하지 않아야 하며, 유지보수 작업자가 쉽게 점검, 청소, 교체, 재보정을 수행할 수 있어야 한다.

센서 중복(Sensor Redundancy)과 센서 다양성(Sensor Diversity)은 고장의 영향도에 따라 계획되어야 한다. 동일한 센서를 두 개 사용하는 것은 커버리지 중복에는 도움이 되지만 동일한 환경 조건이나 동일한 소프트웨어 결함에 동시에 영향을 받을 수 있다. 반면 라이다, 카메라, 레이더처럼 서로 다른 원리를 사용하는 센서는 공통 원인 고장(Common-Mode Failure)을 줄일 수 있다. 그러나 중복 설계는 비용, 소비전력, 계산량, 보정, 시스템 통합 복잡도를 증가시키므로 어떤 고장에서 계속 운용할 것인지, 감속 운행할 것인지, 임무를 중단할 것인지, 즉시 안전 정지할 것인지를 명확히 정의해야 한다.

컴퓨팅 아키텍처(Computing Architecture)는 전체 인지 부하를 처리할 수 있도록 설계되어야 한다. CPU, GPU, 신경망 처리장치(Neural Processing Unit, NPU), 메모리, 저장장치, 네트워크 자원은 실제 생산용 센서 구성과 최악의 장면을 기준으로 평가해야 한다. 중앙집중식 컴퓨터, 분산형 엣지 프로세서(Edge Processor), 전용 안전 제어기(Safety Controller), 하이브리드 구조 등이 사용될 수 있다. 중요한 인지 기능은 시각화나 클라우드 연결과 같은 비핵심 서비스에 의존해서는 안 되며, 자원 배분, 우선순위, 열 성능, 시작 절차, 장애 격리(Fault Containment)를 초기 설계 단계에서 고려해야 한다.

실시간 아키텍처(Real-Time Architecture)는 기능 요구사항을 제한된 처리 시간(Bounded Processing Pipeline)으로 변환한다. 각 센서와 알고리즘은 갱신 주기, 최대 지연 시간, 큐 크기, 타임스탬프 정책, 시간 초과 시 대응 방식을 명확히 정의해야 한다. 하드 실시간(Hard Real-Time) 안전 기능은 전용 처리 경로를 사용할 수 있으며, 의미 지도나 장기 학습 기능은 보다 유연한 시간 제약을 사용할 수 있다. 또한 시스템 과부하가 오래된 데이터의 누적을 유발하지 않도록 우선순위 스케줄링(Priority Scheduling), 제한된 버퍼(Bounded Buffer), 제로 카피 전송(Zero-Copy Transport), 하드웨어 가속(Hardware Acceleration), 점진적 성능 저하(Graceful Degradation)를 적용해야 한다.

데이터 아키텍처(Data Architecture)는 센서 데이터와 인지 결과를 어떻게 표현하고 교환할지를 정의한다. 모든 메시지에는 단위(Unit), 좌표계(Coordinate Frame), 타임스탬프(Timestamp), 유효성 상태(Validity State), 품질 지표(Quality Indicator), 버전 정보가 포함되어야 한다. 영상(Image), 점군(Point Cloud), 자세(Pose), 객체(Object), 추적(Track), 지도(Map), 이벤트(Event), 불확실성(Uncertainty)은 안정적인 데이터 계약(Data Contract)을 따라야 한다. 명확한 인터페이스는 센서 드라이버, 인지 알고리즘, 자율주행, 안전 시스템, Fleet 시스템, 임무 소프트웨어 간의 결합도를 낮추고 센서나 알고리즘을 교체하기 쉽게 만든다.

좌표계 설계(Coordinate-Frame Design)는 모든 기하학적 인지의 기반이 되므로 초기 단계에서 정의되어야 한다. 일반적으로 지도(Map), 오도메트리(Odometry), 로봇 본체(Base), 센서(Sensor), 적재물(Payload), 매니퓰레이터, 도킹 목표(Docking Target) 등의 좌표계를 사용한다. 정적 변환(Static Transform)과 동적 변환(Dynamic Transform)은 명확한 관리 주체와 타임스탬프를 가져야 하며 검증되어야 한다. 축 방향(Axis Direction), 좌표계 방향성(Handedness), 회전 표현(Rotation Representation), 원점(Origin), 변환 권한(Transform Authority)을 명확히 정의하지 않으면 지도 작성, 센서 융합, 장애물 위치 계산, 제어 과정에서 심각한 오류가 발생할 수 있다.

시간 아키텍처(Time Architecture) 역시 서로 다른 센서의 시간 기준을 통합하기 위해 매우 중요하다. 시스템은 공통 시간 기준(Common Time Source), 시간 동기화 방식(Synchronization Mechanism), 타임스탬프 생성 위치, 허용 가능한 시계 오차, 재시작이나 네트워크 장애 이후의 복구 절차를 정의해야 한다. 높은 정확도가 필요한 경우 하드웨어 트리거(Hardware Trigger)와 정밀 시간 프로토콜(Precision Time Protocol, PTP)을 사용할 수 있다. 또한 타임스탬프는 메시지가 전송된 시점이 아니라 실제 물리적 측정 시점을 나타내야 하며, 버퍼링과 보간 정책도 지연 시간을 최소화하도록 설계되어야 한다.

보정 계획(Calibration Planning)은 내부 보정(Intrinsic Calibration), 외부 보정(Extrinsic Calibration), 시간 보정(Temporal Calibration), 운용 보정(Operational Calibration)을 포함한다. 내부 보정은 카메라 등의 내부 특성을 정의하고, 외부 보정은 센서와 로봇 사이의 공간 관계를 정의한다. 시간 보정은 센서 간 시간 차이를 보정하며, 운용 보정은 바퀴 직경, 조향 오프셋, 센서 바이어스 등을 보정한다. 보정 과정은 사용 장비, 기준 타깃, 허용 오차, 저장 형식, 버전 관리, 충돌이나 센서 교체 이후의 재보정 기준까지 포함해야 한다.

알고리즘 선택(Algorithm Selection)은 최신 기술이 아니라 요구사항을 기준으로 이루어져야 한다. 기하학 기반 알고리즘(Classical Geometry), 필터(Filter), 최적화(Optimization), 확률 추정(Probabilistic Estimation), 머신러닝(Machine Learning), 딥러닝(Deep Learning)은 각각 다른 장점을 가진다. 구조가 명확한 환경에서는 결정론적 기하학 기법이 적합할 수 있으며, 복잡한 장면에서는 학습 기반 모델이 우수한 인식 성능을 제공할 수 있다. 실제 시스템은 두 접근법을 결합한 하이브리드(Hybrid) 구조를 사용하는 경우가 많으며, 모든 알고리즘은 정확도, 지연 시간, 강인성, 설명 가능성(Explainability), 학습 데이터 의존성, 하드웨어 요구사항, 고장 특성을 함께 평가해야 한다.

센서 융합 설계(Sensor Fusion Design)는 여러 센서의 측정값을 하나의 일관된 환경 정보로 결합하는 방법을 정의한다. 융합은 원시 데이터(Raw Data), 특징(Feature), 객체(Object), 추적(Track), 의사결정(Decision) 수준에서 수행될 수 있다. 초기 융합(Early Fusion)은 많은 정보를 유지할 수 있지만 정밀한 시간 동기화와 보정이 필요하고, 후기 융합(Late Fusion)은 구조가 단순하지만 일부 정보를 잃을 수 있다. 설계는 센서 특성, 계산 자원, 불확실성 모델, 응용 분야에 맞게 선택되어야 하며, 누락 데이터, 상충되는 관측값, 지연 메시지, 센서 상태 변화도 처리할 수 있어야 한다.

불확실성 관리(Uncertainty Management)는 인지 시스템의 모든 단계에서 고려되어야 한다. 객체 검출, 분류, 위치추정, 추적, 지도 작성, 예측 결과는 후속 시스템이 활용할 수 있는 형태의 신뢰도나 오차 정보를 포함해야 한다. 시스템은 미관측 공간(Unknown Space)과 자유 공간(Free Space), 모호한 객체와 확실하게 분류된 객체를 명확히 구분해야 한다. 불확실성이 허용 수준을 초과하면 감속, 안전 거리 확대, 추가 관측 수행, 다른 센서 사용, 작업자 지원 요청, 안전 정지 등의 행동을 수행해야 한다. 숨겨진 불확실성은 과도한 자신감을 가진 의사결정을 유발하므로 반드시 피해야 한다.

세계 모델(World Model)은 현재와 과거의 환경 정보를 지속적으로 유지하는 내부 표현 구조이다. 여기에는 정적 지도, 이동 객체, 의미 영역, 작업 목표, 인프라 상태, 로봇 상태, 과거 관측 정보 등이 포함될 수 있다. 설계에서는 정보 생성, 갱신, 노후화(Aging), 무효화(Invalidation), 삭제(Removal) 절차를 정의해야 한다. 일시적인 객체는 영구적으로 유지되어서는 안 되며, 중요한 정보는 잠시 센서가 보이지 않더라도 유지되어야 한다. 세계 모델은 인지와 경로 계획 사이의 안정적인 인터페이스를 제공하여 개별 센서 프레임을 넘어선 추론을 가능하게 한다.

사람 중심 인지(Human-Aware Perception)는 사람과의 상호작용 수준에 맞게 설계되어야 한다. 기본 시스템은 사람 검출과 안전 거리 유지 정도만 필요할 수 있지만, 고급 시스템은 자세(Body Pose), 손동작(Gesture), 시선(Gaze), 음성(Voice), 작업 상태(Work Activity)를 이해할 수도 있다. 그러나 사람의 의도는 정확하게 추론하기 어렵기 때문에 요구사항은 항상 보수적으로 설정되어야 한다. 단순한 신호등, 버튼, 비콘(Beacon), 작업 규칙으로 해결할 수 있는 문제를 복잡한 행동 추론에 의존해서는 안 된다. 또한 로봇은 자신의 검출 상태, 양보, 대기, 이동 의도를 명확하게 사용자에게 전달해야 한다.

데이터 수집 계획(Data Collection Planning)은 학습 기반 모델을 사용할 경우 반드시 필요하다. 데이터셋은 실제 ODD, 센서 구성, 시점(Viewpoint), 객체 종류, 날씨, 조명, 움직임, 가려짐, 고장 상황을 충분히 포함해야 한다. 공개 데이터셋(Public Dataset)은 초기 개발에는 도움이 되지만 실제 제품 환경을 완전히 반영하는 경우는 드물다. 데이터 수집 과정에서는 타임스탬프, 보정 정보, 메타데이터(Metadata), 개인정보 보호도 함께 고려해야 하며, 데이터 다양성(Diversity), 클래스 균형(Class Balance), 주석 품질(Annotation Quality), 어려운 음성 사례(Negative Example), 버전 관리가 모델 성능에 직접 영향을 미친다.

주석 설계(Annotation Design)는 모델이 무엇을 학습해야 하는지를 정의한다. 클래스(Class), 바운딩 박스(Bounding Box), 마스크(Mask), 키포인트(Keypoint), 추적(Track), 깊이(Depth), 자유 공간(Free Space), 지형(Terrain), 이벤트(Event), 센서 품질(Sensor Quality) 등이 주석 대상이 될 수 있다. 주석 기준은 여러 작업자가 동일한 결과를 생성할 수 있을 만큼 명확해야 하며, 부분적으로 가려진 객체나 모호한 객체에 대한 규칙도 포함되어야 한다. 품질 검사(Quality Check), 검토자 일치도(Reviewer Agreement), 자동 검증, 수정 절차를 함께 구축해야 한다.

모델 학습(Model Training)과 개발 과정에서는 학습 데이터(Training Set), 검증 데이터(Validation Set), 시험 데이터(Test Set)를 명확하게 분리해야 한다. 그렇지 않으면 실제 성능보다 과대평가된 결과를 얻을 수 있다. 평가에는 일반적인 장면뿐 아니라 어려운 예외 상황(Edge Case)과 학습 범위를 벗어난 환경도 포함되어야 한다. 모든 모델 변경은 코드(Code), 데이터셋(Dataset), 파라미터(Parameter), 하드웨어 버전과 연결되어 추적 가능해야 하며, 양자화(Quantization)나 가지치기(Pruning) 이후에는 정확성과 안정성을 다시 검증해야 한다.

시뮬레이션(Simulation)은 실제 하드웨어와 현장 데이터가 준비되기 전에도 인지 아키텍처를 검토할 수 있도록 지원한다. 가상 환경에서는 센서 배치, 시야(Field of View), 가려짐(Occlusion), 알고리즘 동작, 시나리오 범위를 반복적으로 시험할 수 있다. 또한 고장, 악천후, 교통량, 드문 사건도 안전하게 생성할 수 있다. 그러나 실제 센서 노이즈, 반사율, 오염, 진동, 사람의 행동은 완벽하게 재현하기 어렵기 때문에 시뮬레이션은 개발을 지원하는 도구일 뿐 최종 현장 검증을 대체해서는 안 된다.

시제품 통합(Prototype Integration)은 점진적으로 진행되어야 한다. 먼저 개별 센서와 알고리즘을 검증하고, 이후 서브시스템, 차량 수준, 전체 임무 수준으로 통합을 확대해야 한다. 초기 시제품은 타임스탬프, 원시 데이터, 진단 정보, 중간 결과를 모두 확인할 수 있도록 설계되어야 한다. 모든 구성 요소를 한 번에 통합하면 오류의 원인이 센서, 보정, 시간 동기화, 계산, 센서 융합, 의사결정 중 어디에 있는지 파악하기 어려워진다. 단계적 통합은 기술적 위험을 줄이고 문제 해결을 빠르게 한다.

검증(Verification)은 구현된 시스템이 설계 요구사항을 실제로 만족하는지를 확인하는 과정이다. 모든 요구사항은 시험(Test), 분석(Analysis), 검사(Inspection), 시연(Demonstration) 중 하나 이상의 방법으로 검증되어야 한다. 검출 거리, 지연 시간, 보정 정확도, 커버리지, 불확실성 보고, 장애 대응은 명확한 합격 기준(Acceptance Criteria)에 따라 측정되어야 한다. 또한 요구사항 추적성(Requirements Traceability)을 통해 임무 요구사항, 설계 요소, 시험 결과를 서로 연결해야 한다.

유효성 검증(Validation)은 인지 시스템이 실제 환경에서 의도한 임무를 수행할 수 있는지를 평가한다. 시험은 실제 경로, 사람, 차량, 객체, 적재물, 조명, 날씨, 바닥 상태, 다양한 운용 방해 요소를 포함해야 한다. 단순히 알고리즘 정확도만 평가하는 것이 아니라 로봇의 행동, 작업 완료율, 사람의 개입 빈도, 불필요한 정지(False Stop), 위험 요소 미검출(Missed Hazard), 복구 성능까지 함께 평가해야 한다. 기술적으로 올바른 인지 결과라도 잘못된 행동을 유발한다면 실제 운용에서는 성공이라고 할 수 없다.

고장 주입 시험(Fault Injection Testing)은 시스템이 구성 요소의 고장이나 데이터 품질 저하에 어떻게 대응하는지를 평가한다. 센서를 분리하거나, 렌즈를 가리거나, 타임스탬프를 손상시키거나, 네트워크 지연을 증가시키거나, 프로세서를 과부하시키거나, 보정 오차를 추가하거나, 열 스로틀링을 모의할 수 있다. 시스템은 이러한 문제를 스스로 감지하고 상태를 보고하며, 정의된 성능 저하 모드나 안전 정지 절차를 수행해야 한다. 이러한 시험은 정상적인 시험에서는 발견하기 어려운 숨겨진 가정을 찾아내는 데 매우 중요하다.

성능 시험(Performance Testing)은 장시간 운용(Long-Duration Operation)과 최악 조건(Worst-Case Operation)을 포함해야 한다. 짧은 데모는 메모리 누수(Memory Leak), 열 스로틀링, 시계 드리프트(Clock Drift), 데이터 누적, 보정 변화와 같은 문제를 발견하지 못할 수 있다. 로봇은 데이터 기록, 통신, Fleet 연결, 사용자 인터페이스 등 모든 생산용 서비스를 활성화한 상태에서 시험되어야 한다. 또한 복잡한 환경, 최대 센서 주기, 높은 CPU 사용률, 극한 환경 조건에서도 지속 가능한 성능을 유지해야 한다.

안전 검증(Safety Validation)은 실제 환경과 성능 저하 상황에서도 보호 기능이 정상적으로 동작하는지를 확인한다. 검출 영역, 보호 구역, 제동 거리, 속도 제한, 비상 정지 경로, 진단 범위, 센서 고장 대응 등을 시험해야 한다. 또한 실제 로봇의 질량, 적재 하중, 타이어, 브레이크, 바닥 상태, 최대 승인 속도를 모두 반영해야 한다. 인지 소프트웨어, 센서 장착 위치, 차량 동역학, 임무 방식이 변경되면 안전성 재평가와 회귀 시험(Regression Testing)이 필요할 수 있다.

운용 편의성(Operational Usability)도 시스템 설계의 중요한 요소이다. 작업자와 유지보수 담당자는 이해하기 쉬운 진단 정보, 보정 절차, 청소 방법, 상태 표시, 복구 절차를 제공받아야 한다. 시스템은 정상 운용, 성능 저하, 센서 고장, 안전 정지를 명확히 구분하여 표시해야 한다. 과도한 오경보(False Alarm)나 이해하기 어려운 메시지는 작업자가 위험한 우회 방법을 사용하도록 만들 수 있다. 우수한 사람-기계 인터페이스(Human-Machine Interface)는 인지 시스템이 장기간 신뢰받으며 유지되도록 한다.

배포 계획(Deployment Planning)은 소프트웨어, AI 모델, 설정(Configuration), 보정 데이터, 지도를 어떻게 설치하고 업데이트할지를 정의한다. 버전 호환성은 자동으로 확인되어야 하며, 업데이트 후 문제가 발생하면 이전 버전으로 복구(Rollback)할 수 있어야 한다. 무선 업데이트(Over-the-Air Update)는 안전성을 유지해야 하며 로봇이 불완전한 업데이트 상태에 머물러서는 안 된다. 또한 각 로봇이 어떤 하드웨어, 소프트웨어, 모델, 데이터셋, 보정, 지도 버전을 사용하는지 기록하여 Fleet 유지보수와 사고 분석을 지원해야 한다.

현장 모니터링(Field Monitoring)은 시스템 배포 이후에도 지속되어야 한다. 새로운 객체, 환경 변화, 계절에 따른 조명 변화, 공사, 센서 노화, 타이어 마모, 작업자의 운용 방식 변화는 시간이 지나면서 성능을 저하시킬 수 있다. 모니터링 대상에는 인지 신뢰도, 미검출, 불필요한 정지, 위치추정 품질, 지연 시간, 센서 고장, 작업자 개입 등이 포함된다. 중요한 이벤트와 주변 원시 센서 데이터는 문제 분석에 활용되며, 이러한 현장 정보는 요구사항, 데이터셋, AI 모델, 센서 장착 구조, 유지보수 정책, 운용 정책 개선으로 다시 연결되어야 한다.

변경 관리(Change Management)는 검증이 완료된 시스템이 무분별하게 변경되는 것을 방지한다. 카메라 교체, 브래킷 이동, AI 모델 변경, 최고 속도 증가, 적재 하중 변경, 미들웨어 업데이트는 모두 인지 성능에 영향을 줄 수 있다. 따라서 모든 변경은 보정, 시간 동기화, 안전성, 센서 커버리지, 검증 결과에 미치는 영향을 평가해야 하며 변경 내용에 맞는 회귀 시험을 수행해야 한다. 모듈화된 아키텍처와 요구사항 추적성은 이러한 변경을 효율적으로 관리하는 데 큰 도움이 된다.

인지 시스템 설계 과정은 일회성 작업이 아니라 반복적인 과정(Iterative Process)이다. 요구사항은 센서 선택에 영향을 주고, 센서의 한계는 알고리즘 선택에 영향을 주며, 시험 결과는 환경 조건의 부족함을 드러내고, 현장 운용은 새로운 데이터를 제공하여 시스템을 지속적으로 개선한다. 이러한 반복은 형상 관리(Configuration Management), 설계 검토(Design Review), 검증 근거(Evidence), 의사결정 기록을 통해 체계적으로 관리되어야 한다. 문서화되지 않은 반복적인 실험은 시스템의 재현성과 인증 가능성을 크게 떨어뜨릴 수 있다.

궁극적으로 성공적인 AMR 인지 시스템은 임무 요구사항, 센서, 컴퓨팅, 데이터, 알고리즘, 시간 관리, 불확실성, 안전성, 검증, 전체 수명주기를 통합적으로 설계함으로써 완성된다. 어떤 뛰어난 센서나 AI 모델도 불명확한 요구사항, 잘못된 장착 구조, 일관되지 않은 타임스탬프, 부족한 시험, 미흡한 유지보수를 보완할 수는 없다. 설계 과정은 모든 인지 결과가 이를 활용하는 의사결정을 지원하기에 충분히 정확하고, 충분히 신속하며, 충분히 설명 가능하고, 충분히 신뢰할 수 있도록 보장해야 한다. 그러한 조건이 충족될 때 비로소 AMR은 주변 환경을 안전하고 효과적인 자율성의 기반으로 인식할 수 있다.