‘젊은 슬롯버프 공학자’ (90) 서울과학기술대학 나기인 교수

‘젊은 로봇 공학자(Young Robot Engineer)’ 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하고 있다.

90번째 인터뷰는 나기인 서울과학기술대학교 공과대학 기계시스템디자인공학과 교수(사진)다. 나 교수는 1986년생으로 2009년 2월 포항공과대학교 기계공학과를 졸업하고 2011년 2월 KAIST에서 슬롯버프공학학제 전공으로 석사학위를 받았다. 2011년 2월부터 2024년 8월까지 한국전자통신연구원(ETRI) 초지능창의연구소, 모빌리티슬롯버프연구본부, 필드로보틱스연구실에서 책임연구원으로 근무하면서 2018년 3월부터 2022년 8월까지 KAIST에서 슬롯버프공학학제 전공으로 박사학위를 받았다. 2024년 9월부터 현재까지 서울과학기술대학교 공과대학 기계시스템디자인공학과 조교수로 재직하고 있다.

2022년 1월부터 12월까지 1년간 한국로봇학회 대전충청지부 부회장을 역임했다. 

관심 분야는 데이터 기반 사회적 인지 슬롯버프 내비게이션, 이동 물체의 3차원 인식 및 추적 기술, 비전-언어-행동 통합 모델(VLA) 등이다.
 

Q. 서울과기대 공대에서 운동 및 행동지능 연구실을 운영하고 있는데 연구실에 대한 간단한 소개 부탁합니다.

서울과학기술대학교 공과대학 기계시스템디자인공학과 운동및행동지능연구실(MoAI Lab, Motion and Action Intelligence Laboratory)은 2024년 12월 18일에 처음 개설됐습니다. 2025년 3월 첫 대학원생을 시작으로, 현재는 2명의 석사과정과 13명의 학부연구생이 함께하고 있습니다. MoAI Lab은 최근 주목받고 있는 피지컬 AI 분야를 중심으로 연구하고 있습니다. 구체적으로 운동지능(Motion Intelligence) 측면에서 주변 환경의 3차원 인식과 예측을 통해 주변 움직임을 이해하고 슬롯버프의 단위 움직임을 생성하는 운동지능을 개발하며, 행동지능(Action Intelligence) 측면에서 목적과 환경 정보 이해를 바탕으로한 효율적이고 일반화된 행동 생성 모델을 개발하고자 합니다. 최종적으로는 이렇게 개발된 운동 및 행동지능을 모바일 플랫폼과 매니퓰레이션 슬롯버프에 적용하기 위해 시스템 설계와 통합 연구를 함께 진행하는 연구실입니다.

Q. 최근 진행하고 있 연구가 있다면 소개 부탁합니다.

최근에는 기존에 연구해온 주변 객체 추적 및 예측 기반의 3차원 동적 환경 인식 기술을 실제 슬롯버프의 운동 제어와 행동 생성에 적용하는 연구를 하고 있습니다. 이를 위해 모델을 경량화하고, 실제 환경에 맞게 최적화하는 한편, 적용 환경에 대한 데이터 수집과 학습도 함께 수행하고 있습니다.

특히 3차원 인식 및 예측 시스템을 기반으로, 소셜리 어웨어 내비게이션(Socially-aware Navigation) 관점에서 주변 보행자의 미래 이동 경로를 예측하며, 시공간적 안전도를 평가해 보행자에게 불편함을 최소화하고 주변 구조물도 동시에 효과적으로 회피하는 경로 계획 기술을 연구하고 있습니다.

또 인식·예측·계획 단계를 분리하지 않고, 로봇이 인지할 수 있는 중간 환경 표현을 활용해 학습 모델이 이를 직접 이해함으로써, 사회적·물리적으로 안전하고 혼잡한 보행자 환경에 자연스럽게 융화되는 주행 경로를 생성할 수 있도록 하는 연구도 함께 진행하고 있습니다.

더불어 내비게이션 연구를 매니퓰레이션 분야로 확장해 모바일 매니퓰레이션을 구현하는 데 집중하고 있으며, 복잡한 행동을 모션 단위로 분리해 작업이나 상황에 따라 조합하고 융합해 생성할 수 있는 방법을 개발하고 있습니다.

Q. 2022년 8월 KAIST에서 ‘Adaptive 3D Object Tracking and Socio-Physically Acceptable Human Trajectory Prediction Using BERT for Social Navigation’으로 박사학위를 받으셨는데 어떤 내용인지 소개 부탁합니다.

모바일 로봇은 다양한 실생활 분야에서 활발히 활용되고 있으나, 여전히 쇼핑몰과 같은 복잡하고 혼잡한 환경에서 원활하고 안전하게 내비게이션을 수행하는 데 어려움을 겪고 있습니다. 이러한 문제를 해결하기 위해, 박사과정 동안 빠르고 정확한 3차원 객체 검출 및 추적, 그리고 사회적·물리적으로 수용 가능한 인간 경로 예측을 통해 로봇이 사람과 공존하는 환경에서 효율적이고 안전하게 주행할 수 있는 기반 기술을 확립하는 연구를 수행하고자 했습니다.

첫째, 저밀도 3차원 라이다(LiDAR) 점군 데이터를 빠르고 정확하게 객체별로 세그멘테이션하기 위해, 점군을 구형 이미지로 투영한 뒤 모델 기반 지면 검출, 경량화된 합성곱 오토인코더(convolutional auto-encoder) 기반 시맨틱 세그멘테이션, 그리고 영역 확장(region growing) 기반 인스턴스 세그멘테이션 기법을 융합한 SPriorSeg를 제안했습니다.

둘째, 복잡하게 움직이는 보행자와 같은 객체를 적응적이고 강인하게 추적하기 위해, 서로 다른 속도 표현과 모델 복잡도를 가지는 모션 모델들을 IMM(Interacting Multiple Model) 구조로 융합할 수 있도록, 상태 증강(State Augmentation)과 상태 융합(State Mixing)을 동시에 적용했습니다. 또 다수의 보행자를 동시에 추적하기 위해 적응적 모션 추정기를 기반으로 보행자의 동적 모션 특성과 외형 정보를 함께 고려하는 다중 객체 추적 알고리즘을 제안하고 활용했습니다.

셋째, 보행자의 미래 경로를 사회적·물리적으로 이해 가능한 형태로 예측하기 위해, BERT 기반의 SPU-BERT(Socio-Physically Understandable BERT) 모델을 제안했습니다. SPU-BERT는 두 개의 BERT 모델과 이들 사이의 생성 모델인 CVAE(Conditional Variational Autoencoder)로 구성돼, 하나의 상황에서 사회적·물리적으로 수용 가능한 다중 미래 경로를 예측하도록 설계됐습니다. 또한, 보행자 궤적 정보와 시맨틱 지도를 동시에 활용해 사회-물리적 상호작용을 정밀하게 이해할 수 있도록, ViT(Vision Transformer) 구조를 적용했습니다. 또 SPU-BERT는 기존의 반복적 경로 예측 구조를 목적지 예측 기반의 도달 경로 예측 방식으로 대체해 예측 속도를 크게 향상시켰으며, 어텐션(attention) 분석을 통해 예측 결과의 해석 가능성(interpretability)을 확보했습니다.

마지막으로, 박사 논문에서 제안된 모든 방법들을 통합해 3차원 라이다 점군 입력으로 주변 보행자의 경로를 실시간으로 예측하는 시스템을 구현했고, 이를 통해 실제 슬롯버프 주행 환경에서의 활용 가능성을 검증했습니다.

Q. 교수님의 주요 연구 관심 분야가 Data-Driven Socially-aware Robot Navigation, 3D Detection and Tracking of Moving Objects, Vision-Language-Action Models 등으로 알고 있습니다. 최근 Vision-Language-Action Models 관련해 기술적인 트렌드가 있다면 무엇인지 궁금합니다.

최근 시각-언어-행동(VLA) 모델 분야는 엔비디아, 구글과 같은 빅테크 기업을 중심으로 대규모 자원과 방대한 데이터를 활용한 연구가 이뤄지고 있습니다. 이들은 복잡한 슬롯버프 행동을 이해하고 생성하는 데 필요한 대규모 파운데이션 모델을 설계하며, 높은 일반화 성능 달성에 집중해 기술 발전을 이끌고 있습니다.

반면 소규모 연구실과 임베디드 환경에서는 대규모 모델을 직접 학습하기는 어려워, 안정적이고 연속적인 모션 생성, 행동 분해 및 융합과 같은 세분화된 작업에 주력하고 있습니다. 이 과정에서 행동 생성의 연속성을 확보하고 장기적인 의도를 유지하며, 제한된 데이터 환경에서도 복잡한 행동을 효과적으로 만들어내는 것이 중요한 과제로 떠오르고 있습니다. 또 대규모 시각-언어모델(VLM)과 융합을 통해 세부 지침을 활용한 정밀한 조작, 부드러운 모션 생성, 행동 생성 기술이 활발히 연구되고 있으며, 텔레오퍼레이션 기반 모방 학습을 통해 데이터 수집과 학습 효율을 높이는 시도도 주목받고 있습니다.

종합하면, 현재 슬롯버프 VLA 연구는 대규모 모델의 표현력과 소규모 환경에서의 세분화된 행동 생성 기법을 결합하는 방향으로 발전하고 있으며, 이를 통해 실용적이고 적용 가능한 슬롯버프 행동 모델 개발이 가속화되고 있습니다.

 Q. 슬롯버프을 연구하면서 가장 어려운 점은 무엇입니까?

슬롯버프 연구의 가장 큰 어려움은 필요한 기술의 범위가 매우 넓다는 점입니다. 하나의 슬롯버프 시스템을 완성도 높게 구현하고 실험하기 위해서는 인식, 판단, 제어 등 다양한 기술 분야의 지식이 종합적으로 요구됩니다. 동시에, 구축된 시스템을 활용해 질 높은 연구 성과를 얻기 위해서는 핵심 분야에 대한 깊은 전문성도 필수적입니다.

최근에는 단일 분야의 전문성(T자형 인재)만으로는 충분하지 않으며, 여러 영역에서 깊이 있는 이해를 갖춘 파이(π)형 인재가 되어야 한다는 점이 가장 큰 도전이라고 생각합니다. 실제로 로봇 연구는 피지컬 AI와 같은 다학제적 융합 연구로 빠르게 발전하고 있으며, 이로 인해 한 전공 내에서만 의미 있는 성과를 내기는 점점 어려워지고 있습니다. 따라서 다학제적 전문성 확보와 분야 간 협력 연구가 그 어느 때보다 중요해지고 있습니다.

또 연구 결과를 산업과 사회의 기대 수준에 맞게 발전시키는 것도 쉽지 않은 과제입니다. 시장이 빠르게 성장하고 있음에도, 실제 적용 가능한 영역이 아직 제한적이기 때문입니다. 따라서 기술적 완성도뿐만 아니라 연구의 필요성과 사회적 가치를 설득력 있게 제시하는 능력 또한 슬롯버프 연구자에게 요구되는 중요한 역량입니다.

Q. 슬롯버프을 연구하게 된 동기가 있다면.

저는 어릴 때부터 로봇 개발자를 꿈꿔왔습니다. 초등학교 6학년 때 장래희망 발표 시간에 ‘로봇과학자’가 되고 싶다고 그림을 그려 발표했던 기억이 아직도 생생합니다. 어릴 때부터 만들기와 조립을 좋아했는데, 그중에서도 제가 만든 로봇이 스스로 움직이는 모습을 보며 느꼈던 즐거움은 정말 컸습니다. 아마 그때부터 ‘로봇을 직접 만들어보고 싶다’는 마음이 생겼던 것 같습니다.

그 꿈을 이어가기 위해 자연스럽게 기계공학을 전공했지만, 학부 시절 다양한 프로젝트를 경험하면서 로봇 연구가 단순한 기계 설계에만 국한되지 않는다는 것을 깨달았습니다. 컴퓨터공학, 전자공학, 인공지능 등 여러 분야가 함께 어우러져야 진정한 로봇이 완성된다는 사실을 알게 됐습니다. KAIST 대학원 RIT 연구실에서 여러 전공이 융합된 연구를 진행하며, 어릴 적 느꼈던 ‘움직이는 것을 직접 만드는 기쁨’이 훨씬 더 깊어졌습니다. 지금은 단순히 로봇을 움직이게 하는 것을 넘어, 로봇이 스스로 판단하고 사람과 함께 행동할 수 있도록 만드는 것이 저에게 가장 큰 보람이자 로봇 연구의 동기입니다.

Q. 연구자로서 앞으로의 꿈과 목표가 있다면.

실제 현장에서 활용 가능한 실용적인 슬롯버프 AI 기술 연구를 계속하고자 합니다. 슬롯버프 연구자로서 제 연구의 명확한 정체성을 확립하고, 저를 대표할 수 있는 슬롯버프 기술을 개발해 슬롯버프 기술의 발전과 상용화에 기여하는 것을 목표로 하고 있습니다. 이를 위해 매니퓰레이션, 모바일 플랫폼, 휴머노이드 등 다양한 슬롯버프 플랫폼과 AI 기술 간 간극을 줄이는 연구를 꾸준히 이어가며, 피지컬 AI 구현에 힘쓰고자 합니다. 또 꾸준한 학계 활동과 학생 지도를 통해 제가 연구하면서 느낀 즐거움을 나누고, 후배들에게 좋은 연구 환경을 물려줄 수 있도록 최선을 다할 것입니다.

Q. 슬롯버프을 전공하려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면.

로봇은 단순한 기계가 아니라 사람의 삶을 변화시키는 기술의 집약체라고 생각합니다. 그렇기에 ‘왜 로봇을 하고 싶은가?’에 대한 진심, 그리고 ‘어떤 로봇을 만들고 싶은가?’에 대한 호기심을 잃지 않는 것이 가장 중요합니다.

또한 로봇 분야는 여러 기술이 융합돼야 완성되는 만큼, 한 영역에만 머무르지 않고 폭넓은 이해와 응용력을 키우려는 자세가 필요합니다. 새로운 기술을 빠르게 적용하고, 그 가능성을 실험과 분석을 통해 검증하려는 도전 정신 역시 앞으로의 로봇 연구자에게 꼭 필요한 덕목이라고 생각합니다. 

Q. 국내 슬롯버프 산업이 한 단계 더 발전하기 위한 방안이 있다면.

아직 제가 산업 전반에 대해 깊이 아는 것은 아니어서 자세히 말씀드리기는 어렵습니다. 다만 연구자로서 현장에서 느끼는 점이 있다면, 로봇과 같은 미래 산업은 산·학·연이 긴밀히 협력하고 공동의 목표를 향해 함께 나아가는 노력이 반드시 필요하다고 생각합니다.

미래를 위한 꾸준한 투자 없이는 기술을 선점하기 어렵고, 단기적인 성과나 시장의 트렌드만을 좇는 데에는 분명한 한계가 있습니다. 기존 기술 역시 산업 현장에서 실제로 활용될 수 있는 수준으로 성숙할 수 있도록 지속적인 지원이 필요하다고 생각합니다. 또 새로운 시도를 이어가고, 실패를 통해 배우는 문화를 만드는 것이 진정한 혁신으로 나아가는 길이라고 믿습니다. 아직 국내 슬롯버프 산업을 깊이 이야기할 만큼의 경험은 부족하지만, 앞으로 더 배우고 성장하면서 이 분야의 발전에 작은 보탬이 될 수 있기를 바랍니다.

 Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면.

지금까지 연구의 길을 걸어오면서 많은 분들이 제게 긍정적인 영향을 주셨고, 그분들의 도움과 조언이 지금의 저를 만들었다고 생각합니다. 그중에서도 특히 두 분이 제 연구 방향과 태도에 큰 영향을 주셨습니다.

먼저, 지도교수이신 김종환 KAIST 교수님께서는 석사 시절부터 늘 새로운 아이디어와 통찰로 연구의 폭을 넓혀주셨습니다. 오랜 연구원 생활 후 시작한 박사 과정에서도 연구의 방향이 흔들리지 않도록 시기마다 세심한 조언과 격려를 주셨고, 덕분에 슬롯버프 AI 연구를 계획대로 완성할 수 있었습니다.

또 서범수 한국전자통신연구원 박사님은 연구에 대한 열정뿐만 아니라, 연구자로서 가져야 할 진정성 있는 자세와 태도를 몸소 보여주셨습니다. 그 경험은 제 연구 철학을 형성하는 데 큰 영향을 주었고, 지금까지 연구를 지속하는 데 중요한 기반이 되고 있습니다.

현재 제가 교수로서 학생들을 지도하고 연구를 이어가는 과정에서도, 두 분께 배운 사고방식과 태도가 큰 힘이 되고 있습니다.

 Q. 이번 기회에 꼭 하고 싶은 말씀이 있다면.

연구뿐만 아니라 모든 일에서 가장 큰 힘이 되어주는 존재는 가족이라고 생각합니다. 언제나 제 곁에서 더 큰 꿈을 꾸고 도전할 수 있도록 믿어주고 응원해준 아내 정지혜에게 고맙다고 말하고 싶습니다. 그리고 힘든 연구의 순간마다 존재만으로도 큰 힘이 되어주는 딸 은재에게도 깊은 고마움을 전합니다.

조규남 전문기자 ceo@irobotnews.com