‘젊은 로봇 공학자(Young Robot Engineer)’ 코너는 한국로봇학회와 로봇신문이 공동으로 기획한 시리즈물로 미래 한국 로봇산업을 이끌어 갈 젊은 로봇 공학자를 발굴해 소개하고 있다.
89번째 인터뷰는 한국기계연구원 신영식 박사다. 신 박사는 1986년생으로 2013년 인하대학교 전기공학과를 졸업하고 2015년 KAIST에서 로보틱스 프로그램으로 석사, 2020년 토목 및 환경공학 박사(한게임 슬롯 머신공학 복수학위 프로그램) 학위를 받았다. 2019년 12월부터 현재까지 한국기계연구원(KIMM) AI한게임 슬롯 머신연구소 인공지능기계연구실에서 선임연구원으로 재직하고 있다.
2016년 현대 자율주행차 경진대회 수상(Winning Prize), 2020년 ICROS 2020 우수신진연구자상, 2021년 국가연구개발우수성과 100선 수상, 2024년 ICRA 2024 우수논문상, ICROS 2024 최우수논문상을 수상했다.
관심 분야는 공간 인공지능과 로보틱스, 장기 자율성, 강인한 센싱 등이다.
Q. KIMM 인공지능기계연구실에 대한 간단한 소개 부탁드립니다.
한국기계연구원 인공지능기계연구실은 로봇이 인간처럼 생각하고, 스스로 배우며, 새로운 환경에도 적응할 수 있는 ‘로봇의 지능’을 만드는 것을 목표로 하고 있습니다. 기계가 단순히 주어진 명령을 수행하는 존재를 넘어, 실제 세계의 맥락을 이해하고 스스로 판단하고 행동할 수 있도록 하는 로봇의 지능 및 기계 시스템 응용기술을 연구하고 있습니다.
오늘날 로봇이 수행해야 하는 일은 공장 안의 반복 작업을 넘어, 사람과 함께 공간을 공유하고 다양한 상황에 대응하는 방향으로 확장되고 있습니다. 이런 로봇에게 필요한 것은 특정 작업에 특화된 알고리즘이 아니라, 새로운 작업을 학습하고 일반화할 수 있는 능력입니다. 저희 연구실은 이를 실현하기 위해 ‘다양한 일상 서비스를 구현하기 위한 로봇 범용 작업 인공지능(RoGeTA) 프레임워크 핵심기술개발 연구’를 중심으로, 로봇이 과거의 학습 경험을 바탕으로 새로운 작업·환경에서 스스로 작업이 가능한 로봇 지능을 개발하고 있습니다.
Q. 최근 박사님이 하고 계신 연구가 있다면 소개 부탁드립니다.
최근에는 한게임 슬롯 머신의 공간지능(Spatial Intelligence) 연구에 집중하고 있습니다. 한게임 슬롯 머신이 인간의 생활 공간 안에서 자연스럽게 활동하기 위해서는 단순한 위치 추정이나 단순 기하정보로 구성된 지도를 작성하는 수준을 넘어, 주변 환경의 구조와 의미를 이해하고 변화하는 상황에 유연하게 대응할 수 있어야 합니다.
이를 위해 카메라와 라이다 등 여러 센서 뿐만 아니라 VLM(Visual-Language Model)과 같은 AI 기술을 융합해 로봇이 주변 세계를 더 깊이 있게 인식하도록 하는 연구를 하고 있습니다. 로봇이 이러한 정보를 스스로 통합하고, 이를 통해 공간을 이해하며 환경 정보를 통합하는 과정은 단순한 측정이 아니라 ‘공간 정보에 대한 이해’의 영역이라고 생각합니다.
최근 발표한 연구들을 소개드리자면, 인하대학교 SPARO 랩과 공동으로 서로 다른 라이다(LiDAR) 센서로부터 얻은 지도를 통합하는 기술인 유니-맵퍼(Uni-Mapper) 프레임워크를 개발했습니다. 이 연구는 다중 라이다 시스템이나 협동 한게임 슬롯 머신 환경처럼, 센서 종류와 관측 조건이 서로 다른 상황에서도 일관된 3차원 지도를 구축하기 위한 것입니다.
특히 유니-맵퍼는 환경 속에서 움직이는 사람이나 차량 같은 동적 객체를 자동으로 감지하고 제거하며, 센서 간의 차이로 인해 발생하는 지도 불일치 문제를 보정하는 과정을 포함하고 있습니다. 이를 통해 한게임 슬롯 머신은 다양한 환경에서 수집한 데이터를 스스로 정합하고, 더 넓은 공간을 일관성 있게 이해할 수 있습니다.
이 연구는 다중 한게임 슬롯 머신 협업, 장기 자율주행, 그리고 대규모 공간지도 생성 등 한게임 슬롯 머신이 현실 세계에서 확장성 있게 작동하기 위한 기반 기술로 활용될 수 있다는 점에서 의미가 큽니다.
또한 경희대학교 RCI 랩과 공동으로, 로봇이 사람의 자연어 지시를 이해하고 실제 공간 속에서 스스로 이동할 수 있도록 하는 시각-언어 내비게이션(Visual-Language Navigation) 연구를 진행하고 있습니다. 이 연구에서는 인스턴스-엔리치드 시맨틱 맵(Instance-Enriched Semantic Map:객체 정보를 결합한 고해상도 시맨틱 맵)이라는 새로운 접근을 통해 로봇이 주변의 사물과 공간 구조를 더욱 세밀하게 인식하고 그 정보를 언어적 표현과 연결할 수 있도록 했습니다. 이를 통해 로봇은 “파란 소파 옆 테이블로 가”와 같은 복잡한 언어 지시도 상황에 맞게 이해하고 이동할 수 있는 능력을 갖출 수 있게 됩니다.
결국 저의 연구는 한게임 슬롯 머신이 세상을 관찰하고, 그 안에서 자신의 위치와 관계를 스스로 파악하며, 사람과 같은 공간 인식 능력을 갖추도록 만드는 데 초점을 두고 있습니다. 이러한 기술은 앞으로 자율이동 한게임 슬롯 머신뿐 아니라, 일상 공간에서 사람과 함께 협력하는 AI 한게임 슬롯 머신의 핵심 기반이 될 것이라고 생각합니다.
연구논문 발표뿐 아니라 다양한 국가과제도 수행하고 있습니다. 그 중 제가 책임자로서 수행했던 과제들을 간단히 소개해 드리고자 합니다.
산업통상부의 로봇산업기술개발사업으로 ‘다품종 EV 폐배터리팩의 재활용을 위한 인간-로봇 협업 해체 작업 기술 개발’ 과제를 진행하고 있습니다. 로봇-로봇 간의 협력을 위해 모바일 매니퓰레이터의 전신제어 기술을 포함하는 프레임워크를 구현하였고, 로봇이나 사람이 혼자서는 해내기 어려운 폐배터리팩 커버 등 고하중 물체를 옮기는 협업 시스템을 개발하고 있습니다.
그리고 한국연구재단의 STEAM연구사업으로 추진됐던 Planet-Ex: 행성의 지속적 자율탐사를 위한 자가성장형 이종 군집한게임 슬롯 머신 융합연구의 후속 연구를 진행하기 위해 항우연 등 우주탐사 관련 기관들과 기술교류를 통해 공동 연구를 추진하기 위해 노력하고 있습니다.
Q. 2020년 2월 KAIST에서 ‘가시성 변화 환경에서 보완 센서 융합으로 단안 SLAM 성능 향상(Enhanced monocular SLAM via complementary sensor fusion in visibility varying environment.)’로 박사학위를 받으셨는데 어떤 내용인지 소개 부탁드립니다.
제가 학위 기간 동안 집중했던 주제는 여러 종류의 센서를 융합해 어떤 환경에서도 정확하고 안정적으로 로봇의 위치를 추정할 수 있는 기술이었습니다. 로봇이나 자율주행 시스템의 기본은 ‘내가 어디에 있는가’를 정확히 파악하고, 주변 환경을 이해하는 것입니다. 이를 가능하게 하는 핵심 기술을 바로 SLAM(Simultaneous Localization and Mapping)이라고 합니다.
하지만 조명 변화, 안개나 먼지, 혹은 센서 자체의 물리적 한계 때문에 SLAM의 성능이 불안정해지는 경우가 많습니다. 저는 이런 불완전한 환경에서도 시스템이 흔들리지 않도록, 센서 융합을 통한 강건성(robustness) 확보와 정확도(accuracy) 향상에 초점을 맞췄습니다.
그 과정에서 저는 카메라, 라이다(LiDAR), 열화상 카메라, 레이더 센서(Radar) 등 다양한 센서를 상보적으로 결합하는 방법을 연구했습니다. 카메라는 시각적 정보를 풍부하게 제공하지만 깊이를 직접 측정할 수 없고, 라이다는 깊이 정보를 정밀하게 얻을 수 있지만 데이터가 희소하고 센서 자체의 비용이 높습니다. 박사과정 동안은 이런 서로 다른 특성을 가진 센서들을 융합해 각자의 약점을 보완할 수 있는 기술을 중점적으로 연구했습니다.
Q. 박사님의 주요 연구 관심 분야가 SLAM과 Spatial AI 등으로 알고 있습니다. 최근 SLAM을 기반으로 하는 Spatial AI와 관련해 기술적인 트렌드가 있다면 무엇인지 궁금합니다.
최근 SLAM 연구는 단순한 기하학적 정확성을 넘어서, 환경에 대한 강건성(Robustness), 확장성(Scalability), 그리고 고수준의 공간 이해를 통합하는 방향으로 진화하고 있습니다. 이러한 흐름에서 등장한 개념이 Spatial AI입니다.
SLAM이 Spatial AI로 진화하는 과정에서 마주치는 가장 큰 기술적 장애물은 의미론적 간극(Semantic Gap)입니다. 이는 기존 로보틱스에서 사용해 온 점, 선, 면 등의 기하학적 수준의 정보와 의미론적 개념 사이의 간극을 의미합니다. 초기의 연구들은 주로 기존의 기하정보 위에 시멘틱 라벨을 부여하는 방식으로 의미를 추가했지만, 최근의 연구들은 한 단계 더 나아가 객체와 환경의 구성 요소 간의 의미론적 및 공간적 관계를 통합적으로 표현하는 방향으로 발전하고 있습니다.
이러한 흐름 속에서 등장한 개념이 Spatial Ontology입니다. Spatial Ontology는 단순히 공간을 좌표나 형태로 표현하는 것을 넘어, 공간 내 존재자들 간의 관계, 맥락적 의미, 그리고 행동 가능성(affordance)까지 포괄하는 것으로 개념이 확장되고 있습니다. 결국, 이런 기술들이 모여 한게임 슬롯 머신이 인간처럼 공간을 이해하고 추론하여 상호작용 할 수 있는 기반을 마련해 가는 것이 최근 트렌드라고 생각됩니다.
Q. 로봇을 연구하면서 가장 어려운 점은 무엇입니까?
로보틱스를 연구하면서 느낀 가장 큰 어려움은, 기술적으로 복잡한 문제를 푸는 일보다 현실 세계의 불확실성을 다뤄야 한다는 점입니다. 특히 인식과 자율주행 분야에서는 카메라나 라이다 같은 센서가 이상적으로 작동하지 않는 상황이 끊임없이 발생합니다. 조명 변화나 날씨, 예기치 못한 오작동 등 현실의 변수가 이론적 이해보다 더 큰 도전이 될 때가 많습니다.
결국 로보틱스는 다양한 기술이 융합돼야만 완성되는 분야입니다. 이 복잡함이 처음에는 부담스럽게 느껴지기도 했지만, 시간이 지나면서 오히려 이 복잡성과 불확실성 자체가 로보틱스의 가장 큰 매력이라는 것을 깨닫게 됐습니다.
Q. 로봇을 연구하게 된 동기가 있다면?
로봇을 연구하게 된 계기는 단순한 기술적 호기심이 아니라, 사람과 함께 움직이며 도움을 줄 수 있는 로봇을 만들고 싶다는 바람이었습니다.
그런 한게임 슬롯 머신을 구현하기 위해서는 주변 환경을 신뢰성 있게 인식하고 이해하는 능력이 필수적이라고 생각합니다. 이러한 문제의식에서 출발해, 다양한 센서를 융합해 한게임 슬롯 머신이 스스로 공간을 인식하고 위치를 추정하는 기술, 즉 SLAM 연구에 관심을 갖게 됐습니다.
Q. 연구자로서 앞으로의 꿈과 목표가 있다면?
연구자로서의 제 목표는 연구실 안에서 머무는 기술이 아니라, 실제 현장에서 쓰이는 기술을 만드는 것입니다. 논문 한 편으로 끝나는 연구가 아니라, 산업 현장에서 사람들에게 신뢰받고 활용될 수 있는 기술이 되어야 진짜 의미가 있다고 생각합니다. 그래서 연구 성과를 기술이전이나 공동개발의 형태로 확산시키고, 산업계와 협력해 현실에 도움이 되는 로보틱스 기술을 만드는 데 관심을 두고 있습니다.
궁극적으로는 제 연구가 사람들의 삶을 더 안전하고 편리하게 만드는 데 기여하고, 한게임 슬롯 머신이 현실 속에서 신뢰받는 존재로 자리 잡는 것이 제 꿈입니다.
Q. 한게임 슬롯 머신을 전공하려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면?
한게임 슬롯 머신공학을 공부하려는 후배들에게 꼭 해주고 싶은 말은 너무 서두르지 말고 기본기를 확실히 다지라는 것입니다.
로봇은 기계, 전자, 컴퓨터과학이 모두 얽힌 복합적인 분야이기 때문에, 눈앞의 기술보다 그 바탕이 되는 원리를 깊이 이해하는 것이 훨씬 중요합니다. 요즘은 AI 기반의 도구들이나 오픈소스 덕분에 누구나 빠르게 결과를 만들어볼 수 있지만, 진짜 실력은 ‘왜 이렇게 되는가’를 스스로 설명할 수 있을 때 생깁니다.
그리고 이제는 단순히 코드를 잘 짜거나 논문을 많이 읽는 것보다, 문제를 정의하고 해결의 방향을 스스로 설계하는 능력이 더 중요해지고 있습니다. 쏟아져 나오는 새로운 기술을 모두 따라가려 하기보다, 세상을 이해하고 스스로 문제를 풀어가는 깊이가 더 큰 자산이 될 것입니다.
Q. 국내 한게임 슬롯 머신 산업이 한 단계 더 발전하기 위한 방안이 있다면?
국내 로봇 산업은 지금이 정말 한 단계 도약할 수 있는 결정적인 시기라고 생각합니다. 고령화, 인력난, 산업 자동화 수요 같은 사회적 변화가 로봇의 필요성을 빠르게 끌어올리고 있고, 정부 차원의 로봇산업 육성 정책과 기업들의 투자 움직임도 그 어느 때보다 활발합니다.
기술, 시장, 정책이라는 세 가지 축이 동시에 맞물리는 시점이 흔치 않기 때문에, 지금이야말로 우리 한게임 슬롯 머신 산업이 질적으로 성장할 수 있는 최적의 타이밍이라고 봅니다.
이 기회를 살리기 위해서는 연구 결과가 실험실 안에 머무르지 않고 실제 현장으로 이어지는 흐름이 중요합니다. 기술을 완성하는 것도 중요하지만, 그것을 현장에서 구현하고 지속적으로 개선해 나가는 실용화의 경험과 의지가 산업 발전의 핵심이라고 생각합니다. 연구자와 기업이 긴밀히 협력해 기술을 빠르게 사업화하고 다양한 분야에서 한게임 슬롯 머신이 실제 문제 해결의 도구로 자리 잡을 수 있도록 해야 합니다.
그런 선순환 구조가 만들어진다면, 국내 한게임 슬롯 머신 산업은 단순한 기술 경쟁을 넘어 실질적인 가치와 신뢰를 제공하는 산업으로 성장할 수 있을 것입니다.
Q. 연구에 주로 영향을 받은 교수님이나 연구자가 있다면?
우선 박사과정 동안 지도교수님이신 서울대학교 김아영 교수님의 영향을 가장 많이 받았습니다. 김 교수님 연구실의 첫 번째 멤버로 합류해 연구실이 성장하는 과정을 함께하면서, 연구실이 학계에서 자리 잡아가는 모습을 가까이에서 보며 많은 것을 배웠습니다. 특히 국제적으로 활발히 연구 활동을 이어가시며 언제나 새로운 도전을 두려워하지 않으시는 모습, 그리고 연구에 대한 진심 어린 열정이 저에게 큰 자극이 되었습니다. 연구실 초기에는 코드 한 줄 한 줄을 함께 점검하고 지도해주셨던 기억이 아직도 생생합니다.
또한 한국기계연구원 AI한게임 슬롯 머신연구소의 박찬훈 소장님을 비롯해 함께 연구하고 있는 선후배 동료 연구자분들로부터도 많은 영향을 받고 있습니다. 각자의 자리에서 꾸준히 연구를 이어가며, 산업 현장과 학계를 잇는 가교 역할을 하는 모습을 보며 연구자로서의 책임감과 방향성을 다시금 생각하게 됩니다. 이외에도 현재 활발히 활동 중인 여러 동료 및 선후배 연구자들의 열정적인 모습이 저에게 늘 큰 자극이 되고 있습니다.
조규남 전문기자 ceo@irobotnews.com