[릴레이 인터뷰로 만나는 미래 기술] ① AI 시각 지능 기술이 사용자 경험을 바꾼다… 삼성리서치 우크라이나 연구소

[양해용 기자]=삼성전자는 사용자들이 보다 편리한 삶을 누릴 수 있도록, 기술 경쟁력을 강화하고 선행 기술을 확보하기 위해 다양한 노력을 기울이고 있다. 그 노력의 중심에 CE(Consumer Electronics) 부문과 IM(IT & Mobile Communications) 부문 선행연구개발 조직인 ‘삼성리서치’가 있다. 삼성리서치는 전세계 12개국에 위치한 R&D 센터 14곳, 글로벌 AI 센터 7곳과 함께 사용자 중심의 혁신 기술을 연구하며 미래를 준비하고 있다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶에 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 첫 번째 주자는 삼성전자 우크라이나 연구소(Samsung R&D Institute Ukraine)의 시각 지능(Visual Intelligence) 팀장 세르게이 리트비넨코(Sergii Lytvynenko)다. 아래는 소프트웨어 엔지니어로 입사해 10여년 이상 시각 지능 기술을 연구해온 전문가, 세르게이와의 일문일답이다.

Q: 우크라이나 연구소는 어떤 곳인가?

우크라이나의 심장부인 키이브(Kyiv)에 위치한 우리 연구소는 2009년 설립 초창기부터 AI, Augmented Reality (AR, 증강현실)/Virtual Reality(VR, 가상현실), 보안 분야 선행 기술 연구에 집중해왔다. 유수의 전문가들이 보안 기술, 컴퓨터 비전 등의 연구에 몰두하고 있고, 현지 대학과 산학 협력도 활발히 진행하고 있다.

Q: 시각 지능팀에서는 주로 어떤 연구를 하는가?

AI, 컴퓨터 비전, 컴퓨터 그래픽 분야에 대한 연구를 하고 있다. 연구 성과를 총체적인 사용자 경험으로 변환해서, 종래엔 사람들의 삶의 질을 개선하는 게 주요 업무라고 보면 된다. 물론, 여기에는 일상을 쉽고 간편하게 만드는 것과 사용자에게 긍정적 감정, 몰입 경험을 전달하는 것도 포함된다. 또, 이런 선행 연구가 삼성전자의 다양한 제품에 반영될 수 있도록 여러 팀과 협업도 하고 있다.

Q: 컴퓨터 비전과 컴퓨터 그래픽, 이 두 기술이 새로운 사용 경험에 기여했던 사례를 소개해 달라.

지난 해 ‘스마트 트레이너(Smart Trainer)’라는 새로운 차원의 홈 트레이닝 솔루션 연구를 수행했다. 이 시스템은 스마트 TV에 연결된 USB 카메라로 사용자의 동작을 읽고 사용자가 실시한 운동을 기록하며 자세 정확도까지 알려줄 수 있다. 모두 AI 기술로 가능한 서비스다.

Q: AR 글래스와 같은 증강현실 기술과 관련한 연구도 진행 중인지 궁금하다.

컴퓨터 비전과 컴퓨터 그래픽 기술을 AR 글래스에 적용할 때 풀어야 할 숙제가 아직 많다. 우리 팀에선 주로 난제 해결 방법을 연구하고 있다.

사람의 눈과 같은 기능을 연구하는 컴퓨터 비전 분야는 카메라, 스캐너 등에 투입된 시각 정보에서 유용한 정보를 생성하는 기술이다. 구체적인 주 연구 분야로는 SLAM(Simultaneous Localization and Mapping)[1], 깊이 측정(Depth Estimation), 주위 환경 이해(Environment Understanding), 인간과 컴퓨터간 상호작용(Human Computer Interaction, HCI) 등이 있는데, 이러한 기술들은 특히 AR과 같은 애플리케이션의 필수 솔루션이다. 컴퓨터 그래픽 분야에서는 AR에 적용 가능한 저지연 렌더링(Low-Latency Rendering)과 게임 성능(Game Performance) 최적화를 연구한다.

▲ 시각 지능 기술을 연구하고 있는 삼성전자 우크라이나 연구소 (Samsung R&D Institute Ukraine) 연구원들

Q: 갤럭시 Z 폴드3의 S펜 기술 개발에도 기여했다. S펜 개발 배경을 소개해 달라.

우리가 집중적으로 연구한 솔루션 중 하나가 S펜 손글씨 인식(Handwriting Recognition) 기술이다. 갤럭시 Z 폴드3는 크고 유연한 디스플레이가 특징으로, 업무나 학업의 생산성을 높이고 새로운 가능성을 제공하는 유일무이한 제품이라고 생각한다. 이런 점에서 S펜 손글씨 인식은 매우 중요한 기술이다. 우리는 펜과 종이가 가진 장점을 디지털 화면으로 옮기기 위해 연구를 거듭했고 그 결과, 손글씨 인식 솔루션에 관련한 특허를 여럿 취득 했다.

Q: S펜 손글씨 인식 기술이 기능적 편리함을 넘어 사람들의 보다 나은 일상에 기여하는 면도 있을 것 같다.

펜과 종이를 사용할 때의 필기 경험에 최대한 가깝게 구현하려 노력했다. 이걸 가능하게 했던 것이 갤럭시 Z 폴드3에 탑재된 AI 기반 포인트 예측(Point Prediction) 솔루션인데, S펜의 입력 지연시간(Latency Input)을 최소화해준다. 이런 기술 덕분에 사용자들은 디지털 필기를 쉽고 즐겁게 경험할 수 있다. S펜으로 쓴 노트를 간편하게 문서로 변환하고, 표·도형·링크도 스마트하게 삽입하며, 심지어 수학 문제 풀이도 한다. 이러한 경험이 일상생활에 진정한 변화를 가져올 것이라 믿고 있다.

Q: 최근 우크라이나 연구소에선 어떤 기술 트렌드를 주목하고 있나?

‘시각 양식(Visual Modality)’을 꼽고 싶다. 일반적인 메모나 영상을 어떻게 하면 스마트한 메모나 영상으로 바꿀 수 있을지, 그리고 이 과정에서 유의미한 상황 정보(Context)를 얼마나 추출할 수 있을지가 관건인 기술이다. 특히 AR이 가능성 높은 분야인데, 아직 해결해야 할 숙제가 많다. 주위 환경을 총체적으로 탐색해 잘 정리된 상황 정보를 제공하는 ‘디지털 눈(Digital Eyes)’이 현실화된다면 우리 삶을 완전히 바꿔 줄 것이다.

인간과 컴퓨터 간의 상호작용인 ‘HCI(Human Computer Interaction)’도 중요한 트렌드다. 말하고 듣고 보는 다중양식 상호작용(Multi-Modal Interaction)은 HCI에서 중요한 부분을 차지하고 있다. 사용자의 음성, 동작, 표정 등 다양한 정보를 종합해 사용자가 원하는 것을 기호에 맞게 제공할 수 있는 다중양식 상호작용은 앞으로 필수적인 기술이다. 전자제품이 컴퓨터 비전을 통해 사람의 눈처럼 시각 정보를 얻을 수 있다고 가정할 때, 이 정보를 음성 대화 정보와 융합한다면 하나의 정보에만 의존한 것보다 훨씬 인간의 눈 높이에 맞는 경험을 제공할 수 있기 때문이다.

Q: 우크라이나 연구소에서 가장 기억에 남는 성과를 꼽는다면 무엇인지?

올해 6월, AI 분야 주요 어워드인 ‘2021년 CVPR 차트 질문 답하기 챌린지(CVPR 2021 Chart Question Answering Challenge)’에서 팀이 우승을 거둔 것이 가장 기억에 남는다. CVPR(Conference on Computer Vision and Pattern Recognition)은 1983년부터 매년 6월 열리는 국제 학술대회로, 컴퓨터 비전 분야 세계 최고 수준 학회로 손꼽힌다.

Q: 시각 지능 기술이 모바일 사용 경험을 혁신하는 데 매우 중요한 기술인 것처럼, 언어 처리 기술도 못지않게 집중 연구가 필요한 분야다. 우크라이나에선 언어 기술 분야를 어떻지 궁금하다.
자연 언어 처리(Natural Language Processing, NLP)는 가장 어려운 연구분야 중 하나다. 우리는 전 세계 모든 사람들이 우리 솔루션을 경험할 수 있기를 바라는데, 그렇게 되려면 사용할 수 있는 언어가 확장돼야 하고 지원도 필요하다. 이를 위해, S펜 손글씨 인식 기술이 더 많은 언어를 지원할 수 있도록 노력하고 있다. 현재 80여 개의 언어를 지원하는데 이 숫자는 앞으로 더 늘어날 것으로 본다.