데이터 신뢰성·정합성 중요

현업에서 데이터 분석을 다룰 수 있게 되면서 데이터 신뢰성과 정합성 확보 문제 역시 중요하게 떠오르게 됐다. 현업이 직접 데이터를 분석하고 도출한 결과를 사업에 반영할 수 있게 되면서 결과에 대한 책임도 함께 져야 했기 때문이다. 다루는 데이터를 신뢰하지 못할 경우 아무리 솔루션이라 하더라도 사용하기가 쉽지 않다. 특히 데이터 분석 전문가나 IT부서에서 선별해 제공한 데이터가 아니라면 더욱 그렇다.

이에 셀프 서비스 분석이 곧 ‘혼자서 모든 것을 할 수 있다(Self Enabled)’를 의미하지는 않는다. 셀프로 한다는 것은 구조를 알고 움직인다는 것을 의미하는데, 단순히 툴만 제공된다고 해서 모든 과정들이 생략되는 것은 아니다. 데이터를 모으고, 분석을 위한 데이터를 준비하고, 어떻게 인사이트를 얻을 것인지 등의 절차도 중요하다. 또한 각 단계별로 외부 도움이 필요한 경우도 많다.

셀프 서비스 분석을 이야기할 때는 툴만 생각하기보다 전체적인 그림을 볼 수 있어야 한다. 종종 전통적인 DW나 BI를 무시하는 경우도 발생하는데, 실은 DW나 BI 등이 데이터의 기본적인 형태다. 그 안에 데이터가 모이고 정렬이 돼야 현업에서도 쉽게 활용할 수 있다.

업계에서는 데이터를 수집해 조합하고 얻는 분석 준비 과정이 전체 프로젝트의 7~80%에 달한다고 평한다. 특히 회사 규모가 크면 클수록 다양한 정보들이 여러 시스템에서 수집되기 때문에 더 많은 시간이 걸린다. 하둡이 등장하면서 데이터 수집을 위한 공간적인 문제는 해결됐다 하지만, 아직도 많은 기업들이 분석의 앞부분에 놓여있는 이 같은 고민들을 하지 못하고 있다.

이동협 마이크로스트레티지코리아 부장은 “BI 시스템을 도입해도 실패하는 큰 이유는 사용자가 데이터를 신뢰하지 못하는 것과 도입하는 솔루션의 확장성을 고려하지 못하기 때문이다. 기업이 성장해가며 데이터 분석 수요가 높아질 텐데, IT 인력이 충분하지 않은 국내 기업들 특성상 데이터를 다루는 업무에 있어 IT부서가 얼마나 지원해줄 수 있을지가 중요하다. 비즈니스가 지속적으로 변하기에 신뢰성 있는 데이터를 제공하고 확장 가능한 솔루션이 필요하다”고 강조했다.

마이크로스트레티지는 이 같은 문제를 겪는 기업들을 위해 빅데이터 소스에 들어가 분석할 수 있도록 하는 연결 고리를 제공한다. 또한 분석 이후 의미 있는 결과가 도출됐을 때 공유할 수 있는 기능도 제공한다.

특히 마이크로스트레티지는 자사 MSTR 10 버전에서 시각화와 셀프 서비스 기능을 강화, 기업이 전사 BI 형태로 활용하고 데이터를 공유할 수 있도록 하고 있다. 20년이 넘는 업력 동안 쌓인 노하우와 고객 피드백들이 반영돼 있다는 점도 강점이다.

마이크로스트레티지, 셀프 서비스 BI 기능 강화     ▲ MSTR 10.8의 데이터 시각화를 위해 향상된 색상표 독립 BI 솔루션 전문기업 마이크로스트레티지는 자사 마이크로스트레티지(MSTR) 10 플랫폼에서의 셀프 서비스 BI 기능을 강화하고 있다. 특히 최근 출시된 MSTR 10.8은 엔터프라이즈 분석, 엔터프라이즈 모빌리티, 임베디드 분석, 엔터프라이즈 클라우드, 엔터프라이즈 IoT에 중요 기능을 제공하며, MSTR 데스크톱, MSTR 웹, MSTR 모바일, 어셔에 새로운 기능들이 추가됐다. 특히 R 및 R 통합 팩이 묶여 MSTR 서버와 함께 설치되므로 머신 러닝 기능, 인공지능 통합 및 예측 분석 기능을 보다 쉽게 활용할 수 있다. 또한 맞춤형 데이터 커넥터를 위한 새로운 갤러리, 데이터 시각화를 위한 향상된 색상표, 안드로이드 및 iOS 모바일 앱 간의 향상된 패리티, 어셔 프로페셔널과 함께 즉시 배포 가능한 대시보드 등을 제공한다. 전사 BI 툴로서는 업계에서 유일하게 리눅스 환경을 지원하며, 하둡에 위치한 데이터를 자유롭게 조회해보고 얻은 데이터를 인메모리(In-Memory)로 공유해서 전사 시각화하는 기능을 제공한다. 최근에는 모바일 BI 분야에서도 대시보드를 제공하고 있다. 국내 주요 고객 사례로는 SK플래닛 등이 있다.

쉽고 재미있는 분석으로 의사결정 최적화까지

인공지능 기술의 발전은 산업 분야의 지형마저 변화시키고 있다. 데이터 분석이 그동안 인사이트를 얻기 위한 과정이었다면, 이제는 그것을 넘어 의사결정과정까지 영향을 주도록 하고 있다. 지난 2015년 설립된 애자일소다는 단순히 쉬운 데이터 분석을 넘어 비즈니스 의사결정 최적화까지 제공한다는 계획을 갖고 있다.

김수화 애자일소다 대표는 “최근 인터넷 등에서 학생들이 오픈소스 툴로 인공지능을 활용해 데이터를 분석하려 한다는 것을 볼 때가 있다. 비즈니스와 관련된 주제는 아니더라도 기술적으로 꽤 깊은 내용을 다루려는 것들도 많았다”며 “알파고 이후 한 때의 신드롬으로 끝나지 않을까 했던 데이터 분석 시장이 점차 확산되고 있다. 특정 부류의 사람들이 주창하는 것이 아니라 생활 속으로 스며들고 있다. 이 같은 거대한 조류에 기업들이 따라가지 않을 수는 없을 것이다”고 말했다.

애자일소다는 기업에서도 데이터 분석을 쉽고 재미있게 할 수 있도록 하자는 것이 목표다. 아무리 쉬워도 재미없으면 배우려 하지 않지만, 반대로 아무리 어려워도 재미있으면 배우기 마련이다. 현업에서도 쉽고 재미있게 배워서 활용하는 데이터 분석 환경을 제공하는 것이 애자일소다가 표방하는 데이터 분석이다. 이에 인공지능 기반의 모델링을 하고 전략을 짜는 플랫폼 ‘스파클링 소다’를 시장에 공급하고 있으며, 현업들이 이를 활용해서 쉽게 의사결정을 할 수 있도록 지원한다는 방침이다.

어떻게 보면 포화 상태로 보일 수도 있는 곳이 데이터 분석 영역이지만 낮아진 진입 장벽과 기존 시장을 장악하고 있던 통계 분석 기반 솔루션의 한계, 점차 확대되고 있는 오픈소스 생태계 등으로 인해 충분히 승산은 있다고 판단하고 있다.

또한 애자일소다는 R 기반의 개발 도구를 자사 플랫폼에 탑재시켜 기존 데이터 분석 전문가들에게도 익숙한 환경을 제공하고 있다. 인공지능을 활용한 데이터 분석과 기존 통계 분석을 활용하는 사용자층 모두를 끌어안는 전략을 취함으로써 양분된 데이터 분석 분야 모두를 아우르려 하고 있다. 이를 토대로 기업이 보유한 의사결정 흔적을 빅데이터로 보고, 합리적 의사결정을 위한 강화학습을 진행해 의사결정 최적화를 이룰 수 있을 것으로 기대하고 있다.
 

여전히 필요한 고급 분석 역량

비록 데이터 분석 자체가 누구나 쉽게 할 수 있도록 하는 방향으로 가고 있지만, 여전히 고급 분석 역량은 필요하다는 것이 업계의 중론이다. 현업에서 할 수 있는 분석은 현업 업무에 한정될 뿐이고, 기업 전사 목표를 정하는 것은 데이터 사이언티스트와 같은 분석 전문가들의 몫으로 남아있다. 앞서 언급했던 엣지 컴퓨팅과 클라우드 데이터센터가 하나로 통합돼 운영되지 않는 것과 마찬가지 이유다.

또한 아무리 쉬운 분석 툴이 제공된다 하더라도 처음 제공받자마자 사용할 수는 없는 노릇이다. 대신 한두 번씩 따라하다 보면 자연스럽게 체득할 수 있는 부분이기에, 솔루션 벤더들은 교육 과정을 운영하거나 고객사에 정기 교육 등을 제공함으로써 툴 활용도를 높이려 하고 있다.

고준형 SAS코리아 이사는 “데이터 분석 툴이 보기에는 쉬울지라도 실제로 하려 하면 못하는 경우가 대부분이다. 아무리 시각적인 부분이 잘 돼 있다 하더라도 툴은 툴”이라며 “툴을 잘 사용하기 위해서는 핸즈온 세션에 참가하거나 무료 라이선스 발급, 체험(Trial) 버전 등을 통해 직접 따라해보며 익힐 필요가 있다”고 설명했다.

데이터 분석 전문가 양성도 권장되는 부분이다. 데이터 사이언티스트와 현업에서 하는 분석의 깊이와 난이도는 차이가 있다. 통계 지식이 부족하기에 결과를 갖고 해석하는 역량에서도 차이가 발생할 수 있다. 또한 데이터를 조율(Tuning)하는 것도 현업에서는 할 수 없는 부분이다. 데이터 사이언티스트는 시스템 자체와 더불어 데이터 조율을 통해 정확도를 높이는 역할까지 수행한다.

아울러 인공지능이 발전한다 하더라도 데이터 분석에서 사람의 역할은 앞으로도 중요할 것으로 예상된다. 비록 인공지능이 최적화된 결과를 추천한다 하더라도 최종 결정은 사람이 해야 하는 것이기 때문이다. 데이터에 의존한 단순 반복 작업들은 상당 부분 빠른 시간 내 인공지능으로 대체되겠지만, 문제 구성과 인력 배치 등은 사람이 할 수밖에 없다.

김주화 애자일소다 대표는 “데이터 분석의 궁극적인 목적은 고도의 인사이트를 얻는 것”이라며 “데이터 분석이 쉬워진다는 것은 계산과 복잡한 통계 모형 등을 컴퓨터가 해주기 때문에 잘 몰라도 되지만, 문제에 대한 정확한 이해와 상황 구성 능력 등은 사람이 해야 하기에 본질적으로 쉬워지지 않았을 수도 있다”고 언급했다.

스마트 시티를 위한 데이터 분석     ▲ 히타치 비주얼라이제이션 스위트(HVS) 이용 화면 현대 도시들은 사물인터넷(IoT)과 빅데이터를 결합해 범죄 탐지 및 교통 관리 등을 실현하는 스마트 시티를 목표로 하고 있다. 스마트 시티는 네트워크, 센서 및 빅데이터 분석 소프트웨어 기술의 발전으로 전 세계 도시의 혁신을 견인한다. 도시 인프라 운영 및 서비스 제공의 기반이 되는 디지털 플랫폼은 시민 및 기업들에게 새로운 기회를 가져다 주고 도시민들의 삶의 질을 향상시키고 있다. 이런 스마트 시티 프레임워크는 컴퓨팅 및 빅데이터 분석을 통해 시각화 및 지능성을 갖춰야만 도시민들의 요구사항을 신속하게 반영하면서 보다 효율적인 공공 서비스를 제공할 수 있다. 네트워크로 연결된 도시에서 발생하는 데이터를 스마트 시티 구현에 활용하려면 데이터를 통해 신속하게 인사이트를 도출할 수 있는 모델 개발이 필수적이다. 카메라 및 각종 센서를 통해 수집된 이미지 및 비디오 등의 데이터를 통합, 관리 및 분석하는 시스템은 결국 안전하고 쾌적한 도시를 만드는데 기여하게 된다. 히타치 밴타라(Hitachi Vantara)의 HVS(Hitachi Visualization Suite)는 기존의 공공 안전 플랫폼의 특정 구역 및 기간에만 한정돼 있는 데이터 수집 및 분석 관련 기능을 보완하는 통합 관제 솔루션이다. HVS는 도시 전체를 커버하며, 비디오 카메라나 다른 종류의 시스템 및 센서로부터 IoT 데이터를 얻어 맵 기반 통합 화면에서 효과적으로 시각화해 보여준다. 단일한 화면에서 트위터 및 페이스북 등과 같은 SNS 기반의 비정형 데이터 레이어를 표시할 수 있으며, 지도에서 실시간 영상을 직접 시청할 수는 장점도 제공한다. 특정 지역의 범죄, 사건사고 및 차량 흐름 등을 맵에 기록하고 디지털 기반으로 증거를 관리할 수 있으며, 범죄에 대한 예측 분석 기능을 통해 범죄를 사전적으로 예방할 수 있다.