신속한 데이터 수집·분석 가능 … IBM DB2 기반 EDW 도입
지난 2002년 5월 민영기업으로 새롭게 출발한 KT는 고객이 원하는 서비스를 제공하던 수동적인 고객만족경영의 틀을 넘어, 고객이 원하는 가치를 찾고 개발해 차별화된 방법을 제공하는 능동적인 자세로 고객 서비스 방향을 선회하고 있다.
전국을 커버하는 기간통신망을 기반으로 한 유선 전화 사업자를 넘어, 현재는 언제 어디서나 어떠한 단말기로도 편리하게 연결되는 유비쿼터스 환경을 구축하는 유무선 통신 기업이 된 KT는 상상하는 모든 것이 현실이 되는 놀라운 세상을 만든다는 의미로, ‘Wonderful Life Partner, KT’라는 비전을 실행하고 있다.
이의 일환으로 최근 전사 데이터/경영 정보의 자원화를 목표로 산재된 사내 데이터를 전사적으로 통합하는 EDW(Enterprise Data Warehousing) 도입을 추진, EDW 성공 구축 사례로 손꼽히고 있다. <편집자>
고객이 원하는 가치를 찾아서 먼저 제공하는 능동적인 고객 서비스 수행을 위해 KT는 한 가지 중요한 과제를 해결해야 했다. 98종의 기간계 시스템에서 제각각 운영되는 고객, 상품, 경영, 시설 관련 데이터의 통합이 그것이다.
KT는 전국 기간 통신 서비스를 제공하는 기업 특성상, 수천의 고객을 보유하고 있고, 이들에게 수집 종의 다양한 상품 서비스를 제공하고. 그만큼 관련 비즈니스 프로세스와 인프라도 복잡하기 마련이다.
그동안 새로운 신규 서비스가 시행될 때마다 새로운 업무 코드가 생성되는데 이를 기존 인프라에 추가하다 보니 서비스나 업무 별로 고객이나 상품, 경영, 시설 관련 데이터가 중복 저장, 관리돼 왔다. 데이터적으로 고객에 대한 시스템 별 기관 코드 관리 기준이 다르거나 고객의 ID나 정보가 서비스 별로 중복되는 등의 문제점이 생긴 것이다.
결국 전사적인 고객 정보 분석이 불가능했고, 중복 데이터로 인한 인프라 용량, 관리 등에 있어서도 비효율적인 운영이 이뤄졌다. 특히 최근 들어 기존의 유선 통신 외에 무선통신, 인터넷, 위성 등으로 비즈니스 범위와 규모가 확대되고, 맞춤형 고객 서비스가 중요해지고 있는 상황이어서 각 사업 분야별로 산재한 업무 데이터와 고객 데이터를 재정비해 마케팅, 영업, 재무, 기획, 전략 등에 필요한 최적화된 분석 데이터를 제공해야 할 필요성이 더욱 커지게 됐다.
IBM TDWM과 DB2 기반 EDW 구축
이에 KT는 ‘고객 만족 경영을 실현할 수 있도록 전사 데이터/경영 정보를 자원화 한다’는 목표를 내걸고 산재된 사내 데이터를 전사적으로 통합하는 EDW(Enterprise Data Warehousing) 도입을 추진하게 됐다.
EDW 구축 프로젝트 시작에 앞서, KT가 중점적으로 고려한 사항은 크게 4가지다. 대용량 데이터의 원활한 분석 처리, 전사 데이터에 대한 통합된 뷰(view) 정립, 데이터 모델링의 정교화, 데이터 품질 관리 등이다.
결국 98종의 각 업무별 시스템에 있는 다량의 데이터를 EDW를 통해 표준화하고, 정교하게 분석해 다양한 업무 분야에서 고객 및 경영 분석을 위해 가공된 정보로 활용할 수 있게 한다는 것이 KT의 목표였다.
이의 일환으로 KT는 대용량 DW 처리가 가능한 DBMS로 IBM DB2 v8.2 엔터프라이즈 스페셜 에디션을 선택했으며, 2천종이 넘는 다양한 데이터를 정교하게 분석할 수 있도록 IBM의 상용 데이터 모델인 IBM TDWM(Telco Data Warehouse Model)을 적용했다. 또한 DW 과정의 데이터 표준화와 이기종 DB의 연동을 위해 데이터 추출 툴인 IBM 웹스피어 데이터스테이지를 도입했다.
KT EDW정보TASK 박진형 과장은 “프로젝트 규모가 크고, 매우 복잡한 데이터 구조를 정의해야하는 프로젝트였기 때문에, 안정적인 서비스가 보장돼야 했다. IBM의 경우 TDWM 같은 데이터 모델링부터 다양한 툴, 그리고 대용량 처리가 가능한 DB2, 서버 인프라까지 종합적인 서비스가 가능했기 때문에 IBM의 솔루션을 채택하게 됐다”고 설명했다.
특히 KT에게는 방대한 다량의 데이터를 수집·분석해야 하는 EDW 특성상 데이터 모델링이 중요했다. 데이터 모델링을 담당하는 KT EDW정보TASK의 김윤경 과장은 “TDWM이라는 상용 데이터 모델을 적용함으로써, 데이터 모델링의 기본 구조를 쉽게 마련할 수 있었고 이를 기반으로 좀더 KT 특성에 맞게 커스터마이징 하는데 집중할 수 있었다”며 이것이 1년 이내의 짧은 기간 동안 프로젝트를 완료할 수 있었던 주요인이라고 설명했다.
수집-통합-요약 3단계 거쳐 80TB 데이터 관리
운영 초기의 KT EDW는 총 50TB, 총 1만4천개 테이블로 구성됐었다. 현재는 총 80TB의 데이터와 25TB의 파일을 수집, 가공하는 역할을 원활하게 수행하고 있다. 이는 전 세계 IBM 고객사 중 3위에 속하는 대용량 EDW이다.
KT EDW는 수집, 통합, 요약 등 총 3단계에 걸쳐 데이터를 가공한다. 고객, 상품, 경영, 시설 등에 관련된 총 98종의 기간계 시스템의 원천 데이터는 이기종 DB의 연동이 가능한 데이터 추출 및 ETT툴인 IBM 웹스피어 데이터스테이지를 이용해 수집영역의 파일형태로 저장돼 DB에 로딩된다. 이런 원천의 수집데이터를 이용해 데이터 품질관리를 위해 매일 필터링 작업이 수행되며, 에러 데이터는 다시 원천 시스템으로 보내진다.
필터링된 수집 영역의 데이터는 EDW의 통합 영역에서 9개 주제 영역 별로 관계 정의가 이뤄진다. 데이터의 추출, 정제, 적재 등의 과정이 이뤄지면서 업무 관계자, 계약, 상품, 이벤트, 경영 방침 등 9개 주제 영역에 따라 데이터 간의 연관 관계가 정의되고 중복 데이터가 제거되는 것이다. 이 9개 주제 영역 별로 관계에 대한 정의가 이뤄지며, 이 과정이 바로 IBM TDWM에 의해 모델링 된 것이다. 현재 통합 영역의 데이터는 총 2천600종에 이른다.
이렇게 통합 영역을 거쳐 주제 영역별로 관계 정의된 데이터는 EDW의 집계 및 요약 영역으로 전달되는데 이 영역은 데이터마트로 전달하는 데이터를 가공하는 영역으로 이 데이터를 이용해 22종 1천200개의 테이블이 마트로 보내져 전략관점의 의사결정, 각 기관의 매출평가 등 사용자들이 이용할 수 있도록 한다.
128개의 파티션이 하나의 DB처럼 운영
KT EDW는 80TB라는 총 데이터 용량이 설명하듯 대용량 시스템이다. 따라서 이를 수행하는 서버 인프라의 가용성과 DB2의 파티셔닝 기능이 특히 유용하게 활용되고 있다.
현재 KT는 IBM P690 서버 8대를 EDW 인프라로 적용하고 있다. 16웨이 서버 2대가 수집 서버의 역할을 하며, 28웨이 서버 4대와 24웨이 2대의 서버가 EDW의 통합/요약 영역을 담당한다. 이들 서버는 각각 2대씩 HACMP로 연결돼 액티브-액티브(Active-Active) 형태로 HA 구성이 되어 있다. 즉, 운용 서버는 수집 서버 2대(16웨이), 통합 서버 4대(28웨이), 요약 서버 2대(24웨이)가 각각 쌍을 이뤄 HA로 구성돼 특정 서버 다운 시 한 쌍으로 구성된 서버에서 해당 서비스를 받아 처리하는 역할을 한다.
또한 KT는 DB2 파티셔닝 기능을 십분 활용, 80TB에 이르는 대용량 데이터베이스를 용도별로 총 128개의 파티션으로 나눠 운영하고 있다. “데이터가 128개의 파티션이 총 6대의 스토리지에 나눠 저장되지만, 이 데이터는 마치 하나의 DB처럼 구성돼 있기 때문에 유연성이나 확장성 측면에서 매우 유용하다”는 것이 KT EDW를 운용·관리하는 박종진 과장의 설명이다.
데이터 분석, 1일 내로 단축 처리
EDW 구축을 통해 KT는 방대한 전사 데이터의 가치를 재발견하게 됐다. 데이터가 수십TB에 이르더라도, 전사 관점에서 통합하고 이를 분석하지 않는다면 데이터로서의 가치를 갖기 힘든 것이 사실이다.
특히 KT에서 가장 방대하면서도 기본적인 분석 업무인 전체 통화 건수(통화호) 데이터 분석의 경우 기존에 25일이 소요되는 것에서, 현재는 1주일 내에 분석이 가능해졌다. 수집되는 800GB의 데이터를 필터링 해 600GB의 통합 데이터로 만드는데 36시간이 소요되며, 이를 1TB의 데이터로 요약, 집계하는데 60시간이 소요된다는 것이다.
이처럼 데이터 분석이 용이해짐에 따라, EDW를 활용한 고객 맞춤형 서비스도 활발히 개발, 시행되고 있다. 실제 KT의 ‘My Style 요금제’의 경우, EDW를 통해 기초 데이터를 다양한 관점으로 분석한 결과로 개발된 대표적인 서비스다.
KT는 향후 EDW를 통해 지속적으로 데이터 품질을 관리하고, 가치정보를 창출해 정보 활용도를 높이는데 주력할 예정이다. 이의 일환으로 데이터 모델의 구조를 지속적으로 개선하고 정보분석전문가를 양성할 계획이다. 또한 EDW 구축 전에 사용하던 대용량 마트의 역할 일부를 변경하는 등을 포함해 기존 마트에 대한 EDW 중복 분야에 대해 데이터와 프로세스를 EDW로 통합 수용하도록 변경함으로써 업무 중복을 최소화 하고 IT자원을 효율화를 기할 방침이다.
박 종 진 | KT EDW정보TASK 과장
빠르고 정확한 데이터 분석으로 맞춤형 서비스 ‘척척’
EDW 시스템 구축 배경은.
98종의 기간계 시스템에서 제각각 운영되는 고객/상품/경영/시설 데이터의 통합 관리, 데이터 중복에 대한 표준화 및 품질 관리, 전사 데이터에 대한 통합된 뷰 정립, 대용량 데이터의 빠른 분석 및 집계 등이 산재됨에 따라 데이터의 통합 요구가 무엇보다 절실했다.
특히 최근 들어 무선통신, 인터넷, 위성 등으로 비즈니스 범위와 규모가 확대되고, 맞춤형 고객 서비스가 중요해지고 있는 상황이어서 각 사업 분야별로 산재한 데이터를 재정비해 마케팅, 영업, 재무, 기획, 전략 등에 필요한 최적화된 분석 데이터를 제공해야 할 필요성이 더욱 커지게 됐다.
EDW 구축 효과는.
80TB의 대용량 데이터의 안정적인 수집/통합/요약이 가능해졌다. 업무부서의 새로운 요구사항에 대해 데이터 수집, 집계 및 분석 시간을 수주일에서 2일 내로 단축, 빠르고 정확한 데이터 분석을 통한 고객 맞춤형 서비스 및 상품 개발이 가능하다.
향후 시스템 활용 계획은.
KT는 향후 EDW를 통해 지속적으로 데이터 품질을 관리하고, 가치정보를 창출해 정보 활용도를 높이는데 주력할 예정이다. 이의 일환으로 데이터 모델의 구조를 지속적으로 개선하고 정보분석전문가를 양성 할 계획이다. 또한 EDW 구축 전에 사용하던 대용량 마트의 역할 일부를 변경하는 등을 포함해 기존 마트에 대한 EDW 중복 분야에 대해 데이터와 프로세스를 EDW로 통합 수용하도록 변경함으로써 업무 중복을 최소화 하고 IT자원을 효율화를 기할 방침이다.
