빅데이터 - 분석 및 기획

빅데이터적 사고

 세상이 점점 데이터화 되고 있는 가운데, 데이터의 잠재적 용도는 무궁무진할 것으로 예측됩니다. 데이터를 빠르게 파악한 기업만이 생존 할 수 있는 세상으로 변하게 될 것입니다. 시간이 흐를수록 데이터의 가치가 부각되며, 데이터를 보유한 사람의 힘 또한 커지게 될 것입니다.

 이 말인 즉, 기록의 수준을 초월 해 사람이 보고, 듣는 것 모두가 데이터화 된다고 예측할 수 있습니다.

 빅데이터로 성공가능한 국가가 되기 위해서는 정보 공유 체계가 잘 활성화 되어야 합니다. 빅데이터는 미래를 바꿀 수 있는 힘을 지닌 비즈니스 도구이고, 현재에도 빅데이터를 활용하여 업무 효율이 매우 증가하고 있는 추세입니다.

 현재 빅데이터를 활용한 사람의 감정에 대한 분석과 사용자의 클릭 스트림 데이터의 분석이 핵심 기술로 떠오르고 있으며, 사물인터넷 중심의 사회로 변화되고 있습니다.

빅데이터 접근 방식

 빅데이터를 통해 성공한 기업인 구글, 다음카카오 처럼 빅데이터를 선행적으로 수용해야 하며, 이를 통해 개개인의 특성에 맞는 제품을 제공할 수 있는 유동적인 서비스나 상품을 개발하는 방식의 접근이 필요합니다.

 과거에는 일정한 주기가 정해진 상품을 출시했지만, 최근에는 소비자의 행동 패턴이 변한다면 즉각적으로 그에 맞게 변화하는 상품이 출시되고 있는 상황입니다.

빅데이터 분석

 분석이라 하면, 겉으로는 보이지 않는 새로운 가치를 제공하기 위해 데이터를 활용하는 논리적 방법을 뜻합니다. 단순하게 결과를 분석하는것도 있지만 이를 통해 미래의 예측까지도 분석하는것을 포함하고 있습니다.

빅데이터 기획 단계

 데이터의 기획 단계는 수집, 저장관리, 처리, 분석 및 시각화, 이용, 폐기의 사이클을 거칩니다.

  - 수집 : 데이터를 발견하고 분석을 위해 맞는 형식으로 변환하는 과정

  - 저장관리 : 수집한 데이터를 분석하기 전에 변질 위험 없이 영구적으로 보관하는 것

  - 처리 : 단순 프로세싱 모델이 아닌 다양한 데이터 소스, 복잡한 로직 처리, 대용량 데이터 처리

  - 분석 및 시각화 : 말 그대로 데이터를 분석하여 해석 가능한 상태로 만드는 것

  - 폐기 : 개인 정보와 같은 데이터나 가치가 없는 데이터들을 목적 달성 후 폐기하는 과정

호라이즌 스캐닝 기법

 특정 분야에 이슈들을 스캔하여 잠재적인 이슈를 발굴하는 기법으로, 현재에 끊임없이 발생하는 실시간 데이터의 증가로 인해 주목받고 있습니다. 영국의 호라이즌 스캐닝센터에서는 최신 과학이론과 데이터 등 분석 서비스를 제공하여 네트워킹을 기반으로 한 정보 공유와 새로운 인사이트를 도출 하기위한 지원을 하고 있습니다.

데이터 기반의 국가 미래 전략

 데이터 기반의 국가 미래전략 지원은 탐색, 분석, 준비와 대응 체계로 구성되어 있습니다.

  - 탐색 : 정치, 경제, 사회, 문화, 가치관 등 사회 환경 전 분야에 대한 데이터를 구축

  - 분석 : 사회관계망, 인과지도, 시스템 다이나믹스 등 미래 연구 방법에 의한 시나리오 도출하여 사회변화를 이끄는 위크 시그널 및 트렌드를 분석

  - 준비와 대응 : 사회 각 분야에 대해 데이터 분석을 통해 국가의 중장기 미래 어젠다를 수립하여 인적 네트워크 확보와 공공 부문의 미래 역량을 강화

통계 기술의 필요성

 데이터 분석능력이 기업의 의사결정에 매우 큰 비중을 차지하고 있고, 이는 곧 기업의 경쟁력을 뜻합니다. 대부분의 데이터들은 글과 코드로 이루어져 있으며, 이것을 시각화 하기위해서는 통계 기술이 요구됩니다.

 통계는 어떻게 집계 하느냐에 따라 결과가 천차만별이 될 수 있기 때문에, 최초의 설계 단계가 매우 중요합니다. 최초의 설계가 잘 못 된다면 분석 결과가 아무런 가치도 찾을 수 없게 되고, 이는 막심한 자금피해로 이어질 수 있으니 최초 설계단계에 많은 시간을 투자하여야 하며, 신중해야 합니다.

 또한 주장에 대한 근거 자료로 통계를 사용할 수 있으며, 막연한 추측이 아닌 분석을 통해 나온 결과를 가치있는 사실로 받아들인다면, 통계 데이터를 온전히 나의 것으로 만들 수 있습니다.

통계 프로그램

 대표적인 통계 프로그램으로는 SAS, SPSS, 소프트웨어 R, 파이썬 등이 있습니다. 각각의 사용법은 조금씩 다르지만 논리구조는 비슷하기 때문에 하나를 마스터 한다면 다른 프로그램을 익히는것은 크게 어렵지 않습니다.