빅데이터29 빅데이터의 실제 빅데이터의 실제 모습 웹 로그 웹서버의 로그 파일을 열어보면 볼 수 있는 데이터 형식으로, 어디서, 언제 접속했는가에 대한 정보를 알 수 있습니다. 예를들어, 인터넷 쇼핑몰에 방문하면 해당 쇼핑몰 웹서버에서 방문 기록을 로그파일에 기록하고, 사용자의 클릭 역시 모두 기록하게 됩니다. 사용자가 많은 웹사이트라면 더욱 방대한 기록들이 로그파일로 저장됩니다. 따라서, 몇 명이 방문했는지, 어떤 페이지를 많이 보았는지 알기 위해서는 웹서버 로그 파일을 분석해야 합니다. 이를 제대로 분석한다면 방문자의 니즈 등을 파악할 수 있고 전략적으로 활용할 경우 서비스 개선에 큰 도움을 주게 됩니다. 소셜 데이터 소셜 데이터는 카카오톡, 트위터 등 SNS에서 주고받는 정보들을 말한다. 이런 데이터들은 API를 통해 볼 수 .. 2020. 5. 25. 빅데이터의 활용 사례 빅데이터의 등장과학 기술의 발달은 단순히 기술의 발달뿐만 아니라, 발달하는 과정에 있어서 쌓아온 데이터들 또한 매우 큰 가치라고 할 수 있습니다. 수십년 동안 쌓아온 데이터들은 삶의 질을 한 층 향상시켰고, 인류의 생명 연장에도 큰 도움이 되었을 뿐더러, 기존에는 느끼지 못 했던 편리함까지 가져다 주고 있습니다. 오늘은 이러한 빅데이터를 활용한 사례들에 대해서 알아보도록 하겠습니다. 빅데이터의 활용 - 교통 2015년 기준 약 15만건이었던 위험 운전 횟수가 약 9만건으로 40%를 감소시킨 사례가 있습니다. 이는 한국도로공사에서 전국 고속도로 8,000여 구간을 조사하여 위험 운전이 잦은 구간을 분석하고, 21개의 위험 운전 징후 구간을 찾아내 제한 속도를 낮추는 등 교통 인프라를 개선하여 이뤄낸 결과라.. 2020. 5. 4. ADsP(데이터 분석 준전문가) - 인공신경망 분석 인공신경망 분석 인공신경망은 분류분석 문제를 해결하는데 높은 적중률을 보여주는 데이터마이닝 기법 중 하나입니다. 인간의 뇌를 기반으로한 추론 모델로 디지털 네트워크 모형으로 구현하게 되었습니다. 비선형 분류문제를 분류할 수 없어 한계점을 맞이하다가 다계층 퍼셉트론을 활용해 역전파 알고리즘이 개발되면서 급속히 발전하게 되었습니다. 인간의 뇌를 형상화한 인공신경망 100억개의 뉴런과 6조 개의 시냅스의 결합체인 뇌는 현존하는 어떤 컴퓨터보다 빠르고, 복잡하고, 비선형적이며, 병렬적인 정보처리 시스템과 같습니다. 뉴런은 가중치가 있는 링크들로 연결되어 있으며, 여러 입력 신호를 받지만 출력 신호는 오직 하나만 생성된다는 특징이 있습니다. 적응성에 따라 잘못된 답에 대한 뉴런 사이의 연결언 약화되고, 올바른 답.. 2020. 4. 28. ADsP(데이터 분석 준전문가) - 앙상블 분석 앙상블 분석 앙상블이란 주어진 자료에서 여러 개의 예측모형들을 생성 후 이를 조합하여 하나의 최종 예측 모형을 만드는 방법으로 다중 모델 조합(combining multiple models), 분류기 조합(classifier combination)이 있습니다. 학습자료의 작은 변화에 의해서 예측모형이 상당히 변하는 경우, 그 학습방법은 불안정한 것입니다. 가장 불안정한 방법으로는 의사결정나무가 있고, 가장 안정적인 방법으로는 1-nearest neighbor, 선형회귀모형이 있습니다. 앙상블 기법의 종류 배깅 - 배깅은 Breiman에 의해 제안된 방법으로, 주어진 자료에서 여러개의 붓스트랩 자료를 생성하고 각 붓스트랩 자료에 예측모형을 만든 후 혼합하여 최종 예측모형을 만드는 형식입니다. 붓스트랩은 주.. 2020. 4. 27. 이전 1 2 3 4 ··· 8 다음