본문 바로가기

[빅데이터]

[빅데이터] 2023. 5. 2. [빅데이터] 분석 빅데이터 분색 개요 빅데이터 분석은 탐색과 분석을 반복하며 의미 있는 데이터를 추출해 문제를 찾고 인사이트를 얻어 의사결정을 내리는 단계다. 탐새과 분석의 경계는 매우 모호하지만 목적에 따라 분석 유형을 정의할 수 있다. 1. 기술 분석: 분석 초기 데이터의 특징을 파악하기 위해 선택, 집계, 요약등의 양적 기술 분석 수행 2. 탐색 분석: 업무 도메인 지식을 기반으로 대규모 데이터셋의 상관관계나 연관성을 파악 3. 추론 분석: 전통적인 통계분석 기법으로 문제에 대한 가설을 세우고 샘플링을 통해 가설을 검증 4. 인과 분석: 문제 해결을 위한 원인과 결과 변수를 도출하고 변수의 영향도 분석 5. 예측 분석: 대규모 과거 데이터를 하습해 예측 모형을 만들고, 미래를 예측 빅데이터 분석에 활용할 기술 * 임..
[빅데이터] 탐색
[빅데이터] 2023. 5. 2. [빅데이터] 탐색 빅데이터 탐색 개요 탐색 영역은 적재된 데이터를 가공하고 이해하는 단계 데이터 이해 => 데이터들의 패턴, 관계, 트랜드 찾기 => 탐색적 분석(EDA:Exploratory Data Analysis) ex) 비정형 데이터를 정교한 후처리 작업 => 정형화 데이터 데이터 웨어하우스(DW: Data Warehouse) 정형화한 저장소 - 데이터베이스 데이터 마트 (Data Mart) 데이터웨어하우스로부터 특정 주제, 부서 중심으로 구축된 소규모 단일 주제의 DW 빅데이터 탐색에 활용할 기술 하둡 초창기에는 탐색/분석 도구로 맵리듀스를 주로 이용했지만 접근성을 높인 기술들이 늘어남 * 하이브 하둡 기반 적재된 데이터/탐색 도구 SQL과 매우 유사한 방식으로 하둡 데이터에 접근 하이브 QL을 작성하면 쿼리엔진에..
[빅데이터] 2023. 4. 26. [빅데이터] 적재2 - 실시간 로그/분석 적재1 - 로그 파일 적재는 큰 파일을 하둡에 장기간 저장해 놓고 대규모 배치 작업과 분석에 이용된다. 적재2 - 실시간 로그 분석에서는 작지만 대량으로 발생하는 메시지성 데이터를 실시간으로 분석 처리하며, 해당 결과를 인메모리에 저장해 주변 시스템과 빠르게 공유한다. 유입된 작은 메시지 한건을 곧바로 하둡에 저장할 경우 한 개의 HDFS파일이 생성되는데, 메시지의 경우 파일 개수가 기하급수적으로 늘어나고 하둡 클러스터에 지나친 오버헤드가 발생하기 때문에 칼럼 지향형 NoSQL 데이터베이스(HBase)를 사용한다. 빅데이터 실시간 적재에 활용하는 기술 * HBase HBase는 하둡 기반의 칼럼 지향 NoSQL 데이터베이스로서 스키마 변경이 자유롭고, 리전이라는 수십~수백 대의 분산 서버로 샤딩과 복제 ..
[빅데이터] Cloudera Manager
[빅데이터] 2023. 4. 25. [빅데이터] Cloudera Manager CM(Cloudera Manager)이란? 빅데이터 에코시스템을 쉽게 설치하고 관리해주는 클라우데라의 강력한 빅데이터 시스템 자동화 도구이다. CM 주요 기능 설명 프로비저닝 하둡 에코시스템을 편리하게 설치, 삭제, 수정 관리 매니지먼트 설치한 에코시스템의 설정 변경 및 죄적화 지원 모니터링 하드웨어의 리소스 및 설치 컴포넌트의 상태 모니터링/대시보드 클러스터 사용 클라우데라 매니저를 사용하기 위해서는 앞서 설치한 가상 머신에 대한 정보를 Specify Hosts에 등록해야 한다. 필자는 서버를 2개 생성했고 Server01, Server02로 지정해 모두 정상적으로 실행한 뒤 작업하였다. 클러스터 생성 후 서비스를 추가하며 작업을 이어나갔고 현재 수집, 적재 단계이다. cf) 이번 내 프로젝트에서 사용..
[빅데이터] 2023. 4. 25. [빅데이터] 적재1 - 대용량 로그 파일 적재 내/외부 원천 데이터 정리 내/외부 원천 데이터 정리 정형 데이터 데이터베이스 (관계/계층/객체/네트워크) 반정형 데이터 HTML, XML, JSON, 서버로그 비정형 데이터 소셜미디어, 문서, 이미지, 오디오, 비디오, loT 1. 빅데이터 적재에 활용하는 기술 * 하둡 하둡은 빅데이터의 핵심 소프트웨어이다. 하둡은 크게 두가지 기능이 있는데, 첫 번째가 대용량 데이터를 분산 저장하는 것이고, 두번째는 분산 저장된 데이터를 가공/분석 처리하는 기능이다. 하둡은 두번째 기능인 데이터 가공/분석을 위해 분산 병렬 처리 기술을 사용한다. 하둡의 맵리듀스 분산 병렬 처리에서의 핵심은 여러 컴퓨터에 분산 저장돼 있는 데이터로부터 어떻게 효율적으로 일을 나눠서(Map)실행 시킬 수 있느냐고, 여러 컴퓨터가 나눠서..
[빅데이터] 2023. 4. 24. [빅데이터] 수집 빅데이터 수집에 활용되는 기술 * 플럼 플럼은 빅데이터를 수집할 때 다양한 수집 요구사항들을 해결하기 위한 기능으로 구성된 소프트웨어 플럼 아키텍처 플럼 매커니즘은 Source, Channel, Sink만을 활용하는 매우 단순하면서 직관적인 구조를 가짐 플럼의 Source에서 데이터를 로드하고, Channel에서 데이터를 임시 저장해 놓았다가, Sink를 통해 목적지에 데이터를 최정 적재한다. 플럼 활용 방안 내 프로젝트에서는 플럼은 스마트카에서 발생하는 로그를 직접 수집하는 역할을 담당할 것임 1. 스마트카에 대한 상태 정보 로그 파일이 로그 시뮬레이터를 통해 매일 생성되고, 이러한 상태 정보 파일을 플럼 에이전트가 일 단위로 수집해서 하둡에 적재하고 향후 대규모 배치 분석에 활용 2. 스마트카 운전자..

티스토리툴바