본문 바로가기

전체 글

[Python] 2023. 10. 30. [Python] 빅데이터분석기사 실기 연습(작업형3) 가설 검정 # from scipy import stats 1. 단일표본검정 - 관심 모집단 1개 # Shapiro-Wilk 검정 -> 정규성 검정 stats.shapiro(data) # 단일표본검정 stats.ttest_1samp(data, 기대값) # alternative 매개변수 alternative='two-sided' 기본값 alternative='less' alternative='greater' # Wilcoxon의 부호 순위 검정(비모수 검정) stats.wilcoxon(data - 기대값) 2. 대응표본검정 - 관심 모집단 2개 (대응 표본) # 정규성 검정 stats.shapiro(diff) * diff = data1 - data2 # 대응(쌍체)표본검정 ttest_rel(data1, da..
[Python] 빅데이터분석기사 기초 통계
[Python] 2023. 10. 26. [Python] 빅데이터분석기사 기초 통계 가설검정 모집단과 표본 - 모집단: 연구 대상이 되는 전체 집단 - 표본: 모집단의 일부 귀무가설과 대립가설 - 귀무가설: 기존에 알려진 사실, 효과나 차이가 없음 ex) 퇴근후딴짓 강의 수강생과 타 강의 수강생과 합격률 차이가 없다 - 대립가설: 연구자가 입증하려는 사실, 효과나 차이가 있음 ex) 퇴근후딴짓 강의 수강생은 타 강의 수강생보다 합격률이 높다. 검정 결과 - 검정 통계량: 주어진 데이터와 귀무가설 간의 차이를 통계적으로 나타내는 값 - p-value(유의수준 0.05) - 유의수준보다 작으면 귀무가설을 기각하고, 대립가설을 채택 - 유의수준보다 크면 귀무가설을 채택 가설검정 프로세스 - 통계적 가설 설정: 귀무가설과 대립가설 - 유의수준 결정: ex)0.05 - 검정 통계량 및 p-val..
[Python] 2023. 10. 18. [Python] 빅데이터분석기사 실기 연습(작업형2) 5-1 신용카드 서비스를 떠나는 고객을 찾아라 1. 데이터 불러오기 # csv 파일 pandas로 불러오기 import pandas as pd train = pd.read_csv("train.csv") test = pd.read_csv("test.csv") 2. 데이터 탐색 - EDA # 사용 함수 head() shape() isnull().sum() value_counts() 2. 데이터 전처리 & 피처엔지니어링 # 범주형 컬럼 복수 선택 / 범주형이 아닌 컬럼 복수 선택 1. select_dtypes(include='object').columns 2. select_dtypes(exclude='object').columns # 컬럼 삭제 1. drop(cols, axis=1) 2. drop(column..
[Python] 2023. 10. 18. [Python] 빅데이터분석기사 실기 연습(작업형1) # pandas 활용 df[컬럼명].quantile(.범위) # numpy 활용 np.percentile(df[컬럼명], 범위) IQR = Q3 - Q1 import numpy as np # 올림: np.ceil() # 내림: np.floor() # 버림: np.trunc() cf) 내림과 버림의 차이는? - 양수에서는 같지만 음수 -5.5에서 내림을 하면 -6, 버림을 하면 -5가 된다. # city별 중앙값으로 대체에서는 map함수 활용 # 결측값 확인: df.isnull().sum() # 컬럼 삭제: df.drop(컬럼명1, 컬럼명2, axis=1) df.drop(columns=컬럼명1, 컬럼명2) # 컬럼 확인: df[컬럼명].unique() # 결측치 채우기: fillna() # 그룹별: df...
[Tableau] 2023. 5. 8. [Tableau] 태블로란 무엇인가? 태블로란? 태블로는 데이터를 분석 및 시각화하는 Business Intelligence(BI) 솔루션이다. 비지니스를 운영하면서 얻은 데이터를 수집, 저장, 분석하여 성과를 최적화하는 프로세스와 방법을 포괄하는 용어. 다시 말해 데이터를 활용해 최선의 의사 결정을 내리고, 비지니스 목표를 달성하게 만드는 모든 과정과 방법을 의미. '사람들이 데이터를 보고 이해할 수 있도록' 돕는 도구. 태블로의 장점 1. 누구나 쉽고 직관적으로 접근 가능 2. 유연하고 다양함 3. 전 세계적으로 이용중인 서비스 태블로 제품 Tableau Creator 데이터 연결 및 전처리, 분석 및 시각화, 배포 및 협업 등 데이터 분석 업무 전역에 걸쳐 활용 가능한 사용자 라이선스이다. 라이선스 제품은 Tableau Desktop,..
[빅데이터] 2023. 5. 2. [빅데이터] 분석 빅데이터 분색 개요 빅데이터 분석은 탐색과 분석을 반복하며 의미 있는 데이터를 추출해 문제를 찾고 인사이트를 얻어 의사결정을 내리는 단계다. 탐새과 분석의 경계는 매우 모호하지만 목적에 따라 분석 유형을 정의할 수 있다. 1. 기술 분석: 분석 초기 데이터의 특징을 파악하기 위해 선택, 집계, 요약등의 양적 기술 분석 수행 2. 탐색 분석: 업무 도메인 지식을 기반으로 대규모 데이터셋의 상관관계나 연관성을 파악 3. 추론 분석: 전통적인 통계분석 기법으로 문제에 대한 가설을 세우고 샘플링을 통해 가설을 검증 4. 인과 분석: 문제 해결을 위한 원인과 결과 변수를 도출하고 변수의 영향도 분석 5. 예측 분석: 대규모 과거 데이터를 하습해 예측 모형을 만들고, 미래를 예측 빅데이터 분석에 활용할 기술 * 임..
[빅데이터] 탐색
[빅데이터] 2023. 5. 2. [빅데이터] 탐색 빅데이터 탐색 개요 탐색 영역은 적재된 데이터를 가공하고 이해하는 단계 데이터 이해 => 데이터들의 패턴, 관계, 트랜드 찾기 => 탐색적 분석(EDA:Exploratory Data Analysis) ex) 비정형 데이터를 정교한 후처리 작업 => 정형화 데이터 데이터 웨어하우스(DW: Data Warehouse) 정형화한 저장소 - 데이터베이스 데이터 마트 (Data Mart) 데이터웨어하우스로부터 특정 주제, 부서 중심으로 구축된 소규모 단일 주제의 DW 빅데이터 탐색에 활용할 기술 하둡 초창기에는 탐색/분석 도구로 맵리듀스를 주로 이용했지만 접근성을 높인 기술들이 늘어남 * 하이브 하둡 기반 적재된 데이터/탐색 도구 SQL과 매우 유사한 방식으로 하둡 데이터에 접근 하이브 QL을 작성하면 쿼리엔진에..
[빅데이터] 2023. 4. 26. [빅데이터] 적재2 - 실시간 로그/분석 적재1 - 로그 파일 적재는 큰 파일을 하둡에 장기간 저장해 놓고 대규모 배치 작업과 분석에 이용된다. 적재2 - 실시간 로그 분석에서는 작지만 대량으로 발생하는 메시지성 데이터를 실시간으로 분석 처리하며, 해당 결과를 인메모리에 저장해 주변 시스템과 빠르게 공유한다. 유입된 작은 메시지 한건을 곧바로 하둡에 저장할 경우 한 개의 HDFS파일이 생성되는데, 메시지의 경우 파일 개수가 기하급수적으로 늘어나고 하둡 클러스터에 지나친 오버헤드가 발생하기 때문에 칼럼 지향형 NoSQL 데이터베이스(HBase)를 사용한다. 빅데이터 실시간 적재에 활용하는 기술 * HBase HBase는 하둡 기반의 칼럼 지향 NoSQL 데이터베이스로서 스키마 변경이 자유롭고, 리전이라는 수십~수백 대의 분산 서버로 샤딩과 복제 ..
[빅데이터] Cloudera Manager
[빅데이터] 2023. 4. 25. [빅데이터] Cloudera Manager CM(Cloudera Manager)이란? 빅데이터 에코시스템을 쉽게 설치하고 관리해주는 클라우데라의 강력한 빅데이터 시스템 자동화 도구이다. CM 주요 기능 설명 프로비저닝 하둡 에코시스템을 편리하게 설치, 삭제, 수정 관리 매니지먼트 설치한 에코시스템의 설정 변경 및 죄적화 지원 모니터링 하드웨어의 리소스 및 설치 컴포넌트의 상태 모니터링/대시보드 클러스터 사용 클라우데라 매니저를 사용하기 위해서는 앞서 설치한 가상 머신에 대한 정보를 Specify Hosts에 등록해야 한다. 필자는 서버를 2개 생성했고 Server01, Server02로 지정해 모두 정상적으로 실행한 뒤 작업하였다. 클러스터 생성 후 서비스를 추가하며 작업을 이어나갔고 현재 수집, 적재 단계이다. cf) 이번 내 프로젝트에서 사용..
[빅데이터] 2023. 4. 25. [빅데이터] 적재1 - 대용량 로그 파일 적재 내/외부 원천 데이터 정리 내/외부 원천 데이터 정리 정형 데이터 데이터베이스 (관계/계층/객체/네트워크) 반정형 데이터 HTML, XML, JSON, 서버로그 비정형 데이터 소셜미디어, 문서, 이미지, 오디오, 비디오, loT 1. 빅데이터 적재에 활용하는 기술 * 하둡 하둡은 빅데이터의 핵심 소프트웨어이다. 하둡은 크게 두가지 기능이 있는데, 첫 번째가 대용량 데이터를 분산 저장하는 것이고, 두번째는 분산 저장된 데이터를 가공/분석 처리하는 기능이다. 하둡은 두번째 기능인 데이터 가공/분석을 위해 분산 병렬 처리 기술을 사용한다. 하둡의 맵리듀스 분산 병렬 처리에서의 핵심은 여러 컴퓨터에 분산 저장돼 있는 데이터로부터 어떻게 효율적으로 일을 나눠서(Map)실행 시킬 수 있느냐고, 여러 컴퓨터가 나눠서..
[빅데이터] 2023. 4. 24. [빅데이터] 수집 빅데이터 수집에 활용되는 기술 * 플럼 플럼은 빅데이터를 수집할 때 다양한 수집 요구사항들을 해결하기 위한 기능으로 구성된 소프트웨어 플럼 아키텍처 플럼 매커니즘은 Source, Channel, Sink만을 활용하는 매우 단순하면서 직관적인 구조를 가짐 플럼의 Source에서 데이터를 로드하고, Channel에서 데이터를 임시 저장해 놓았다가, Sink를 통해 목적지에 데이터를 최정 적재한다. 플럼 활용 방안 내 프로젝트에서는 플럼은 스마트카에서 발생하는 로그를 직접 수집하는 역할을 담당할 것임 1. 스마트카에 대한 상태 정보 로그 파일이 로그 시뮬레이터를 통해 매일 생성되고, 이러한 상태 정보 파일을 플럼 에이전트가 일 단위로 수집해서 하둡에 적재하고 향후 대규모 배치 분석에 활용 2. 스마트카 운전자..
[Python] 2023. 4. 3. [Python] 통계 기본 정리 * 모수검정 모집단에서 추출한 샘플을 사용해 모집단의 평균이나 분산과 같은 파라미터를 추정하여 가설을 테스트 하는 방법 * 표준점수 z 점수라고도 부르며 정규분포 상에서 데이터 포인트가 원점에서 얼마나 떨어져 있는지를 표준편차의 비율로 나타내는 점수 (데이터 포인트 - 평균) / 표준편차 * 중심극한정리 동일한 분포에서 무작위로 n개의 샘플을 추출해 평균을 구할 때 n이 어느정도 크다면 이 평균이 정규분포에 가까워진다는 개념 * 신뢰구간 알려지지 않은 모집단의 파라미터를 추정한 범위 일반적으로 95% 신뢰구간을 사용하고 90~99사용도 가능 * 가설검정 표본의 통계치를 기반으로 모집단에 대한 가설을 받아드릴지 기각할지 결정하는 방법 (영가설 - 대립가설) * 순열검정 정규분포에 대한 가정을 하지 않고 수..

티스토리툴바