- TimeWindow
- 데이터를 처리하고 분석하는 데 사용되는 시간 범위
- 일련의 데이터를 지정된 시간 간격으로 그룹화하거나 분할하여 특정 기간 동안의 데이터 통계, 집계 또는 분석을 수행하는데 사용
- 스트리밍 데이터나 시계열 데이터와 같이 시간에 따라 변화하는 데이터를 다룰 떄 유용
- 실시간 스트림 데이터에서 5분 동안의 트랜잭션 통계를 계산하거나, 웹 로그 데이터에서 1시간마다 페이지 뷰의 변화를 분석하는 등 적용 가능
- Fixed Window
- 고정된 길이를 가짐
- 일정한 시간 간격으로 데이터를 그룹화하는 방식
- 예로, 1분 단위로 데이터를 그룹화하여 1분 동안의 통계를 계산하거나 집계할 수 있음
- Sliding Window
- 이동하면서 변하는 길이를 가
- 이동하는 시간 창구로 데이터를 그룹화하는 방식
- 예로, 10분 길이의 슬라이딩 윈도우를 사용하여 매 분마다 최근 10분 동안의 데이터를 그룹화하고 분석할 수 있음
- 이전 윈도우와 겹치는 데이터를 포함하므로 데이터의 지속적인 분석이 가능
- Time Window 분석
- 데이터를 시간적으로 그룹화하고 해당 시간 동안의 패턴, 통계, 추이 등을 분석하는 작업
- 시계열 데이터 분석
- 시간에 따라 측정된 데이터
- 시간 경과에 따른 패턴, 트렌드 등을 파악하는 데 유용
- 통계 및 집계
- 통계 및 집계 작업에 적용
- 고정된 시간 간격의 윈도우를 사용하여 일정 기간 동안의 데이터의 평균, 합계, 표준 편차 등을 계산
- 데이터의 분포와 특성을 파악
- 이상 탐지
- 정상적인 동작과 비교하여 특정 시간 범위에서의 데이터가 이상적인지 여부를 확인(이상치 분석)
- 예측할 수 없는 이상 동작이나 잠재적인 문제를 탐지하고 조치를 취할 수 있음
- 패턴 인식
- 데이터 패턴을 인식하는 데 활용
- 스트림 데이터에서 슬라이딩 윈도우를 사용하여 특정 패턴이 발생하는지 감지하거나 시간 경과에 따른 동적인 패턴 변화를 분석
'⭐ Plogramming > BigData' 카테고리의 다른 글
분산 클러스터를 위한 하둡 시스템 (0) | 2023.07.16 |
---|---|
Apache Flink란? (0) | 2023.07.14 |
Chpater 3. 하둡 클러스터 생성 및 환경 설정 (0) | 2023.07.08 |
Chapter 2. 하둡 아키텍쳐 (0) | 2023.07.02 |
Chapter 1. 하둡 소개 및 환경 (0) | 2023.07.02 |