ODS(Operation Data Store) 구성 - ADP #2

1. ODS(Operation Data Store)의 개념

- 데이터에 추가 작업을 위해 다양한 데이터 원천(Source)들로 부터 데이터를 추출·통합한 데이터베이스 (데이터 분석 전문가 가이드) [1]

- 보고, 제어 및 운영 의사 결정 지원을 위해 데이터에 대한 추가 작업을 위해 여러 소스의 데이터를 통합 하도록 설계된 데이터베이스(위키피디아) [2]

ODS 내의 데이터는 향후 비즈니스 지원을 위해서 타 정보 시스템으로 이관하거나 다양한 보고서 생성을 위해 데이터 웨어하우스(Data Warehouse, DW)로 이관된다.

 

ODS의 구성 단계

가. 인터페이스(interface) 단계

- 다양한 데이터 원천(웹사이트, RDBMS, 스프레드시트 등)으로부터 데이터를 획득 하는 단계

- 획득 프로토콜로는 OLEDB(Object Linking and Embedding Database), ODBC(Object Data Base Connectivity), FTP(File Transfer Protocol) 등과  더불어 실시간 데이터 복제 인터페이스 기술들이 함께 활용 된다. 

 

나. 데이터 스테이징(statging) 단계

- 작업 일정이 통제되는 프로세스들에 의해 데이터 원천들로부터 트랜잭션 데이터들이 추출되어 하나 또는 그 이상의 스테이징 테이블(정규화 배제, 스키마는 원천의 구조에 의존적)에 저장

- 적재되는 시점에 타임스탬프, 데이터 값의 체크 섬 등 통제 정보 추가

 

다. 데이터 프로파일링(profiling) 단계

ODS / Data Profiling Layer

 

- 범위ㆍ도메인ㆍ유일성 확보 등의 규칙을 기준으로 다음과 같은 절차에 따라 데이터 품질 점검을 수행

- 선행 자료 또는 조건 : 데이터 프로파일링 요건

- Step : (스테이징 테이블 내 데이터에 대한) 데이터 프로파일링 수행 -> 결과 통계 처리 -> 데이터 품질 보고서 생성 및 공유

라. 데이터 클린징(cleaning) 단계

- 클린징 ETL 프로세스들로 앞 단계에서 식별된 오류 데이터들을 다음 절차에 따라 수정

- 선행 자료 또는 조건 : 데이터 품질 보고서, 데이터 클렌징 요건

- Step : 클렌징 스토어드 프로시져 실행 -> 클린징 ETL 도구 실행

 

ODS / Data Cleaning Layer

 

마. 데이터 인티그레이션(integration) 단계

- 수정 완료된 데이터를 ODS 내의 단일 통합 테이블에 적재하며, 다음 단계들을 거침

- 선행 자료 또는 조건 : 데이터 클렌징 테이블, 데이터 충돌 판단 요건

- Step : 통합 스토어드 스포시저 실행 -> 통합 ETL 도구 실행

 

바. 익스포트(export) 단계

- 통합된 데이터를 익스포트 규칙과 보안 규칙을 반영한 export etl 기능을 수행 export 테이블을 생성 후, Data Mart, Data Warehouse 등에 적재

- OLAP 비정형 질의에 활용될 수 있음

 

References

[1] 데이터 분석 전문가 가이드

[2] Operation data sore - wikipedia, https://en.wikipedia.org/wiki/Operational_data_store