Development/Data Engineering13 데이터 파이프라인의 흐름 컴퓨터 과학에서 파이프라인은 한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조를 가리킨다. 데이터 파이프라인의 기본적인 흐름 필요 데이터 요구사항 확인, 어떤 데이터를 수집할지 선정 데이터가 왜 필요한지, 어느 시점에 수집 할 지 있는지 파악 데이터 파이프라인을 구축하기 전에 어떤 데이터를 수집해야 하는지목적과 방향을 정하는 것 데이터 수집 데이터 전처리 저장 데이터 시각화 분석 데이터 파이프라인 아키택쳐 아키택쳐 만드는 툴을 이용해 처음으로 만들어봤는데 여간 힘든게 아니다... 하지말까.. 아키택쳐에서 쓰이는 서비스들은 따로 공부하면서 업로드 할 예정이다. 데이터 파이프 라인 구성 방안 파이프라인을 설계하기 앞서 고려해야하는 사항 회사내의 데이터적 요구사항에 대한 빠른대응.. 2021. 12. 29. 이전 1 2 3 다음
