ADF data mapping dataflow

매핑 dataflow 

no coding transform data   

 

derived : 유래된, 파생된 

aggregate : 집계하다 count  

 

가능한 작업

 join, conditional split, exists, union, lookup select, aggregate, pivot 등등

 filter , sort  

 

상단 data flow debug 활성화하면, 실시간 data preview 확인가능  

 

예제 ===================================================================

1. ADF생성, link svc to blob 

 

2. input(source) dataset 지정 blob, csv 

 

3. output dataset 추가, 여기서는 cvs로.. 

 

4. data flow에서 매핑 dataflow 선택 - 소스 dataset 선택 - Year 추출 작업 추가  

title 컬럼에서 괄호안에 year만 추출해서 컬럼 추가 

visual Expression Builder 에서....  - 마지막에 sink 추가 sink dataset (target) 지정 

 

5. debug하고 preview 테이블 확인  

 

6. data flow - detail 버튼 누르면 각 스텝별 처리 rows, 시간 확인 가능  

 

7. movie by year 작업 추가 

Group by 에 Year컬럼 선택 

Aggregates 컬럼명추가 및 표현식추가 count() 끝  

 

8. 처리된 데이터 sink to csv   

 

9. publish All