Azure datafactory (ADF)

왜 공장이라 했을까 ;; 뉴스공장? ㅎ 

 

 한마디로 : 클라우드 데이터통합 서비스 

ETL : Extract, Transform, Load 스토리지, 이동, 처리 의 자동화(파이프라인)  

복사는 소스데이터셋(+key) -> 타겟데이터셋 (+key)  소스, 타겟 데이터셋이 여러 개 (즉, shared 데이터셋에서 이용.)   

 

<간략 실습 요약> 

==============================================

 1. 사전준비 

- Azure SQL Database 생성 + 서버생성, 테이블생성 

- SA생성, 컨테이너 생성, 예제 csv 업로드 CSV ----> SQL로 이동 파이프라인  

 

 2. ADF 생성(로케이션, 버전 등 선택) 

 

 3. ADF에서 파이프라인생성 

 

 4. Connections Linked Svc , blob지정, Integrated runtime지정 

 

 5. 소스(input) 데이터셋 생성(blob, csv, linksvc 앞서 만든 것 지정,  가공가능, 델리미터, 인코딩 등등 

 

 6. 타켓(output) 데이터셋 생성(azure sql, 인증정보) ==========> sql에 방화벽 설정은?????  

 

 7. 액티비티 정의 (여기 예제는 1개만들면 끝) copy data (source -> sink) mapping

 

 8. azure sql에서 확인하고 끝.