Azure databricks

기술(Azure 만...)/[MS]Azure

winapp 2020. 4. 19. 20:09

DB는 데이터브릭스 약자

DB 워크스페이스

DB 워크플로우

DB 런타임

DB IO

DB 서버리스

DBES(데이터브릭스 엔터프라이즈 시큐리티)

왼쪽 데이터 원본 - DB - ML, DW, BI

Free azure 구독에서도, 14일 트라이얼 사용가능??

<실습>

1. DB생성 (Vnet peer 기능있네)

2. SA생성

3. DB 클러스터생성(DB버전 선택(스파크버전), 파이썬버전 선택 , 워커타입, 드라이버 타입, 오토스케일옵션)

마스터서버 : 오케스트레이션

워커서버 : 스크립트가 실제 구동되는

4. 워크스테이스로 이동, 계정선택 후 노트북생성(파이썬)

5. notebook에 예제 스크립트 입력 cmd1
cmd2 SA지정,컨테이너,토큰 등등 입력 후 개별 실행도 가능.

상단에 run all 기능

sql쿼리문도 실행가능....

다양한 챠트로 보기 가능함.

피벗테이블도 있음.

<다른 notebook>

1. SA - 컨테이너 에 json 파일 , SAS정의

2. 노트북 생성, cmd1에서 변수 정의 1번의 json파일

3. cmd2 에서. 해당 blob 마운트

4. json 호출 var df = spark.read.json("/mnt/블라브라.json")

5. df.select(컬럼명, 컬럼명...) 해서 display함수 부르면 출력됨.

6. 각종 sql 쿼리문 실행가능 count(*) 등

7. 최종결과를 csv로 쓰기 가능 어디에? blob에 쓰기