1. 스케일아웃 가능한 백엔드 구조         확장성/가용성/성능(99% 메시지 1초이내)
2. 쉽게 사용, HA지원, multi region 환경 지원
3. Azure Function과 쉽게 결합 가능

사용은 이렇게

추가 메시지:

추가 메시지는 표준 단위로 구매할 수 있습니다.

기존 채팅서버 벡엔드개발의 어려움, 문제점들…

Flight Map 대시보드    주식대시보드

대량 고객앱과 서버 간의 실시간 통신 가능. (채팅앱, 주식앱 등등)

1. VM 생성 시 "확장" 메뉴에서 설치 가능

Microsoft Antimalware 선택

관리 탭을 선택 후 Azure Security Center에 대한 모니터링 기능을 구성

• Azure Monitor에서 볼 수 있는 세부 모니터링
• 부트 진단
• OS 게스트 진단

이러한 옵션을 선택한 경우 로그 데이터를 쓰려면 VM에 Azure Storage 계정이 필요

2. 기존 VM 에 추가하는 방법

VM - 설정 - 확장 선택

Security Center

여러 원본데이터 수집, 분석, 통합 -> 취약성을 찾아서 해결, 악의적인 액세스 차단, 리소스가 공격받을 때 경고

• 알려진 악성 IP 주소와 통신하는 손상된 VM
• Windows 오류 보고를 사용하여 탐지된 지능형 맬웨어 프로그램
• VM에 대한 무차별 암호 대입 공격(brute force attack) -> JIT 구성해야되는지??
• 맬웨어 방지 프로그램 또는 웹 애플리케이션 방화벽과 같은 통합 파트너 보안 솔루션의 보안 경고
• 가상 머신 동작 분석
• 네트워크 분석
• SQL Database 및 SQL Data Warehouse 분석
• 컨텍스트 정보

사이버 공격의 스테이지를 추적하는 일련의 단계

= 사이버킬체인

보안경고보기

기계학습 Machine Learning  

수학과 통계를 사용하여 알 수 없는 값을 예측하는 모델을 만드는 기술 

자전거 일일 임대수요 예측하는 모델 

회귀모델이 가장 적합함. 

적절한 분석기법, 모델을 찾기 위한, 머신러닝 플랫폼 on 클라우드 

1. Azure 포털에서  기계학습 생성 

1. 개요에서 위의 링크를 누르면 아래 URL로 이동됨 

https://ml.azure.com/ 

1. 컴퓨팅 인스턴스 생성 (가상머신) : 데이터과학자가 데이터 및 모델작업에 사용하는 워크스테이션 개념 

1. 컴퓨팅 클러스터 생성(가상머신) : 주문형 실험코드 처리를 위한 확장가능 가상머신 클러스터 

테스트 시 최소 카운트 0으로 해야, 과금이 많이 발생하지 않음. 

1. 데이터세트 만들기 

예제 데이터 가져오기(web URL)  https://aka.ms/bike-rentals 

1. 자동화된 ML실행 만들기 

ML실행 Target 열은 rentals 지정 

regression  

회귀 모델 선택 

여러 알고리즘 중에 사용하지 않는 알고리짐 체크해줌. 

시간이 걸림. 

좀 돌리고, 취소 

결과 

실행5 MaxAbsScaler 

실행6 StandardScalerWrapper 

최고의 모델검토 

평가메트릭을 기반으로 가장 좋은 모델이 식별됨 

평가메트릭은 "정규화된 근 평균 제곱 오차" 기준으로 평가됨. 

예측 값과 실제 값의 차이는 오차 의 양을 나타냅니다. 

모델에서 이 특정 성능 측정 항목은  

모든 테스트 사례에서 오류를 제곱하고 이러한 제곱의 평균을 찾은 다음 제곱근을 취하여 계산됩니다. 

 이 모든 것이 의미하는 바는이 값이 작을수록 모델이 더 정확하게 예측한다는 것입니다. 

잔류 히스토그램 잔류 값 범위의 주파수를 나타낸다.  

잔차는 모형에서 설명 할 수없는 예측 값과 실제 값 간의 차이를 나타냅니다. 즉, 오류입니다.  

따라서 가장 빈번하게 발생하는 잔차 값이 0 주위 (즉, 대부분의 오류가 작음)로 군집되어 있으며 스케일의 끝에서 오류가 적습니다. 

예상 대 트루 차트는 진정한 가치에있는 예측 값의 상관 관계 밀접하게 대각선 추세를 보여 주어야한다.  

점선은 완벽한 모델의 성능을 보여 주며 모델의 평균 예측 값의 선이 값에 가까울수록 성능이 향상됩니다.  

꺾은 선형 차트 아래의 히스토그램은 실제 값의 분포를 보여줍니다. 

완료되면 배포? 

엔드포인트URL 만들어지는데,  시간걸림. 

http://136da5a5-2ee2-47b2-aee6-eff88906245a.eastus.azurecontainer.io/score 

Sur2NTXTe2xVPNTr9qoybVdyxdKGet2R 

JOKEkfK3fG8DWgyU7zGehN0vts0fP8fZ 

노트북 생성 

앞서 생성한 컴퓨팅 에서 구동함? 

언어 지원 

Python 3.6  AzureML 

R 

Python 3 

구동 결과  

5 일 동안 매일 예상 임대 수 

끝. 

이제 모두 삭제하자! 

컴퓨팅 클러스터 삭제하고, 노트북 실행해보기 

결과나옴. 

컴퓨터 클러스터는 모델학습 구동할 때 쓰나봄? 

Azure, 온-프레미스 환경 및 기타 클라우드 환경에서 Windows 및 Linux 컴퓨터에 대 한 운영 체제 업데이트를 관리할 수 있습니다.  

특정 리전에 Log Analytics 와 Azure Automaiton이 자동 생성되며, 그것들을 통해 이루어진다. 

해당 서버에 Log Analytics 에이전트가 설치됨. 

패키지 릴리스 후 평가를 위해  정보갱신까지  

Linux 는 2 ~ 3 시간 

Windows 컴퓨터의 경우 표시 되는 데 12 ~ 15 시간 소요 

Linux 컴퓨터의 경우 호환성 검사는 기본적으로 매시간 수행 

Log Analytics 에이전트를 다시 시작 하는 경우 15 분 내에 준수 검사가 시작  

업데이트 관리 

업데이트 관리에는 환경에 대한 업데이트 가시성 및 배포가 포함됩니다. 서비스에 대한 요금은 없으며 Azure Log Analytics 서비스에 저장된 로그 데이터에 대해서만 비용을 지불 합니다. 

CM연동 가능하다함 

VM목록 페이지에서도 접근 가능 

각 VM에서도 접근가능,  설정/조회 할 수 있음. 

Requirement 

특정 URL 및 포트(443) 오픈 작업 필요 

지원대상 : 윈도우 서버 군 전체, 리눅스 특정 버전 이상(Cent, Ubuntu, RHEL, SUSE) 

              리눅스는 특정 지역에서만 지원 

제외 : 윈도우클라이언트, Nano서버  

업데이트 배포 생성 

• 대상 지정 

• 업데이트 항목 선택 가능 

• 스케쥴링 가능 

• 사전/사후 스크립트도 지정가능 

• Maintenace 최대시간 지정(강제는 아니라함 ??) 

• 재부팅 옵션 지정 가능 

일반적인 Edge 컴퓨팅

1. 클라우드(중앙)의 데이터처리량 분산가능 , 부하분산

• 단순데이터는 에지에서 담당
• 복잡한 예측 등 ML이 필요한 데이터는 클라우드로 전송

1. 보안문제 완화

• 중요 핵심 데이터는 에지에서 처리하고 끝냄.
• 클라우드 전달 가능한 데이터만 중앙으로 전달

1. 클라우드 장애 등 네트워크관련 이슈 발생 시 대응 가능

Edge 의 역할

IoT 장비, 센서의 실시간 데이터를 1차처리 및 전달하는 기능

예제시나리오

통역기 장비

1. 아두이노보드 (음성센서) ----> Azure Function ----> azure Cognitive svc 번역시작
2. 보드 display <---------- IoT Hub <-----  azure Function <------ Cognitive svc 번역결과

IoT 와 서버리스 (ex. Function) 등과 결합하면,

Scale out이 용이함. Ex. Durable Function

실제로 VM에 Edge Runtime을 install 하는 방식도 있음

고객사 환경에 따라 다르겠지만, 에지는 여러대이고, 향후 추가될 가능성

-> 템플릿화, 보안검증된 이미지로

DB는 데이터브릭스 약자

DB 워크스페이스 

DB 워크플로우 

DB 런타임 

DB IO 

DB 서버리스 

DBES(데이터브릭스 엔터프라이즈 시큐리티)  

왼쪽 데이터 원본 - DB - ML, DW, BI   

Free azure 구독에서도, 14일 트라이얼 사용가능??

<실습>

1. DB생성 (Vnet peer 기능있네) 

2. SA생성 

3. DB 클러스터생성(DB버전 선택(스파크버전), 파이썬버전 선택 , 워커타입, 드라이버 타입, 오토스케일옵션) 

마스터서버 : 오케스트레이션 

워커서버 : 스크립트가 실제 구동되는   

4. 워크스테이스로 이동, 계정선택 후 노트북생성(파이썬) 

5. notebook에 예제 스크립트 입력 cmd1
cmd2  SA지정,컨테이너,토큰 등등 입력 후 개별 실행도 가능.

상단에 run all  기능

sql쿼리문도 실행가능....

다양한 챠트로 보기 가능함. 

피벗테이블도 있음.    

<다른 notebook> 

1. SA - 컨테이너 에 json 파일 , SAS정의 

2. 노트북 생성, cmd1에서 변수 정의 1번의 json파일 

3. cmd2 에서. 해당 blob 마운트 

4. json 호출 var df = spark.read.json("/mnt/블라브라.json") 

5. df.select(컬럼명, 컬럼명...) 해서 display함수 부르면 출력됨. 

6. 각종 sql 쿼리문 실행가능 count(*) 등 

7. 최종결과를 csv로 쓰기 가능 어디에? blob에 쓰기  

Azure Databricks Tutorial | Data transformations at scale