데이터분석가

) 슈퍼마켓의 고객 구매 패턴을 이해하고 싶음 , 최종목적은 매출증대, 수익증대

보유데이터 : 제품 판매시점, 날씨데이터, 휴일데이터 등등

보유데이터를 기준으로 매출 예측작업

 

제조회사는 목표를 상세하게 설정

)  수익을 극대화할수있는 제품 선정

 

 

데이터Source

  1. 구조화된 데이터 = 데이터베이스

관계형데이터베이스

Ex) 고객정보, 판매제품정보

 

  1. 반구조화된데이터

DB 아니지만 구조화 일부된

) JSON형태

) - 저장소

 

  1. 비정형데이터

) 오디오, 비디오

-> blob 저장소

 

 

단순한

데이터에 따라서 적당한 데이터형식이 있다.

, 주소데이터 같은경우는 표본주소데이터 테이블을 따로 가지고 있으면,

사용자에게는 주소데이터 인덱스번호만 저장해놓으면 중복해서 같은 주소를 저장하지 않아도 된다.

해당 데이터가 반구조화된 데이터라면 낭비가 발생할 수있다.

 

구성도 예시

 

 

 

 

 트랜잭션 측면

은행의 송금데이터는 발신자 수신자 트랜잭션 처리가

완전히 끝나야 정확하게 기입을 해야되는 요건이 있다.

, 관계형데이터베이스가 알맞다,

 

대신, 소셜미디어의 좋아요 건수 같이 트랜잭션이 적용되지 않아도 되는

분야의 경우

분산데이터베이스가 적당하다.

실시간 불일치가 발생해도 괜찮은 분야는

하나의 서버에 정확한 데이터를 반영시키고,

다른 복제되는서버에 sync 조금 늦더라도, 괜찮은 경우

대신 복제는 반드시 일어난다는 가정하에.

 

 

분석작업

회사의 의사결정자 수준에서는 개별 트랜잭션 데이터는 중요하지 않다,

특정 기간별 결과 데이터가 중요하다.

) 월별판매데이터 혹은 판매추이 등의 보고서

 

일괄처리작업 배치작업 예시

) 신용카드 월별 청구서 생성

 

장점        

편리한 시간에 대량의 처리 한번에 끝남

자원 사용량이 적은 시간대에 자원 활용 가능

 

단점

데이터수집===결과생성 term 길다

배치 시작 전까지 정확한 데이터가 준비되어 있어야 한다.

사소한 데이터 오류도 용납안됨

일괄작업 중에 문제가 생기면 전체배치가 중단되고, 다시 구동해야됨,

 

 

-> 실시간데이터 처리

, 배치작업까지 기다릴 필요없다   머신러닝 AI 등을 이용하면  전체 월별 데이터가 쌓이지 않아도  어느정도 예측이될수있다

) 금융기관 위험도 분석, 예측 수정

게임회사 실시간 피드백, 대응

소비재 기업 빠른 소비자 피드백 , 제품 대응

마이크로 배치 개념

 

 




'기술(Azure 만...) > Azure빅데이터,분석' 카테고리의 다른 글

KepserverEX - Iot Edge - Iot Hub  (0) 2021.07.16
DW, ADF, Synapse Analytics 복습  (0) 2021.03.01
ADF data mapping dataflow  (0) 2020.04.19
ADF Parametrization 매개변수화  (0) 2020.04.19
Azure datafactory (ADF)  (0) 2020.04.19

Windows Server Active Directory의 클라우드 버전  아님 

기술적으로 인증방식도 다름

 

 

AD

온프렘 ID Azure 확장을 위한 Identity 서비스

혹은 클라우드 전용환경을 위한 Identity 서비스

 

 

일반적으로 Azure AD는 세 가지 방법으로 사용자를 정의합니다.

 

클라우드 ID- 이러한 사용자는 Azure AD에만 존재합니다. 예를 들어 관리자 계정과 직접 관리하는 사용자가 있습니다. 사용자가 다른 Azure AD 인스턴스에 정의되어 있지만이 디렉터리에서 제어하는 구독 리소스에 액세스해야하는 경우 해당 소스는 Azure Active Directory 또는 외부 Azure Active Directory 입니다. 이러한 계정이 기본 디렉터리에서 제거되면 삭제됩니다.

 

디렉터리 동기화 ID- 이러한 사용자는 온-프레미스 Active Directory에 있습니다. Azure AD Connect 를 통해 발생하는 동기화 활동 은 이러한 사용자를 Azure로 가져옵니다. 소스는 Windows Server AD 입니다.

 

게스트 사용자 -이러한 사용자는 Azure 외부에 있습니다. 예를 들어 다른 클라우드 공급자의 계정과 Xbox LIVE 계정과 같은 Microsoft 계정이 있습니다. 소스는 초대 된 사용자 입니다. 이 유형의 계정은 외부 공급 업체 또는 계약자가 Azure 리소스에 액세스해야 할 때 유용합니다. 도움이 더 이상 필요하지 않으면 계정과 모든 액세스 권한을 제거 할 수 있습니다.

 

Azure AD를 사용하면 두 가지 유형의 그룹을 정의 할 수 있습니다.

      1. 보안 그룹 . 가장 일반적

사용자 그룹의 공유 리소스에 대한 구성원 컴퓨터 액세스를 관리하는 사용

특정 보안 정책에 대한 보안 그룹을 생성 있습니다. 

이렇게하면 구성원에게 개별적으로 권한을 추가하는 대신 모든 구성원에게 번에 권한 집합을 부여 있습니다.  옵션에는 Azure AD 관리자가 필요합니다.

      1. Microsoft 365 그룹 . 이러한 그룹은 구성원에게 공유 사서함, 일정, 파일, SharePoint 사이트 등에 대한 액세스 권한을 부여하여 공동 작업 기회를 제공합니다이 옵션을 사용하면 조직 외부의 사람들에게 그룹에 대한 액세스 권한을 부여 할 수도 있습니다이 옵션은 사용자와 관리자가 사용할 수 있습니다.

 

멤버쉽유형

      1. 할당 됨 . 그룹에는 선택한 특정 사용자 또는 그룹이 포함됩니다.
      2. 동적 사용자 . 특성을 기반으로 규칙을 작성하여 그룹에 대한 속성 기반 동적 멤버십을 활성화합니다예를 들어 사용자의 부서가 Sales 인 경우 해당 사용자는 Sales 그룹에 동적으로 할당됩니다보안 그룹 또는 Office 365 그룹에서 동적 멤버 자격에 대한 규칙을 설정할 수 있습니다사용자의 부서가 나중에 변경되면 그룹에서 자동으로 제거됩니다이 기능을 사용하려면 Azure AD Premium P1 라이선스가 필요합니다.

 

 

 

등록할 사람이 많을때

파워셸

# Create a password object

$PasswordProfile = New-Object -TypeName Microsoft.Open.AzureAD.Model.PasswordProfile

 

# Assign the password

$PasswordProfile.Password = "<Password>"

 

# Create the new user

New-AzureADUser -AccountEnabled $True -DisplayName "Abby Brown" -PasswordProfile $PasswordProfile -MailNickName "AbbyB" -UserPrincipalName "AbbyB@contoso.com"

 

CLI

az ad user create --display-name "Abby Brown" \

                  --password "<password>" \

                  --user-principal-name "AbbyB@contoso.com" \

                  --force-change-password-next-login true \

                  --mail-nickname "AbbyB"

 

파워셸 그룹생성

New-AzureADGroup -Description "Marketing" -DisplayName "Marketing" -MailEnabled $false -SecurityEnabled $true -MailNickName "Marketing"




'기술(Azure 만...) > [MS]Azure기본' 카테고리의 다른 글

Azure RI Reserved Instance 핵심요약 & Tip  (0) 2021.02.13
VM 생성 파워셸  (0) 2021.01.06
azure 거버넌스  (0) 2020.09.06
AAD 단계별 배포전략 요건정의  (0) 2020.08.03
azure 백업 일반/프로세스  (0) 2020.06.18

 

 

지역

 지역은 지구 내에 적어도 하나 이상의 데이터 센터를 포함하는 지리적 지역

여러 데이터 센터가 근접하여 대기 시간이 짧은 네트워크와 함께 네트워크로 연결됩니다.

지역의 몇 가지 예는 미국 서부, 캐나다 중부, 서유럽, 오스트레일리아 동부  일본 서부입니다. Azure는 일반적으로 50+개 지역과 140개 국가에서 사용할 수 있습니다.

 

리전과 다름.

데이터 상주, 주권, 규정 준수 및 복원력 요구 사항이 지리적 경계 내에서 준수

 "고객 데이터가있는 위치"

" Microsoft는 데이터 복원력을 위해 다른 지역으로 복제 할 수 있지만

Microsoft는 고객 데이터를 지역 외부로 복제하거나 이동하지 않습니다. "

 

구독

Azure 계정에 연결된 Azure 서비스의 논리적 단위.

서비스 사용에 대한 과금청구의 단위

즉, 해당 계정의 소유자가 청구 대금을 결제해야 합니다.

구독은 1개의 AAD 테넌트와 같이 생성됨. AAD를 통해 접근통제 인증

 

계정

구독에는 계정이 있어야 합니다. Azure 계정은 Azure AD(Active Directory) 또는 Azure AD에서 신뢰하는 디렉터리(예: 회사 또는 학교 조직)의 ID일 뿐입니다.

이러한 조직 중 하나에 속해 있지 않은 경우에는 Microsoft 계정을 사용하여 Azure 계정을 신청할 수 있습니다.

 

계약형태

기업계약

Azure 비용에 해당하는 현금 약정 금액을 일시불로 지불하여 계약에 Azure를 추가할 수 있습니다.

매월 사용하는 만큼 차감이되는 형태,

기업계약의 월간 SLA는 99.95%입니다.

 

재판매인

Microsoft 재판매인으로부터 Cloud Services를 간단하고 유연하게 구매할 수 있는 개방형 라이선스 프로그램을 통해 Azure를 구입합니다. 개방형 라이선스 키에서 Azure를 이미 구입한 경우 새 구독을 활성화하거나 지금 크레딧을 추가합니다.

 

파트너

Azure 클라우드 솔루션을 디자인하고 구현할 수 있는 Microsoft 파트너를 찾아보십시오. 이러한 파트너는 비즈니스의 고유한 요구 사항을 충족하는 솔루션을 추천할 수 있는 비즈니스 및 기술 전문 지식을 가지고 있습니다.

 

개인 무료 계정.

무료 평가판 계정을 사용하면 Azure를 사용하여 즉시 시작할 수 있으며 업그레이드할 때까지 요금이 청구되지 않습니다.

 

 

구독종류

Azure 무료 구독

Azure 무료 구독에는 최초 30일 동안 모든 서비스에 사용할 수 있는 $200 크레딧, 12개월 동안 최고 인기 Azure 제품을 사용할 수 있는 무료 액세스 권한, 그리고 항상 무료로 제공되는 25개 이상의 제품 액세스 권한이 포함됩니다. 무료 구독을 설정하려면 전화 번호, 신용 카드 및 Microsoft 계정이 필요합니다.

참고: 신용 카드 정보는 신원 확인에만 사용됩니다. 구독종류 업그레이드 전까지는 서비스 요금이 청구되지 않습니다.

 

Azure 종량제 구독

PAYG(종량제) 구독에서는 청구 기간에 사용한 서비스 요금이 매월 부과됩니다. 개인, 중소기업 등의 다양한 사용자는 물론 대다수 대규모 조직에서도 이 구독 유형을 사용할 수 있습니다.

 

Azure 기업계약

단일 계약을 통해 클라우드 서비스와 소프트웨어 라이선스를 유동적으로 구매할 수 있는 기업 계약에서는 신규 라이선스 및 Software Assurance 할인 혜택이 제공됩니다. 기업계약은 엔터프라이즈급 조직용 구독입니다.

 

Azure for Students 구독

Azure for Students 구독에는 최초 12개월 이내에 사용 가능한 Azure 크레딧 $100, 그리고 등록 시 신용 카드 정보를 제공하지 않아도 사용 가능한 일부 무료 서비스가 포함됩니다. 조직 전자 메일 주소를 통해 학생 상태를 확인해야 합니다.




'기술(Azure 만...) > [MS]Azure기본' 카테고리의 다른 글

VM 생성 파워셸  (0) 2021.01.06
Azure Active Directory 일반  (0) 2020.09.08
AAD 단계별 배포전략 요건정의  (0) 2020.08.03
azure 백업 일반/프로세스  (0) 2020.06.18
NSG 생성 파워셸  (0) 2020.06.09

테넌트 만들고, 구독에서 디렉터리 변경으로 연결가능

애플리케이션 관리는 별로 있는게 없을

 

그래도 요건정리가 잘된 문서로 보임

1단계: 안전한 기반 구축

첫 번째 단계에서는 Azure AD에 대한 보안 기반을 구축합니다. 의사, 내부 직원 및 외부 의료 파트너는 모두 제공할 수 있는 가장 안전한 액세스 권한이 필요합니다. 사용자 계정을 추가하거나 만들기 전에 기준 보안 기능을 구성합니다. 여기에서 수행하는 작업을 통해 Azure AD 인스턴스를 처음부터 보안 상태에서 시작할 수 있습니다. 다음 표에서는 각 작업에 대해 설명합니다.

작업

설명

라이선스 필요

2개 이상의 전역 관리자 할당.

2개 이상의 Azure AD 계정에 전역 관리자 역할을 부여합니다. 매일 이러한 계정을 사용하지 않는지 확인합니다. 계정에 길고 복잡한 암호가 있는지 확인합니다.

Free

가능한 경우 일반 관리자 역할을 사용.

비전역 관리자는 작업을 수행하는 데 필요한 이상의 권한을 보유하지 않아야 합니다. 기본적으로 이러한 일반 관리자 역할을 사용합니다. 필요한 경우가 아니면 전역 관리자 역할을 사용하지 않도록 합니다.

Free

관리자를 추적하도록 PIM(Privileged Identity Management) 구성.

PIM을 사용하여 관리자 역할이 사용되는 방법을 모니터링합니다. 이 작업은 거버넌스 및 규정 준수를 개선하는 데 도움이 됩니다.

Azure AD Premium P2

셀프 서비스 암호 재설정 구성.

내부 사용자가 구성된 정책을 통해 암호를 다시 설정하도록 합니다. 이 작업을 수행하면 암호 재설정에 대한 지원 센터 티켓 수가 줄어듭니다.

Free

금지된 암호 목록 만들기.

이 목록을 사용하여 사용자가 조직에서 일반적인 구 또는 단어로 이루어진 암호를 사용하지 못하도록 할 수 있습니다. 예를 들어, 목록에 회사 이름 또는 본사 위치가 포함될 수 있습니다.

Free

자격 증명을 다시 사용하지 않도록 사용자에게 경고.

누군가가 여러 플랫폼에서 동일한 자격 증명을 다시 사용하는 경우 단일 플랫폼이 손상되면 공격자가 이러한 자격 증명을 사용하여 모든 플랫폼에 액세스할 수 있습니다.

Free

클라우드 기반 사용자 계정에 대한 암호를 만료되지 않도록 설정.

정기적 암호 재설정은 사용자가 기존 암호를 연장하도록 합니다. 예를 들어, 암호를 R4ndom1Strong에서 R4ndom2Strong으로 변경하는 등의 방법을 사용할 수 있습니다. 이 경우, 대부분의 암호는 동일하게 유지되므로 이미 노출된 자격 증명을 사용하여 계정에 액세스할 수 있는 위험이 높아집니다.

Free

조건부 액세스 정책을 통해 다단계 인증 적용.

애플리케이션에 액세스하기 전에 사용자가 여러 인증 챌린지를 통과하도록 하는 조건부 액세스 정책을 구성합니다.

Azure AD Premium P1

AADIP(Azure Active Directory Identity Protection) 구성.

조직의 사용자에 대해 의심스러운 로그인 및 손상된 사용자 자격 증명에 플래그를 지정하고 차단합니다. 검색된 위험의 심각도에 따라 다단계 인증 또는 암호 재설정을 자동으로 트리거하는 데 AADIP를 사용할 수도 있습니다.

Azure AD Premium P2

2단계: 사용자 추가, 디바이스 관리 및 동기화 구성

이제 사용자를 추가하고 외부 게스트 사용자 액세스를 처리하는 방법을 계획할 수 있습니다. 다음 표에서는 이 단계에서의 작업에 대해 설명합니다.

작업

설명

라이선스 필요

Azure AD Connect 설치 및 구성.

Azure AD Connect를 사용하여 Active Directory의 온-프레미스 인스턴스에서 Azure로 사용자를 동기화할 수 있습니다.

Free

암호 해시 동기화 사용.

암호 변경을 동기화하고 잘못된 암호를 검색 및 수정할 수 있습니다. 누수 사용자 자격 증명에 대한 보고서를 가져옵니다.

Free

비밀번호 쓰기 저장 사용.

Azure에서 암호 변경 내용이 온-프레미스 Active Directory 인스턴스에 기록되도록 비밀번호 쓰기 저장을 구성합니다.

Azure AD Premium P1

Azure AD Connect Health 사용.

Azure AD Connect Health를 사용하여 Azure AD Connect 환경에 대한 상태 통계를 모니터링합니다.

Azure AD Premium P1

그룹 수준에서 필요한 라이선스를 사용자에게 제공.

그룹 수준에서 라이선스를 할당하는 경우 여러 사용자의 라이선스를 동시에 제어합니다. 이 작업을 수행하면 조직 시간이 절약되고 복잡성이 줄어듭니다.

Free

게스트 사용자 액세스에 Azure AD B2B Collaboration 사용.

이 리소스를 사용하여 외부 의료 파트너 사용자가 자신의 회사 또는 소셜 ID를 사용하여 애플리케이션 및 서비스에 액세스할 수 있도록 합니다. 이러한 사용자의 자격 증명은 관리할 필요가 없습니다.

필요한 라이선스는 게스트 사용자가 액세스할 수 있도록 하려는 기능에 따라 달라집니다.

디바이스 관리 전략 준비.

회사에서 허용하는 디바이스에 따라 플랜을 수립합니다. 예를 들어, BYOD(Bring Your Own Device)를 허용하나요? 아니면 회사에서 사용자에게 제공한 디바이스만 수락하나요?

Free

암호를 요구하지 않는 인증 방법 제공.

인증을 더 편리하게 만듭니다. 예를 들어 사용자의 휴대폰에 Microsoft Authenticator가 설치되어 있는 경우 로그인 시 입력할 코드와 PIN 또는 지문 같은 생체 인식 특성을 제공하는 알림을 수신할 수 있습니다.

Azure AD Premium P1

 

3단계: 애플리케이션 관리

이제 애플리케이션을 Azure AD와 통합할 수 있습니다. 다음 표에서는 이 단계에서의 작업에 대해 설명합니다.

작업

설명

라이선스 필요

애플리케이션 식별.

조직의 애플리케이션을 조사합니다. 예를 들어 조직이 온-프레미스 애플리케이션을 사용하거나 클라우드에서 SaaS(Software-as-a-Service) 애플리케이션을 사용할 수 있습니다. Azure AD를 사용하여 관리하려는 애플리케이션을 선택합니다.

N/A

Azure AD 갤러리에서 SaaS 애플리케이션 사용,

조직이 이미 갤러리에 있는 SaaS 애플리케이션을 사용하고 있으면 Azure Portal에서 찾을 수 있습니다. 가능하면 갤러리에서 이러한 애플리케이션을 사용합니다. 애플리케이션과 Azure AD를 통합하여 시간을 절약할 수 있습니다.

Free

애플리케이션 프록시를 사용하여 온-프레미스 앱 통합.

Azure AD 사용자가 Azure AD 계정을 사용하여 온-프레미스 애플리케이션에 로그인하도록 할 수 있습니다.

Free

 

4단계: 관리자 모니터링, 액세스 검토 수행 및 사용자 수명 주기 자동화

이제 관리자가 보유해야 하는 권한 범위를 결정하고 액세스 검토를 완료할 수 있습니다. 이 단계에서는 일반적인 사용자 수명 주기 작업을 자동화하는 방법도 구성합니다. 다음 표에서는 이 단계에서의 작업에 대해 설명합니다.

작업

설명

라이선스 필요

PIM을 사용하여 관리자 액세스 제어.

관리자가 다단계 인증 챌린지를 통과하거나 수락된 승인자에게서 승인을 받은 후에만 계정을 사용할 수 있는지 확인합니다.

Azure AD Premium P2

PIM의 Azure AD 디렉터리 역할에 대한 액세스 검토 완료.

조직의 권한 있는 역할에 대한 조직 요구 사항에 따라 관리 액세스를 정기적으로 검토할 수 있도록 PIM에서 액세스 검토 정책을 구성합니다.

Azure AD Premium P2

동적 그룹 구성원 자격 정책 구성.

부서 또는 지역과 같은 알려진 프로필 정보에 따라 특정 그룹에 사용자를 자동으로 추가하여 시간과 노력을 절감합니다. 예를 들어 인사부에 속한 모든 사용자를 인사라는 사용자 그룹에 자동으로 추가할 수 있습니다.

Free

그룹 기반 애플리케이션 할당 사용.

그룹 기반 액세스 관리를 사용하여 그룹 멤버에게 특정 애플리케이션에 대한 액세스 권한을 부여합니다. 동적 그룹을 사용하는 경우 그룹에서 제거된 사용자는 자동으로 애플리케이션에 대한 액세스 권한을 잃게 됩니다. 이 작업을 통해 애플리케이션의 보안을 유지할 수 있습니다.

Free

자동 사용자 계정 프로비전 및 비활성화 구성.

사용자가 기존 Azure AD 사용자 및 그룹을 기반으로 SaaS 애플리케이션을 사용할 수 있도록 자동으로 애플리케이션별 계정을 만듭니다. 또한 사용자는 조직을 떠날 때 사용자 계정을 자동으로 프로비전 해제할 수 있습니다. 이 작업을 통해 조직은 무단 액세스로부터 보호됩니다.

Free

 




'기술(Azure 만...) > [MS]Azure기본' 카테고리의 다른 글

Azure Active Directory 일반  (0) 2020.09.08
azure 거버넌스  (0) 2020.09.06
azure 백업 일반/프로세스  (0) 2020.06.18
NSG 생성 파워셸  (0) 2020.06.09
가용성집합 VM 생성 파워셸  (0) 2020.06.07

 

기계학습 Machine Learning  

수학과 통계를 사용하여   없는 값을 예측하는 모델을 만드는 기술 

자전거 일일 임대수요 예측하는 모델 

회귀모델이 가장 적합함. 

 

적절한 분석기법, 모델을 찾기 위한, 머신러닝 플랫폼 on 클라우드 

 

 

  1. Azure 포털에서  기계학습 생성 

 

 

  1. 개요에서 위의 링크를 누르면 아래 URL 이동됨 

https://ml.azure.com/ 

 

  1. 컴퓨팅 인스턴스 생성 (가상머신) : 데이터과학자가 데이터  모델작업에 사용하는 워크스테이션 개념 

 

  1. 컴퓨팅 클러스터 생성(가상머신) : 주문형 실험코드 처리를 위한 확장가능 가상머신 클러스터 

테스트  최소 카운트 0으로 해야, 과금이 많이 발생하지 않음. 

 

  1. 데이터세트 만들기 

예제 데이터 가져오기(web URL)  https://aka.ms/bike-rentals 

 

  1. 자동화된 ML실행 만들기 

ML실행 Target 열은 rentals 지정 

 

 

regression 

회귀 모델 선택 

 

 

여러 알고리즘 중에 사용하지 않는 알고리짐 체크해줌. 

 

 

 

 

 

 

 

 

시간이 걸림. 

 돌리고, 취소 

 

결과 

 

실행5 MaxAbsScaler 

 

 

실행6 StandardScalerWrapper 

 

 

최고의 모델검토 

평가메트릭을 기반으로 가장 좋은 모델이 식별됨 

평가메트릭은 "정규화된  평균 제곱 오차" 기준으로 평가됨. 

 

예측 값과 실제 값의 차이는오차 양을 나타냅니다. 

모델에서 이 특정 성능 측정 항목은  

모든 테스트 사례에서 오류를 제곱하고 이러한 제곱의 평균을 찾은 다음 제곱근을 취하여 계산됩니다. 

 모든 것이 의미하는 바는이 값이 작을수록 모델이  정확하게 예측한다는 것입니다. 

 

잔류 히스토그램잔류 값 범위의 주파수를 나타낸다.  

잔차는 모형에서 설명 할 수없는 예측 값과 실제 값 간의 차이를 나타냅니다. , 오류입니다.  

따라서 가장 빈번하게 발생하는 잔차 값이 0 주위 (, 대부분의 오류가 작음)로 군집되어 있으며 스케일의 끝에서 오류가 적습니다. 

예상 대 트루차트는 진정한 가치에있는 예측 값의 상관 관계 밀접하게 대각선 추세를 보여 주어야한다.  

점선은 완벽한 모델의 성능을 보여 주며 모델의 평균 예측 값의 선이 값에 가까울수록 성능이 향상됩니다.  

꺾은 선형 차트 아래의 히스토그램은 실제 값의 분포를 보여줍니다. 

 

 

 

 

 

 

완료되면 배포? 

 

 

 

엔드포인트URL 만들어지는데 시간걸림. 

http://136da5a5-2ee2-47b2-aee6-eff88906245a.eastus.azurecontainer.io/score 

 

 

Sur2NTXTe2xVPNTr9qoybVdyxdKGet2R 

JOKEkfK3fG8DWgyU7zGehN0vts0fP8fZ 

 

 

노트북 생성 

앞서 생성한 컴퓨팅 에서 구동함? 

언어 지원 

Python 3.6  AzureML 

R 

Python 3 

 

 

구동 결과  

5 일 동안 매일 예상 임대 수 

 

 

 

 

. 

이제 모두 삭제하자! 

 

 

 

컴퓨팅 클러스터 삭제하고, 노트북 실행해보기 

 

결과나옴. 

컴퓨터 클러스터는 모델학습 구동할  쓰나봄? 

 




 

 

요건 : 하나의 앱서비스플랜, 웹앱 3 

       웹앱 간에 통신을 아래와 같이 구성하고 싶음 

 

 

해결책 

 

 

 

  1. 가상네트워크, 서브넷 생성 

  2. Vnet - 서비스엔드포인트-Microsoft.Web으로 추가 

  3. 웹앱(App X)-Networking - Vnet Integration 클릭 

  4. 1번에서 만든 Vnet 선택 

  5. 웹앱(App X)-Networking-액세스제한 설정 

규칙 : 0.0.0.0/0 거부 

규칙 : Vnet 허용 




업계보다 훨씬느린(?)

국회에서 까지 얘기가 나온다는 것은,

 

앞으로 유망직종인 것은 분명한가 봄.

from 제 생각 

 

 

-------기사일부-------------

 

이광재 더불어민주당 의원은 지난 5월부터 ‘데이터부’ 혹은 ‘데이터청’을 설립해야 한다고 주장했다. 김태년 민주당 원내대표도 지난 6월 16일 “데이터는 ‘디지털 원유’지만 꿰어야 보배”라며 데이터청과 데이터거래소 설립을 추진하겠다고 밝혔다. 김종인 미래통합당 비상대책위원장도 “국력은 데이터 활용에 비례한다”며 데이터청 설립을 언급했다.

데이터청이란 어떤 조직인가. 취재를 종합해보면 ‘공공과 민간 데이터 정책을 총괄하는 부처’ 정도로 볼 수 있다. 통합당 정책연구소인 여의도연구원 관계자는 “공공분야 데이터는 해당 분야에만 한정된 게 한계”라며 “국가 차원의 데이터 전략 및 기본계획을 수립하고 공공·민간 데이터를 포괄해 접근·관리하는 기능이 필요하다”고 말했다.

이광재 의원도 라디오 인터뷰에서 “국민이 어떤 상태에 살고 있는지를 명확히 알아야 하는데 지금은 부동산 정보 하나만 보더라도 행정안전부·국세청·국토부 등 정보가 다 따로 있다. 부처별로 따로 놀고 있다”며 “전체적으로 통합해서 (중략) 데이터청을 만들어서 정확한 실태부터 파악해야 한다”고 말했다. 즉 빅데이터를 구축해 활용하겠다는 것이다.

실제 빅데이터는 할 수 있는 것들이 많다. 가령 국세청은 납세자에 대한 다양한 정보를 바탕으로 과세를 할 수 있다. 보건복지부는 이전보다 수월하게 복지서비스의 사각지대를 파악할 수 있고, 부당한 복지서비스를 받고 있는 부당수혜자도 찾아낼 수 있다. 다양한 정보를 종합해 맞춤화된 ‘공공서비스’를 제공할 수 있다. 특히 빅데이터는 예측하기 힘들거나 흔히 일어나지 않는 상황에 더욱 유용하다. 지진이나 해일 등 대규모 자연재해는 소규모 데이터로는 분석이 어렵지만, 빅데이터는 이를 가능하게 한다. 희귀질환도 마찬가지다. 희귀질환을 앓는 환자에 대한 데이터가 쌓이면 쌓일수록 정확도는 올라간다.

데이터청이 설립된다면 빅데이터의 활용은 공공부문에 한정되지 않을 것으로 보인다. 김종인 비대위원장은 “민간이 데이터에 자유롭게 접근할 수 있도록, 데이터 민간 비즈니스 모델을 구축할 수 있도록 데이터청을 신설해야 할 것”이라고 말했다. 이광재 의원 역시 민간에 데이터를 제공하고, 그에 대한 ‘대가’를 받아야 한다는 입장이다.

 

 

출처

news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=001&oid=032&aid=0003018721




 

 

Azure 백업 일반 

Azure Backup의 클라우드 우선 접근 방식은 다음을 제공합니다. 

  • 인프라에서 자유 : 백업 VM에 인프라를 배치 할 필요가 없습니다. 

  • 밑이없는 Recovery Services 볼트로 백업 스토리지 관리가 필요 없습니다. 

  • 복원 비용이 들지 않으면 서 모델에 따라 요금을 지불하십시오. 

  • 셀프 서비스 백업 및 복원 

주요 특징들 

  • VM을 종료 할 필요없이 Windows Azure VM 용 응용 프로그램 일관된 백업 및 Linux Azure VM 용 파일 시스템 일관된 백업 

  • 정책 기반 관리 :  Azure Backup을 사용하면 백업 일정과 백업 보존 정책을 지정할 수 있습니다. 이 서비스는 정기적 인 백업과 구성된 보존 기간 이후의 복구 지점 정리를 처리합니다.  

  • VM 수명주기를 넘어도 수년간 백업 데이터를 장기간 보존  합니다. 

  • 전체 VM 및 디스크 복원 :  VM이 손상되어 교체가 필요하거나 단순히 VM 사본을 만들려는 경우 전체 VM 또는 디스크 복원으로 수행 할 수 있습니다.  

  • 빠른 데이터 복구 :  함께 인스턴트 데이터 복구 , 당신은 즉시 추가 인프라를 프로비저닝없이 VM 내에서 개별 파일과 폴더를 복원하고, 추가 비용없이 할 수 있습니다. Instant Restore는 파일 / 폴더를 원하는 대상으로 간단히 복사하여 신속하게 마운트, 탐색, 복구 할 수있는 복구 지점의 쓰기 가능한 스냅 샷을 제공합니다. 이러한 스냅 샷을 사용하면 마치 클라우드 복구 지점 스냅 샷에서 마치 로컬에있는 것처럼 SQL, MySQL과 같은 애플리케이션 파일을 직접 열고 복사하지 않고도 라이브 애플리케이션 인스턴스에 첨부 할 수 있습니다. 

  • 역할 기반 액세스 :  역할 기반 액세스 제어를 사용하여 Recovery Services 볼트의 백업 데이터에 대한 액세스를 제한 할 수 있습니다. Azure Backup은 볼트 수준에서 Backup Contributor, Backup Operator 및 Backup Reader 역할을 지원합니다. 

  • 모니터링 및 경고 :  Recovery Services Vault 대시 보드에서 백업 및 복원 작업을 모니터링 할 수 있습니다 . 또한 작업 실패에 대한 전자 메일 경고를 구성 할 수도 있습니다. 

 

출처: <https://azure.microsoft.com/ko-kr/blog/azure-managed-disk-backup/ 

 

 

백업프로세스 (대상 : Azure VM) 

  1. 최초 백업 구성  백업 확장(Azure Extension)이 VM에 설치됨 

  • Windows VM의 경우 VMSnapshot 확장 이 설치됩니다. 

  • Linux VM의 경우 VMSnapshotLinux 확장 이 설치됩니다. 

  • Microsoft Visual C ++ 2013 재배포 가능 패키지 (x64)-12.0.40660이 VM에 설치됨 

  • 볼륨 섀도 복사본 서비스 (VSS)의 시작 유형이 수동에서 자동으로 변경 

  • IaaSVmProvider Windows 서비스가 추가 

 

  1. Windows VSS (Volume Shadow Copy Service) 이용, 기본은 전체 VSS백업 수행 

리눅스는 파일일관성 백업을 수행 

 

  1. 스냅 샷을 생성 한 후 데이터를 볼트로 전송 

각 VM 디스크는 병렬로 백업작업함 

디스크의 블록을 읽고 이전 백업 이후 변경된 데이터 블록 (델타) 만 식별하고 전송 

 

  1. 볼트로 데이터전송이 완료되면 스냅샷 삭제됨, 해당 복구지점 생성됨 

 

출처: <https://docs.microsoft.com/en-us/azure/backup/backup-azure-vms-introduction 

 

 

Azure Backup에서 활용하는 기술인 Incremental Backups가 어떻게 네트워크 및 스토리지를 더 크게 절약하는지 설명 

 

예시 

블록 A1, A2,… A10으로 구성된 데이터 소스 A를 가져 와서 매월 백업 

첫 달 - 블록 A2, A3, A4, A9 변경됨 

다음 달 - A5 변경됨 

 

전체백업 

차등백업 

증분백업 

매번 Full 가져감 스토리지 소비량 최대 네트워크 소비량 최대 

초기백업본 이후 변경된  

블록만 저장 2,3,4,9 백업  

2,3,4,5,9 백업 

이전백업본 이후 변경된  

블록만  백업 

2,3,4,9백업 

5 백업 

 

 

출처: <https://azure.microsoft.com/ko-kr/blog/microsoft-azure-backup-save-on-long-term-storage/ 

 

 

 




'기술(Azure 만...) > [MS]Azure기본' 카테고리의 다른 글

azure 거버넌스  (0) 2020.09.06
AAD 단계별 배포전략 요건정의  (0) 2020.08.03
NSG 생성 파워셸  (0) 2020.06.09
가용성집합 VM 생성 파워셸  (0) 2020.06.07
azure VM 기초, 과금구조 등  (0) 2020.05.29

 

Import-Module -Name Az UnauthorizedAccess

 

Login-AzAccount =Connect-AzAccount

AzureRm -> Az

 

Select-AzSubscription -Tenant 'da910980-928b-449c-88b9-7777777777777777'

 

# 구독 선택

$subscriptionId = (Get-AzSubscription | Out-GridView -Title 'Azure 구독 선택 :' -PassThru )

 

Select-AzSubscription -SubscriptionId $subscriptionId.Id

 

# 리소스 그룹 선택

$rgName = '20190625rg'

#혹은 요게 좋네

$resourceGroup = Get-AzResourceGroup -Name '20190625rg'

 

# NSG 이름 및 Azure 지역 설정

 

$nsgName = "Trusted-Nsg01"

$location = $resourceGroup.Location

$source1 = "8.8.8.8/32"

$source2 ="8.8.4.4/32"

$source3 ="*"

$dest1 ="3389"

$dest2 ="443"

$dest3 ="80"

$tag = "블로그"

 

$rule1 = New-azNetworkSecurityRuleConfig -Name rdp-rule -Description "Allow RDP" ` -Access Allow -Protocol Tcp -Direction Inbound -Priority 100 ` -SourceAddressPrefix $source1 -SourcePortRange * ` -DestinationAddressPrefix * -DestinationPortRange $dest1

 

$rule2 = New-azNetworkSecurityRuleConfig -Name web-rule2 -Description "Allow Port" ` -Access Allow -Protocol Tcp -Direction Inbound -Priority 101 ` -SourceAddressPrefix $source2 -SourcePortRange * -DestinationAddressPrefix * ` -DestinationPortRange $dest2

 

$rule3 = New-azNetworkSecurityRuleConfig -Name web-rule3 -Description "Allow Port" ` -Access Allow -Protocol Tcp -Direction Inbound -Priority 103 ` -SourceAddressPrefix $source3 -SourcePortRange * -DestinationAddressPrefix * ` -DestinationPortRange $dest3

 

$rule4 = New-azNetworkSecurityRuleConfig -Name web-rule4 -Description "Allow Port" ` -Access Allow -Protocol Tcp -Direction Inbound -Priority 104 ` -SourceAddressPrefix Internet -SourcePortRange * -DestinationAddressPrefix * ` -DestinationPortRange 88

 

#applying the Rules

$nsg = New-azNetworkSecurityGroup -ResourceGroupName $rgName -Location $location -Name $nsgName -SecurityRules $rule1,$rule2,$rule3,$rule4

 

# Display default and security rules for NSG

(Get-azNetworkSecurityGroup -Name $nsgName -ResourceGroupName $rgName).SecurityRules | Select-Object * | Out-GridView (Get-azNetworkSecurityGroup -Name $nsgName -ResourceGroupName $rgName).DefaultSecurityRules | Select-Object * | Out-GridView

 

#Remove NSG

Remove-azNetworkSecurityGroup -Name $nsgName -ResourceGroupName $rgName

 

 




'기술(Azure 만...) > [MS]Azure기본' 카테고리의 다른 글

AAD 단계별 배포전략 요건정의  (0) 2020.08.03
azure 백업 일반/프로세스  (0) 2020.06.18
가용성집합 VM 생성 파워셸  (0) 2020.06.07
azure VM 기초, 과금구조 등  (0) 2020.05.29
azure기초 RBAC  (0) 2020.05.28

##가용성집합 파워셸 

  

$vmname = 'vm1' 

$vmsize = 'Standard_DS2_v2' 

$resourceGroup = Get-AzResourceGroup -Name 'rg01' 

$location = $resourceGroup.Location 

  

$avset = Get-AzAvailabilitySet -ResourceGroup $resourceGroup.ResourceGroupName -Name 'avset01' 

$vnet = Get-AzVirtualNetwork -Name 'vnet01' -ResourceGroup $resourceGroup.ResourceGroupName  

$subnetid = (Get-AzVirtualNetworkSubnetConfig -Name 'subnet01' -Virtualnetwork $vnet).Id 

  

내가추가 

$rgName = $resourceGroup.ResourceGroupName 

  

$nsg = New-AzNetworkSecurityGroup -ResourceGroupName $rgName -Location $location -Name "$vmname-nsg01" 

$pip = New-AzPublicIpAddress -Name "$vmname-pip01" -ResourceGroupName $rgName -Location $location -AllocationMethod Dynamic 

$nic = New-AzNetworkInterface -Name "$($vmname)$(Get-Random)" -ResourceGroupName $rgName -Location $location -SubnetId $subnetid -publicIpAdressId $pip.Id -NetworkSecuriryGroupId $nsg.Id 

  

$adminusername = 'aladmin' 

$adminPassword = 'Pa55w0rd12341234' 

$adminCreds = New-Object PSCredential $adminusername, ($adminPaasword | ConvertTo-SecureString -AsPlainText -Force) 

  

$publisherName = 'MicrosoftWindowsServer' 

$offerName = 'WindowsServer' 

$skuName = '2016-Datacenter' 

  

##배열 첫번째 값 꼭 적어야되나? 

$osdisktype = (Get-AzDisk -ResourceGroupName $rgName)[0].Sku.Name 

  

$vmconfig = New-AzVMConfig -VMName $vmname -VMSize $vmsize -AvailabilitySetId $avset.Id 

  

##VM 개별요소 추가 시 에는 config 지정 

Add-AzVMNetworkInterface -VM $vmconfig -Id $nic.Id  

Set-AzVMOperatingSystem -VM $vmconfig -Windows -ComputerName $vmName -Credential $adminCreds 

Set-AzVMSourceImage -VM $vmconfig -PublisherName $publisherName -Offer $offerName -Skus $skuName  -Version 'latest' 

Set-AzVMOSDisk -VM $vmconfig -Name "$($vmname)_OsDisk_1_$(Get-Random)" -StorageAccountType $osdisktype -CreateOption fromImage 

Set-AzVMBootDiagnostic -VM $vmconfig -Disable 

  

##"$($vmname)_OsDisk_1_$(Get-Random)"  

## $는 함수앞에 무조건 

## 변수값을 그대로 쓰려면 쌍따옴표 

  

New-AzVM -ResourceGroupName $rgName -Location $location -VM $vmconfig 

  

  

  

  

  

 




'기술(Azure 만...) > [MS]Azure기본' 카테고리의 다른 글

azure 백업 일반/프로세스  (0) 2020.06.18
NSG 생성 파워셸  (0) 2020.06.09
azure VM 기초, 과금구조 등  (0) 2020.05.29
azure기초 RBAC  (0) 2020.05.28
azure 운영 VM 다운로드 방법  (0) 2020.05.09

+ Recent posts