무엇이든지 기록

매핑 dataflow 

no coding transform data   

derived : 유래된, 파생된 

aggregate : 집계하다 count  

가능한 작업

 join, conditional split, exists, union, lookup select, aggregate, pivot 등등

 filter , sort  

상단 data flow debug 활성화하면, 실시간 data preview 확인가능  

예제 ===================================================================

1. ADF생성, link svc to blob 

2. input(source) dataset 지정 blob, csv 

3. output dataset 추가, 여기서는 cvs로.. 

4. data flow에서 매핑 dataflow 선택 - 소스 dataset 선택 - Year 추출 작업 추가  

title 컬럼에서 괄호안에 year만 추출해서 컬럼 추가 

visual Expression Builder 에서....  - 마지막에 sink 추가 sink dataset (target) 지정 

5. debug하고 preview 테이블 확인  

6. data flow - detail 버튼 누르면 각 스텝별 처리 rows, 시간 확인 가능  

7. movie by year 작업 추가 

Group by 에 Year컬럼 선택 

Aggregates 컬럼명추가 및 표현식추가 count() 끝  

8. 처리된 데이터 sink to csv   

9. publish All 

Parametrization 매개변수화  

ADF  파이프라인의 매개변수화 

- 파라메터 

- 변수 

- 표현(json)  

예시) 

동적 input file  

동적 output 테이블명 

appeding date 

conditional programming 등등   

소스 csv 파일명이 그대로 데이터셋명으로   

사전작업  

azure database table 생성(소스 csv파일) 앞서 예제와 같이 일단 생성함....  

(추가작업)

input Parameters 에서 fileName 추가  

add dynamic content 에서 찾아서 클릭하면

아래와 같이 알아서 들어감. 

@dataset().fileName  

output Parameters 에서 동일하게 추가  

마지막 Activity에서 수정 

tableName에 value 추가 해줌 : Cars, Planes     

===========================

 반대로 azrue sql -> export csv to blob도 가능함 

파일명에 datetime concat도 할수있음   

그럼... 정리해보면. 온프레미스 source 쪽에는 계속해서 데이터가 쌓이고 있따면,  

해당 파일들을 자동으로 파이프라인 통해서 azure sql로 쌓아나갈 수 있다.  

============================= 

set vaiables 두개의 액션 가운데, variables 추가   

왜 공장이라 했을까 ;; 뉴스공장? ㅎ 

 한마디로 : 클라우드 데이터통합 서비스 

ETL : Extract, Transform, Load 스토리지, 이동, 처리 의 자동화(파이프라인)  

복사는 소스데이터셋(+key) -> 타겟데이터셋 (+key)  소스, 타겟 데이터셋이 여러 개 (즉, shared 데이터셋에서 이용.)   

<간략 실습 요약> 

==============================================

 1. 사전준비 

- Azure SQL Database 생성 + 서버생성, 테이블생성 

- SA생성, 컨테이너 생성, 예제 csv 업로드 CSV ----> SQL로 이동 파이프라인  

 2. ADF 생성(로케이션, 버전 등 선택) 

 3. ADF에서 파이프라인생성 

 4. Connections Linked Svc , blob지정, Integrated runtime지정 

 5. 소스(input) 데이터셋 생성(blob, csv, linksvc 앞서 만든 것 지정,  가공가능, 델리미터, 인코딩 등등 

 6. 타켓(output) 데이터셋 생성(azure sql, 인증정보) ==========> sql에 방화벽 설정은?????  

 7. 액티비티 정의 (여기 예제는 1개만들면 끝) copy data (source -> sink) mapping

 8. azure sql에서 확인하고 끝. 

Azure Portal에 기본 메트릭 정보에는 메모리 메트릭 정보를 제공하지 않습니다. 

대신 아래 절차따라 진단설정을 활성화하여 운영체제 내부에서 CPU나 메모리 등 메트릭을 받아와 모니터링할수 있습니다. 

먼저 해당 구독에 리소스공급자 이동한 뒤 "microsoft.insights" 공급자 등록

Azure portal > 가상머신 > 모니터링 > 진단설정 

진단 설정을 활성화 후 

모니터링 > 메트릭에서 메트릭 네임스페이스를 Guest Classic(케스트 클래식) 선택            

          예를 들면 \Memory\%Committed Bytes In Use 

메트릭은 거의 실시간 수치데이터, 상태데이터, 시계열데이터베이스에 저장됨 

로그는 리소스 create/update 로그 

기본값 자동 수집인 데이터도 있으나, 반드시 최초 설정이 필요한 부분이 있음. 

진단로깅 활성화, 스토리지 지정이 반드시 필요 

SA지정하거나, Log Analytics를 지정해줘야됨. 

SA를 지정하는 경우에는 로그파일로 떨어진 파일을 직접 다운받아 열어봐야됨. 

• 애플리케이션 데이터: 사용자 지정 애플리케이션 코드와 관련된 데이터입니다. 

Application log 

도커로그 등  

• 운영 체제 데이터: 애플리케이션을 호스팅하는 Windows 또는 Linux 가상 머신의 데이터입니다. 

VM-메트릭 메뉴에 가면 보임.(필요한 메트릭 수치항목이 없을 수 있음) 

굳이 운영체제 안에서 perfmon 수집을 통해 할 필요없음. 

• Azure 리소스 데이터: Azure 리소스(예: 웹앱 또는 부하 분산 장치)의 작업과 관련된 데이터입니다. 

• Azure 구독 데이터: 구독과 관련 된 데이터입니다. Azure 상태 및 가용성에 대한 데이터를 포함합니다. 

• Azure 테넌트 데이터: Azure Active Directory와 같은 Azure 조직 수준 서비스에 대한 데이터입니다. 

수집된 데이터를 Log Analytics에서 분석 

Kusto쿼리 형태로.... 

Events 

| where StartTime >= datetime(2018-11-01) and StartTime < datetime(2018-12-01) 

| where State == "FLORIDA"   

| count 

Event 

| where EventLog == "Application" 

| where TimeGenerated > ago(24h) 

중고차 구매 초보바 팁 

1. 본네트 열어서 사이드 측면의 볼트 흔적을 본다.
교체여부 판단 / 사고차 판단

트렁크 연결부위 볼트도 있다. 확인.


2. 운전석, 문짝말고 열린 곳의 고무를 뜯어보면
스팟용접 동그라미가 보인다(출고시 표시임)

3. 트렁크 열어서 스페어 타이어 있는 곳을 보면
녹이 보이는지 확인?
테두리 스팟용접여부도 확인

리프트 올려서 보면,
아래쪽에서 봐도 스팟용접이 있다.

유사고(프레임사고)/무사고 판단여부

4. 똑같은 차량을 여러대 보면, 
스팟용접이 다른지 비교가 된다.

5. 침수차는 
안전벨트를 끝까지 당겨 꺼낸다.
색깔이 다르다면 100프로 침수

VM기본 

1. OS이미지선택 

이미지기반(eos되지 않은 거의 모든 OS가 설치된 이미지 형태로 제공됨) 

2. VM 종류, 등급 선택 

저렴한B타입 Burst 타입부터 해보자 

3. Azure Storage계정 지정 

디스크가 vhd파일형태로 저장되는 곳 

루트도 별도 디스크개체로,  추가 드라이브도 디스크개체로 모두 저장됨 

4. 디스크 선택 

HDD, SDD(일반/프리미엄) 종류선택 및 용량선택 

64,128,256등 구간별 과금 

만들자마자 공간차지함, 과금시작 

5. Vnet  

클라우드의 기본 네트워크 (백본) 필요 

6. NIC 

sw nic, 위의 가상네트워크에 연결하는 방법 

7. ipconfig 

네트워크어댑터 개체에 세팅되는 ip구성정보 

내부아이피는 5번 vnet에 연결되고, 

외부아이피는 Azure 외부네트워크 백본에 연결되는 개념 

8. public ip address 개체 

ipconfig에서 공인아이피 사용 시 연결되는 개념 

9. NSG 

방화벽기능(윈도우 서버 방화벽과는 별개임) 

source ip, destination ip, port 단위 block/allow 가능 

리눅스 운영체제디스크 최대용량?? 

기본적으로 /dev/sda 레이블로 지정됨 

azure의 용량단위는 GB가 아님 GiB(기비바이트) 

즉, 1024가 아니라 1074 크게 문제없음. 

10.라우팅테이블 

특별히 라우팅일 바꿔야 하는 needs가 있을 경우에만 사용 

배당금을 재투자하는 방법

• 변동성이 덜한 필수 소비재기업, 음식료품 기업

배당금을 연금/월세처럼 사용하는 방법

1. 배당금이 안정적으로 나오는 회사 선택
2. 시가배당률이 높은 회사(대주주 일가족의 지분이 높은회사)

1. 주가 변동성이 낮은 회사
2. 전력, 가스, 에너지, 화학 등 성숙기에 접어든 종목들, 기간산업망 운영회사 등

핵심 요약 

AAD DS에 조인된 VM 1대(윈도우서버)에서 AD관리도구를 설치하여, 

• GPO도 생성 관리 

• 컴퓨터개체도 관리  

• DNS 관리 

• OU 관리 

• 보안 LDAP에 대한 인증서 만들기 (CA 서비스) 

추가. 

AAD DS LDAP 보안 

NSG에서 636포트 정의 

LDAP 테스트는 ldp.exe 도구 사용 

온프렘AD와 동기화나?? 

AAD가 동기화되면 그걸 이용?? 정답 

기존의 문제점. 

1. 온프렘 AD를 VPN연결 상태에서 참조한다면 

-> 네트워크 단절 가능성, 단절 및 중단 시 취약 

1. Azure VM에 AD 설치한다면 

-> VM 일반 관리, 보안요소 관리 등 쉽지 않음. 

=> Azure Domain Service 사용하자  (Azure Vnet 위에 만들어짐) 

1. 생성이 쉽다. 

2. AAD와 통합 

-> 기존 AAD에 생성된 계정으로 로그인 가능 

HOW ???? 

실제로 보면, AAD 도메인과,  도메인서비스 도메인이 다름. 

Win 서버 AD와 완전히 호환되는 서비스 

• 도메인조인 

• GPO 

• LDAP, Keberos/NTLM 인증 

차이점 표 

출처: <https://docs.microsoft.com/ko-kr/azure/active-directory-domain-services/compare-identity-solutions>  

관심있는 것들만

1. 2023년 3월 1일에 Aure Site Recovery 보호 시나리오 일부 Retire

• SCVMM(System Center Virtual Machine Manager)에서 관리되는 고객 소유 사이트 간

• SCVMM에서 관리되는 사이트에서 Azure로

2. Azure Red Hat OpenShift 4.3 (preview)

3. Azure Bastion GA

• 오스트레일리아 중부 2 , 남동부

• 브라질 남부

• 캐나다 중부, 미국 중부, 중서부, 중북부

• 동아시아

• 프랑스 중부

• 일본 서부

• 한국 중부, 한국 남부

• 북유럽, 노르웨이 동부

• 남아프리카 북부

• 동남아시아

• 아랍에미리트 중부

• 영국 남부 , 영국 서부

• 인도 서부

4. Linux Fileless Attack Detection  확장가능

소프트웨어 취약성을 악용, 악성 페이로드시스템 프로세스에 삽입, 메모리은닉 등에 대해 방어

윈도우는 이미 있음.

5.IoT용 Azure Security Center 실시간 운영 체제 지원

Azure RTOS는 MCU 디바이스에서 포함된 실시간 IoT 애플리케이션을 개발할 수 있는 포괄적인 RTOS(실시간 운영 체제) 및 라이브러리 모음

IoT용 Azure Security Center는 Linux(Ubuntu, Debian) 및 Windows 10 IoT Core 운영 체제 외에 Azure RTOS에 대한 지원을 확장합니다. Azure RTOS는 실시간 운영 체제 디바이스에서 일반적인 위협을 다루는 기본 제공 보안 모듈과 함께 제공됩니다. 이 제품에는 악의적인 네트워크 활동 탐지, 사용자 지정 경고를 기반으로 한 디바이스 동작 기준 지정, 디바이스 보안 예방 조치 개선 가능

6. Azure Monitor Log Analytics의 시각화 기능 개선