Azure 스토리지 핸들링 기본

크게 3가지 방법

• Azure CLI
• AzCopy
• .NET Storage Client라이브러리

 

 

Azure CLI

기본명령은 동기식

중간에 실패하면 다시 시작해야됨

계층구조 선택 불가

기존 파일 overwrite 안되게 옵션이 있음

-> --if-modified-since는 지정된 날짜 이후로 수정된 경우에만 Blob을 덮어쓰기

 

AzCopy

비동기식

작업 실패 시 실패지점에서 작업을 다시 시작 가능

대역폭 및 성능 지정 가능

패턴일치 기능을 통해 계층적 컨테이너 및 blob파일 선택 가능

기존 수정시간 체크는 못함. Overwrite해버림.

 

 

.NET Storage Client라이브러리

즉, 일회성은 아님.

관련 애플리케이션을 작성할 수 있는 라이브러리(개체 및 메서드 모음)

Blob 메타데이터에 대한 모든 권한 제공

즉, 수정시간 등 모두 조회 가능

.net 프레임워크 멀티태스킹 기능도 활용하여 개발가능

비동기식

 

 

실습 Azure CLI

스토리지 어카운트 생성

az storage account create \

  --location ukwest \

  --name myAccount \

  --resource-group myGroup \

  --sku Standard_RAGRS \

  --kind BlobStorage \

  --access-tier Hot

 

컨테이너생성

az storage container create \

  --name myContainer \

  --account-name myAccount \

  --account-key <storage account key>

 

스토리지 계정키 조회

az storage account keys list --account-name myAccount --resource-group myGroup --output table

 

업로드

az storage blob upload \

  --container-name myContainer \

  --name myBlob\

  --file blobdata.dat

 

--if-modified-since는 지정된 날짜 이후로 수정된 경우에만 Blob을 덮어쓰기

 

upload-batch 명령  패턴도 되네

az storage blob upload-batch \

  --destination myContainer \

  --source myFolder \

  --pattern *.bmp

 

 

업로드 끝났는지 리스트 확인

az storage blob list \

  --container-name myContainer \

  --output table

 

 

Azure 저장계정간 이동 *요건 비동기식이라네

az storage blob copy start \

  --destination-container destContainer \

  --destination-blob myBlob \

  --source-account-name mySourceAccount \

  --source-account-key mySourceAccountKey \

  --source-container myContainer \

  --source-blob myBlob

 

계정간 이동 (단체로 패턴지정 이동)

az storage blob copy start-batch \

  --destination-container destContainer \

  --source-account-name mySourceAccount \

  --source-account-key mySourceAccountKey \

  --source-container myContainer \

  --pattern *.dat

 

Blob파일 삭제

az storage blob delete \

  --container sourceContainer \

  --name sourceBlob

여기서도 역시 수정일자 매개변수 지정가능

 

6개월간 수정되지 않은 blob 파일 삭제

date=`date -d "6 months ago" '+%Y-%m-%dT%H:%MZ'`

az storage blob delete-batch \

  --source sourceContainer \

  --if-unmodified-since $date

 

 

CLI실습

 

6개월 이상 된 blob -> 보관스토리지로 이동

 

azcopy실습

azcopy copy myfile.txt https://myaccount.blob.core.windows.net/mycontainer/

 

azcopy copy myfile.txt https://myaccount.blob.core.windows.net/mycontainer/  ?<sas token>

 

SAS공유액세스토큰

시간제한있음, 특정작업만 허용

 

--recursive=true

폴더계층구조 탐색해라 옵션

azcopy copy myfolder https://myaccount.blob.core.windows.net/mycontainer/? token> --recursive=true

 

 

Job리스트 조회 및 세부확인

AzCopy jobs list

AzCopy jobs show <id>

 

 

다운로드

azcopy copy https://myaccount.blob.core.windows.net/mycontainer/myblob? token> myblobdata

 

다운로드도   --recursive=true 지정가능

 

스토리지 계정간 복사

azcopy copy https://sourceaccount.blob.core.windows.net/sourcecontainer/*? sas token> https://destaccount.blob.core.windows.net/destcontainer/*? sas token>

 

 

혹은 azcopy sync 명령

 

Blob 확인

./azcopy list https://sourceaccount.blob.core.windows.net/sourcecontainer? token>

 

 

제거,삭제

./azcopy remove https://myaccount.blob.core.windows.net/mycontainer? token> --include "*.txt" --recursive=true

 

 

AZCOPY_CONCURRENCY_VALUE 환경 변수를 설정

기본값 300

데이터 전송에 활용되는 동시 스레드 수 설정

 

 

개발예제 소스

https://docs.microsoft.com/ko-kr/learn/modules/copy-blobs-from-command-line-and-code/7-move-blobs-using-net-storage-client