티스토리 뷰
[Cloud] AWS - Storage
데이터를 저장, 액세스, 관리 및 분석하여 비용을 절감하고, 민첩성을 높이고, 혁신을 가속화하는 완벽한 범위의 서비스를 제공
AWS Storage 서비스
- 스토리지 종류
1. 객체 스토리지(S3)
Amazon S3 (Amazon Simple Storage Service, S3) - 어디서나 원하는 양의 데이터를 저장하고 검색할 수 있도록 구축된 객체 스토리지 , 드롭박스처럼 파일 업로드, 다운로드가 가능한 인터넷 저장 서비스
2. 파일 스토리지
Amazon Elastic File System - 확장 가능하고 탄력적인 클라우드 네이티브 NFS 파일 시스템
Amazon FSx for Windows File Server - Windows Server에 구축되는 완전 관리형 파일 스토리지
Amazon FSx for Lustre - Amazon S3에 통합되는 완전 관리형 고성능 파일 시스템
3. 블록 스토리지(EBS)
Amazon Elastic Block Store - 사용하기 쉬운 대규모 고성능 블록 스토리지 - EC2와 연결해서 사용하는 SSD와 같은 서비스
4. 백업
AWS Backup - AWS 서비스 전체에 걸쳐 중앙에서 백업을 관리 및 자동화
5. 데이터전송
AWS Storage Gateway
AWS DataSync - AWS에서의 데이터 인바운드 및 아웃바운드 전송을 10배 더 빠르게
AWS Transfer 패밀리 - SFTP, FTPS 및 FTP를 사용하여 Amazon S3으로 간단하고 원활하게 파일 전송
AWS Snow 패밀리 - AWS에서 데이터를 마이그레이션 하기 위한 물리적 디바이스
6. 엣지 컴퓨팅 및 스토리지
AWS Snow 패밀리 - 열악하거나 연결이 해제된 환경에서도 사용할 수 있는 물리적 엣지 컴퓨팅 및 스토리지 디바이스
- 스토리지 비교
1) 파일 스토리지
2) 블록 스토리지
3) 객체 스토리지
출처)
1. 오브젝트 스토리지, 파일 스토리지, 블록 스토리지의 차이
2. 레드헷 -파일 스토리지, 블록 스토리지 또는 오브젝트 스토리지
Amazon S3 (Amazon Simple Storage Service, S3)
- Amazon S3란?
단순한 웹 서비스 인터페이스를 사용하여 언제든지 웹 상 어디서나 원하는 양의 데이터를 저장하고 검색할 수 있음 , 드롭박스처럼 파일 업로드, 다운로드가 가능한 인터넷 저장 서비스 , 객체 스토리지
버킷을 만들고, 객체를 저장 및 검색하고 리소스에 대한 권한을 관리하기 위해 요청을 보냄
- Amazon S3 장점
(1) 데이터를 스토리지를 위한 Amazon S3의 기본 컨테이너인 버킷 만들 수 있음
(2) 버킷에 데이터 무한정 저장 가능 - 인터넷 스토리지 서비스로 엄청난 내구도 자랑
- 원하는 데이터만큼 데이터를 저장할 수 있고, 개별 객체는 5TB를 넘을 수 없지만 총 데이터는 필요한 만큼 저장 가능
(3) 데이터 다운로드
(4) 권한
(5) 표준 인터페이스 - 모든 인터넷 개발 도구 키트에서 사용할 수 있도록 설계된 표준 기반 REST 및 SOAP 인터페이스 사용
(6) S3을 이용해 새로운 비지니스 / 서비스 만들 수 있음
(7) Amazon S3 데이터는 여러 시설과 각 시설의 여러 디바이스에 중복으로 저장
(8) 이벤트 알림기능이 있음, 특정 이벤트 발생시 자동알림
- 객체 스토리지란?
어떠한 유형의 데이터등 네이티브 형식으로 저장할 수 있는 고도로 확장하고 비용 효율적인 스토리지 제공
- Amazon S3 개념
1. 버킷
Amazon S3에 저장된 객체에 대한 컨테이너
모든 객체는 어떤 버킷에 포함됨
ex) photos/puppy.jpg객체 -> 미국 서부(오레곤) 리전의 awsexamplebucket1 버킷에 저장되며 URL https://awsexamplebucket1.s3.us-west-2.amazonaws.com/photos/puppy.jpg를 사용하여 주소를 지정가능
2. 객체
Amazon S3에 저장되는 기본 개체
객체? 객체데이터와 메타데이터로 구성, 데이터 부분은 Amazon S3에서 볼 수 없음
메타데이터? 객체를 설명하는 이름-값 페어의 집합
수정한 날짜와 같은 몇 가지 기본 메타데이터 및 Content-Type 같은 표준 HTTP 메타데이터가 포함됨
3. 키
버킷 내 객체의 고유한 식별자
버킷, 키 및 버전 ID의 조합은 각 객체를 고유하게 식별
Amazon S3를 “버킷 + 키 + 버전”과 객체 자체 사이의 기본 데이터 맵으로 생각가능
- AWS 객체 스토리지 서비스 장점
(1) 안정성, 가용성, 확장성 - 데이터는 하나의 AWS 리전내에서 지리적으로 10km 이상 떨어진 최소 3개의 물리적 시설에 걸쳐 자동으로 배포, 다른 AWS Region으로 자동 복제 가능
(2) 보안 및 규정 준수 - 서로 다른 3가지 형태의 암호화를 지원 AWS CloudTrail(API 호출 모니터링 및 로깅 제공) , Amazon Macie(데이터 지속적 모니터링, 이상 항목 탐지 후 알림 전송하여 데이터 손실이나 의도하지 않은 공유 방지하기 위해 조치 취해주는 AI 지원 보안 서비스)
PCI-DSS, HIPAA/HITECH, FedRAMP, SEC Rule 17-a-4, EU 데이터 보호 지침, FISMA 등 보안 표준 및 규정 준수 인증 지원
(3) 유연한 관리 - 데이터 사용 추세를 분류, 보고, 및 시각화하여 비용을 줄이고 서비스 수준 향상 가능
(4) 그대로 쿼리 - 데이터를 추출하고 이들의 별도의 분석 데이터베이스로 이동할 필요 없이 데이터에 대한 정교한 빅 데이터 분석을 실행할 수 있는 클라우드 스토리지 플랫폼. SQL을 알면 Amazon Anthena 사용하여 Amazon S3에 있는 방대한 비정형 데이터를 온디맨드로 분석 가능
(5) 가장 광범위한 에코 시스템 - 대부분의 AWS 서비스와 통합
- 클라우드 객체 스토리지 사용 사례
(1) 백업 및 복구
Amazon S3는 중요한 데이터를 백업하고 아카이브 할 수 있는 내구성과 확장성이 뛰어나며 안전한 스토리지 제공
S3 버전 관리 기능 사용하여 저장된 데이터를 추가 보호 가능
자주 사용하지 않는 데이터를 S3 스탠다드 - Infrequent Access로 마이그레이션하고 객체 세트를 Amzaon Glacier로 아카이브 하도록 수명 주기 규칙 정의
(2) 데이터 아카이빙 및 규정 준수
Amazon Glacier 저장소 잠금은 레코드 보존에 대한 규정 준수 요구 사항을 충족하도록 WORM(Write-Once-Read-Many) 스토리지를 제공
(3) 빅 데이터 분석
Amazon S3를 빅 데이터 분석용 데이터 레이크로 사용할 수 있음
(4) 하이브리드 클라우드 스토리지
AWS Storage Gateway를 사용하여 처리를 위해 사이트에서 클라우드로 워크로드를 버스팅한 후 결과를 다시 가져옴
오래되거나 중요도가 낮은 데이터를 기본 스토리지에서 클라우드로 계층화하여 비용을 절감하고 온프레미스 투자를 확장
백업 또는 마이그레이션 프로젝트의 한 부분으로 데이터를 S3로 점진적으로 이동하는 데 사용할 수도 있음
(5) 클라우드 네이티브 애플리케이션 데이터
빠르게 실행되는 모바일 및 인터넷 기반 앱을 쉽게 확장하고 비용 효율적으로 관리할 수 있는 고성능, 고가용성 스토리지를 제공
(6) 재해 복구
교차 리전 복제(CRR)는 모든 S3 객체를 다른 AWS 리전에 위치한 대상 버킷으로 자동으로 복제
- Amazon S3 사용사례
1. 정적 웹 콘텐츠 또는 미디어를 저장하고 배포 가능 , 각 객체가 가진 고유한 HTTP URL에 연결되므로 Amazon S3에서 직접 전송 가능, Amazon CloudFront와 같은 콘텐츠 전송 네트워크의 Origin으로도 사용 가능
2. 정적 웹 사이트 전체 호스팅, Amazon S3 정적 HTML 파일, 이미지, 동영상, 클라이언트 측 스크립트를 위한 스토리지를 비롯해 저렴하고 High Availiability이며 확장 가능한 솔루션 제공
3. 연산 및 대규모 분석용 데이터 스토어 - 수평 확장성때문에 순쉽게 다수의 동시 트랜잭션 가능
4. 뛰어난 내구성 및 확장성을 갖추기 떄문에 백업 및 아카이브 도구로도 유용
출처
3.
Amazon S3 Glacier
- Amazon S3 Glacier
데이터 보관 및 장기 백업을 위한 안전하고 안정적이며 비용이 매우 저렴한 Amazon S3 스토리지 클래스
데이터를 수개월, 수년 혹은 수십년까지 비용 효율적으로 저장
출처
AWS S3 Lifecycle Policy
| S3 Standard | 자주 액세스하는 데이터 |
| S3 Standard-IA | 수명이 길고 자주 액세스하지 않는 데이터 안정성, 가용성, 보안을 비롯한 S3이점 제공 |
| S3 One Zone-IA | 액세스 빈도가 낮지만 필요할 때 빠르게 액세스해야하지 않은 데이터를 위한 클래스 최소 3개의 AZ에 데이터를 저장하는 객체 스토리지 클래스와는 달리 단일 가용 영역에 데이터 저장 |
| S3 Glacier | 데이터의 내구성과 장기 보존을 위한 사용자전용 가장 저렴한 스토리지 티어 전혀 액세스 할 필요가 없는 데이터 내구성 높은 사본을 보관해야하는 경우 On-premises Tape Library 만들 필요 없음 12시간 이내에 검색가능 |
- Amazon S3 Intelligent-Tiering?
성능 저하 또는 운영 오버헤드 없이 가장 경제적인 액세스 계층으로 데이터를 자동으로 이동함으로써 스토리지 비용을 최적화하도록 설계된 스토리지 클래스
Access Pattern이 변경되면 두개의 Storage Access Tier간에 객체를 자동으로 이동하여 Storage Cost를 최적화할 수 있는 클래스
객체가 저장된 S3 Tier에 상관없이 동일한 밀리초 단위의 지연시간 및 99% AZ SLA(Service Level Agreement, 서비스 수준 계약)을 제공
Amazon EBS(Amazon Elastic Block Store)
- Amazon Elastic Block Store(EBS)
대규모로 처리량과 트랜잭션 집약적인 워크로드 모두를 지원하기 위해 Amazon Elastic Compute Cloud(EC2)에서 사용하도록 설계된 사용하기 쉬운 고성능 블록 스토리지 서비스
EBS Volume은 형식이 지정되지 않은 원시 블록 디바이스처럼 동작 -> 이러한 볼륨을 인스턴스에 디바이스로 마운트 할 수 있음 , 인스턴스에 연결된 EBS 볼륨은 스토리지 볼륨으로 표시, 인스턴스 수명에 관계없이 지속됨
EBS Volume 세분화된 업데이트가 필요하고 형식이 지정되지 않은 블록 수준의 원시 스토리지에 액세스해야 하는 파일 시스템, 데이터베이스 또는 애플리케이션 기본 스토리지로 사용하기에 특히 적합
관계형 및 비관계형 데이터베이스, 엔터프라이즈 애플리케이션, 컨테이너화된 애플리케이션, 빅 데이터 분석 엔진, 파일 시스템 및 미디어 워크플로와 같은 다양한 워크로드가 Amazon EBS에 널리 배포
- Amazon EBS의 기능
특정 가용 영역에서 EBS 볼륨을 생성한 다음 동일한 가용 영역에 있는 인스턴스 연결 -> 가용 영역 외부에 볼륨을 제공하기 위해 스냅샷을 생성 -> 해당 지역 어디서나 새 볼륨으로 복원할 수 있음
스냅샷을 사용하여 다른 지역에 복사 한 다음, 새 볼륨에 복사 함 -> AWS Region 쉽게 활용 가능
SSD , HDD, Cold HDD 볼륨 제공
- Amazon EBS 볼륨
내구성이 있는 블록 수준 스토리지 디바이스, 인스턴스 연결하는 것이 가능
볼륨을 인스턴스에 연결하면 물리적 하드 드라이브처럼 사용할 수 있음
1. EBS 볼륨 이점 ( 인스턴스 스토어 볼륨과 다름)
(1) 데이터 가용성
EBS 볼륨을 생성하면 단일 하드웨어 구성요소의 장애로 인한 데이터 손실을 방지하기 위해 해당 가용 영역 내에서 자동으로 복제
동일한 가용 영역에 있는 EC2 인스턴스에 EBS 볼륨 연결 가능
(2) 데이터 지속성
EBS 볼륨 -> 인스턴스 수명에 관계없이 유지되는 오프 인스턴스 스토리지 , 사용자는 데이터가 유지되는 동안 볼륨 사용량에 대한 비용 계속해서 지불
(3) 데이터 암호화
Amazon EBS 암호화 기능으로 암호화된 EBS 볼륨을 생성
256비트 고급 암호화 표준 알고리즘(AES-256) 및 Amazon이 관리하는 키 인프라를 사용
AWS Key Management Service(AWS KMS) 마스터 키를 사용하여 암호화된 볼륨을 생성하고 암호화된 볼륨에서 모든 스냅샷을 생성
(4) 스냅샷
Amazon EBS 사용시 모든 EBS 볼륨의 스냅샷(백업)을 생성하고 불륨 내 데이터 사본을 다중 가용 영역에 중복 저장이 가능한 Amazon S3에 작성가능
- Amazon EBS 볼륨 유형
1. SSD 기반
-> I/O 크기가 작은 읽기 / 쓰기 작업을 자주 처리하는 Transaction Workload에 최적화, 기준 성능속성 IOPS
| Volume 유형 | General Purpose SSD | Provisioned IOPS SSD |
| 설명 | 다양한 workload에 사용할 수 있으며 가격대비 성능이 우수한 범용 SSD Volume | 지연시간이 짧거나 처리량이 많은 Mission Critical Workload에 적합한 고성능 SSD Volume |
| 사용 사례 | 대부분의 workload 추천 | IOPS 성능을 유지해야 하는 Critical Business Application 대규모 Database Workload |
cf) 워크로드(Workload)? 주어진 기간에 시스템에 의해 실행되어야 할 작업의 할당량
IOPS? 아이옵스(Input/Output Operations Per Second, IOPS) HDD, SSD, SAN 같은 컴퓨터 저장 장치를 벤치마크하는 데 사용되는 성능 측정 단위
2. HDD 기반
-> 대용량 Streaming Workload에 최적화되어 있으며, IOPS보다는 Throughput(처리량)으로 성능측정
| Volume 유형 | Throughput Optimized HDD | Cold HDD |
| 설명 | 자주 액세스하고 처리량 집약적인 Workload에 적합한 저렴한 HDD Volume | 자주 액세스하지 않는 Workload에 적합한 최저 비용 HDD Volume |
| 사용 사례 | Streaming Workload Big Data Data Warehouse Log 처리 |
자주 액세스하지 않는 대용량 데이터를 위한 처리량 중심의 스토리지 스토리지 비용이 최대한 낮아야 하는 시나리오 |
- Amazon EBS–optimized instances
최적화된 구성 Stack, Amazon EBS I/O를 위한 추가 전용 용량 제거
출처
1. Amazon Elastic Block Store (Amazon EBS)
4. 아이옵스
5.
Amazon Elastic File System (EFS)
- Amazon Elastic File System(Amazon EFS)
Amazon S3 클라우드 스토리지 클래스
AWS 클라우드 서비스 및 온프레미스 리소스에 사용할 수 있는 간단한 서버리스 집합 및 망각 탄력적 파일 시스템을 제공
애플리케이션을 중단하지 않고 온디맨드 방식으로 페타바이트 규모까지 확장되도록 구축되어, 사용자가 파일을 추가하고 제거할 때 자동으로 확장/축소되므로 데이터 증가에 맞춰 용량을 프로비저닝 및 관리할 필요가 없음
Network File System 버전 4(NFSv4.1 및 NFSv4.0) 프로토콜을 지원
Amazon EFS , Amazon EC2및 Amazon ECS를 포함한 여러 컴퓨팅 인스턴스가 동시에 AWS Lambda 파일 시스템에 액세스하여 두 개 이상의 컴퓨팅 인스턴스 또는 서버에서 실행되는 워크로드 및 애플리케이션에 공통 데이터 원본을 제공할 수 있음
- 장점
1) 1~5분의 빠른 검색
2) 따라올 수 없는 내구성 및 확장성
99.999999999%의 내구성을 제공하도록 설계
데이터가 하나의 AWS 리전 내에 지리적으로 분산된 최소 3개의 물리적 가용 영역에 자동 분산
3) 가장 포괄적인 보안 및 규정 준수 가능
스토리지 API 호출 활동을 기록, 모니터링 및 보존하고 세 가지 서로 다른 암호화 형태를 지원
스토리지 클래스는 SEC Rule 17a-4, PCI-DSS, HIPAA/HITECH, FedRAMP, EU GDPR 및 FISMA를 비롯한 보안 표준 및 규정 준수 인증을 지원
4) 저렴한 미용
가장 저렴한 Amazon S3 스토리지 클래스가 되도록 설계 -> 대량의 데이터를 매우 저렴한 비용으로 아카이브 가능
데이터 레이크, 분석, IoT, 기계 학습, 규정 준수 및 미디어 자산 아카이빙과 같은 사용 사례에 맞춰 원하는 모든 데이터를 유지할 수 있음
5) 가장 많은 파트너, 공급업체 및 AWS 서비스에 지원
Amazon S3 객체 잠금은 WORM 스토리지 기능을 지원 -> 전세계 모든 규제 기관의 규정 준수 요구 사항 충족
백업 및 복구, 아카이빙(파일 전송을 위해 백업용, 보관용 기타 다른 목적으로 한곳에 모아둔 일단의 파일) 및 재해복구 등 솔루션을 위한 Amazon S3 스토리지 클래스와 연동
출처
2. Amazon Elastic File System란 무엇입니까?
AWS Storage Choice
Amazon FSx (Amazon FSx for Windows File Server)
업계 표준 SMB(서버 메시지 블록) 프로토콜을 통해 액세스 가능한 고도로 안정적이고 확장 가능한 완전관리형 파일 스토리지 서비스를 제공
Windows의 경우 사용자 할당량, 최종 사용자 파일 복원 및 Microsoft Active Directory(AD) 통합과 같은 광범위한 관리 기능을 제공
단일 AZ 및 다중 AZ 배포 옵션, 완전관리형 백업 및 유휴 및 전송 중 데이터 암호를 제공
참고)
- AWS Backup
AWS Backup is a fully managed backup service that makes it easy to centralize and automate the backup of data across AWS services in the cloud and on premises. Using AWS Backup, you can configure backup policies and monitor backup activity for your AWS resources in one place.
- AWS Snow Family
최대 엑사바이트 규모의 데이터를 AWS에서 물리적으로 손쉽게 송수신 가능
데이터 센터가 아닌 열악한 환경에서는 물론, 네트워크 연결이 일관되게 유지되지 않는 위치에서도 작업을 실행해야 하는 고객을 지원가능
- AWS Storage Gateway
사실상 무제한의 클라우드 스토리지에 대한 온프레미스 액세스 권한을 제공하는 하이브리드 클라우드 스토리지 서비스
하이브리드 클라우드 스토리지의 주요 사용 사례에서 스토리지 관리 간소화 및 비용 절감 효과를 얻을 수 있음
cf) 용어정리
PCI-DSS
- 신용카드 회원의 카드정보 및 거래정보를 안전하게 관리하기 위해서 신용카드 결제 전 과정에 걸쳐 관련된 자 모두가 준수해야 하는 신용업계 보안표준
HIPAA
- 미국 의료 정보 보호법
HITECH
- Health Information Technology for Economic and Clinical Health (경제적 및 임상적 건전성을 위한 의료정보기술에 관한 법)
FedRAMP
- Federal Risk and Authorization Management Program
- 클라우드 컴퓨팅 제품 및 서비스를 평가, 모니터링 및 인증하기 위한 표준화된 접근 방식을 제공하고 연방 기관의 보안 클라우드 솔루션 채택을 가속화하기 위해 설립된것
관리 및 예산 사무소에서는 모든 행정 기관이 FedRAMP를 사용하여 클라우드 서비스의 보안 유효성을 검사 필요
SEC Rule 17-a-4
EU 데이터 보호 지침
FISMA - 미국 연방정보보안관리법(FISMA)
프로비저닝(provisioning) - 사용자의 요구에 맞게 시스템 자원을 할당, 배치, 배포해 두었다가 필요시 시스템을 즉시 사용할 수 있는 상태로 미리 준비해 두는 것
'Programming > Cloud' 카테고리의 다른 글
| [Azure/Cloud] Microsoft Azure (0) | 2021.04.07 |
|---|---|
| [GCP/Cloud] Google Cloud Platform - 컴퓨팅 (0) | 2021.04.07 |
| [AWS/Cloud] AWS - Networking & Content Delivery (0) | 2021.04.03 |
| [AWS/Cloud] AWS -Containers (0) | 2021.04.03 |
| [Cloud] 클라우드 서비스와 클라우드 컴퓨팅 서비스 종류 (0) | 2020.09.22 |