[AWS 개념 뽀개기 2주차] Simple Storage Service (S3)

Amazon Simple Storage Service(Amazon S3)

  S3는 기존의 NAS와 같은 물리 스토리지가 아닌, 객체 스토리지 서비스입니다.  특히 99.999999999%의 내구성을 제공하도록 설계되어 데이터가 유실되지 않습니다. 확장성과 데이터 가용성 및 보안과 성능을 제공하고 RDS, Lambda 등 의 AWS 서비스와 쉽게 연동됩니다.

주요 특징

1. 여러시스템에 걸쳐 복사본을 생성 저장하여, 99.9%의 내구성을 제공
2. 객체 스토리지 서비스이기 때문에, Key - Value 형태로 저장됨
   - Key - Value 구조이지만, Key의 접두어 및 /(슬래시)를 이용하여 폴더개념 사용 가능
3. REST 및 SOAP 인터페이스 지원
   - HTTP를통한 SOAP은 지원이 중단되었으나, HTTP를 통한 SOAP 인터페이스는 사용 가능
   - 아마존에서는 REST 또는 SDK를 통한 인터페이스 사용을 권장
4. 단일 파일에 대하여 최대 5TB까지 업로드 가능
5. 퍼블릭엑세스 차단 및 권한을 부여하여 접근을 제한 할 수 있음
6. 다양한 암호화 기능을 제공
7. 버져닝 기능을 제공하며, 이 기능을 이용 할 경우 실수로 삭제된 파일 복구가 가능
   - 단, 버져닝 기능을 이용 할 경우 동일하게 과금이 부여됨
8. 버킷에 정책을 부여하여, 스토리지 관리가 가능
   - 일정 기간 사용하지 않는 객체에 대하여 스토리지 클래스를 변경
   - 일정 기간 사용하지 않는 파일 삭제
9. S3에 저장된 데이터의 양이 커질 수록 성능이 저하되게됨
10. Key의 접두어를 병렬화 또는 랜덤하게 저장하여 분산된 파티션에 저장되도록 해야함
    https://aws.amazon.com/ko/blogs/aws/amazon-s3-performance-tips-tricks-seattle-hiring-event/

주요 개념

  버킷

      버킷은 Amazon S3에 저장된 객체에 대한 컨테이터입니다. 최상위 폴더와 유사하다고 볼 수도 있습니다.
      - 스토리지 및 데이터 전송 요금을 담당하는 계정을 식별
      - 엑세스 제어아 사용됨
      - 사용량 보고를 위한 집계 단위로 사용됨
      - 버킷 명칭은, 글로벌 Regions 내에 유일해야 함

  객체

      객체는 Amazon S3에 저장되는 기본 개체입니다. 객체는 데이터 와 메타데이터로 구성됩니다.
      - 객체는 키 및 버전 ID를 통해 버킷내에서 고유하게 식별됨

  키

      키는 버킷 내 객체의 고유한 식별자입니다. (버킷 내 모든 객체는 하나의 키만 갖게됨

  Regions

      Amazon S3에서 사용자가 만드는 버킷을 저장할 지리적 AWS 리전을 선택할 수 있습니다. 특정 리전에
    저장된 객체는 사용자가 명시적으로 다른리전으로 전송하지 않는 한, 해당 리전을 벗어나지 않습니다.
    - 리젼마다 동일한 스토리지 클레스일지라도, 과금되는 요금이 다를 수 있음

스토리지클래스 

  범용

      Amazon S3 Standard(S3 Standard)
        - 짧은 지연 시간 및 높은 처리량
        - 99.9999%의 내구성 및 99.99%가용성
        - 전체 가용 영역에 영향을 미치는 이벤트에 대한 복원력
        - SSL 및 저장 데이터의 암호화 지원
        - 다른 S3 스토리지 클래스로 자동으로 마이그레이션 하기 위한 수명주기 관리

  알 수 없거나 변화하는 액세스

     Amazon S3 Intelligent-Tiering(S3 Intelligent-Tiering)
        - Standard와 동일한 기능 제공      
        - 소액의 월별 모니터링 및 자동 계층화 수수료

  빈번하지 않은 액세스

    Amazon S3 Standard-Infrequent Access(S3 Standard-IA)
        - Standard와 동일한 기능 제공      
        - 하나의 가용 영역 전체가 파괴되더라도 데이터 복원력 유지

    Amazon S3 One Zone-Infrequent Access(S3 One Zone-IA)
        - Standard와 동일한 기능 제공      
        - 단일 가용 영역에서 99.999999999%의 객체 내구성을 제공하도록 설계
        - 단일 AWS 가용 영역에 데이터를 저장하기 때문에 스토리지 클래스에 저장된 데이터는 가용성 영역이 파괴되는 경우 손실됨

  아카이브 (저렴하지만 검색 성능은 좋지 않은)

    Amazon S3 Glacier(S3 Glacier)
      - 여러 가용 영역에 걸쳐 99.999999999999%의 객체 내구성
      - 하나의 가용 영역 전체가 파괴되더라도 데이터 복원력 유지
      - 장기 아카이브에 이상적인 저비용 디자인
      - 몇 분 부터 몇 시간까지 구성 가능한 검색 시간
      - S3 Glacier에 직접 업로드 하기 위한 S3 PUT API 및 자동마이그레이션을 위한 S3 수명주기 관리

   Amazon S3 Glacier Deep Archive(S3 Glacier Deep Archive)
      - 7-10년 동안 유지되는 데이터의 장기 보관을 위해 설계된 최저 비용 스토리지 클래스
      - 자기 테이프 라이브러리의 이상적인 대안
      - 12시간 이내의 검색 시간
      - S3 Glacier Deep Archive에 직접 업로드 하기 위한 S3 PUT API 및 자동마이그레이션을 위한 S3 수명주기 관리

S3 스토리지 클래스 전반에 걸친 성능

                       StandardS3     Intelligent-Tiering*  스탠다드-IA    One Zone-IA       Glacier      GlacierDeep Archive

내구성을 위한 설계	99.999999999% (11개의 9)	99.999999999% (11개의 9)	99.999999999% (11개의 9)	99.999999999% (11개의 9)	99.999999999% (11개의 9)	99.999999999% (11개의 9)
가용성을 위한 설계	99.99%	99.9%	99.9%	99.5%	99.99%	99.99%
가용성 SLA	99.9%	99%	99%	99%	99.9%	99.9%
가용 영역	≥3	≥3	≥3	1	≥3	≥3
객체당 최소 용량 요금	해당 사항 없음	해당 사항 없음	128KB	128KB	40KB	40KB
최소 스토리지 기간 요금	해당 사항 없음	30일	30일	30일	90일	180일
검색 요금	해당 사항 없음	해당 사항 없음	검색한 GB당	검색한 GB당	검색한 GB당	검색한 GB당
첫 번째 바이트 지연 시간	밀리초	밀리초	밀리초	밀리초	분 또는 시간 선택	시간 선택
스토리지 유형	객체	객체	객체	객체	객체	객체
수명 주기 전환	예	예	예	예	예	예

† S3 One Zone-IA는 단일 AWS 가용 영역에 데이터를 저장하기 때