분류 전체보기

    [AWS] S3 멀티 파트 업로드란?
    IT/AWS

    [AWS] S3 멀티 파트 업로드란?

    멀티파트 업로드란? Amazon S3에 업로드를 할 때 단일 객체를 S여러 부분으로 나누어 업로드하여 처리량 향상 및 네트워크 문제의 빠른 복구와 같은 이점을 얻을 수 있는 업로드 방법을 말합니다. s3에 업로드할 수 있는 객체의 최대 크기는 5G입니다. S3에 업로드를 할 때 일반적으로 객체 크기가 100MB에 도달하면 단일 작업으로 객체를 업로드하는 대신 멀티파트 업로드 사용을 고려해야 하는데요 멀티파트 업로드를 이용하면 최대 5TB의 객체를 업로드할 수 있고, 큰 객체를 여러 조각으로 나누어 병렬 처리하기 때문에 빠르게 업로드할 수 있습니다. 객체를 나누어 업로드하기 때문에 일부분만 업로드된 경우에는 객체가 S3에 표시되지 않을 수 있습니다. 이것을 불완전한 멀티파트라고 합니다. 이 불완전한 멀티파..

    [AWS] s3 버킷에 Object를 완전히 삭제하는 3가지 방법
    IT/AWS

    [AWS] s3 버킷에 Object를 완전히 삭제하는 3가지 방법

    Intro S3를 보면 클라우드상에 파일을 저장하는 간단한 서비스이지만 어떻게 구현되어있는지를 보면 많은 이야기를 할 수 있는 서비스죠. 우선 S3 AWS의 가장 대표적인 서비스로 Object Stroage 입니다. Object Storage는 하나의 객체가 key 값과 같은 메타데이터를 갖고 있는 형태의 데이터 입니다. 실제로 s3 버킷안에 폴더가 존재합니다만 사실 구조화된 파일 스토리지와 달리 단지 파일의 경로가 key가 되며이 객체는 key 정보를 메타데이터로 갖고 있게 되죠. 때문에 각 객체에는 key와 같은 고유의 식별자가 있어서 분산된 시스템 내 어디에 저장되어 있든지 상관없이 데이터를 빠르고 쉽게 찾을 수 있습니다. 이와 같은 이유로 S3는 빅데이터 분석을 위한 대량의 데이터를 저장하는 da..

    IT/AWS

    [IAM policy] s3 download 차단 정책 설정 하기

    Intro AWS를 운영하다보면 다양한 유저에 대한 권한을 제어 해야할때가 있다. 그 중 AWS 콘솔을 사용해서 무언가 하려고 할때 그 동작에 대한 권한을 IAM 정책으로 제어할 수 있다. AWS콘솔에서 클릭하는 행위 하나하나가 모두 AWS리소스에대한 API 호출이며 IAM 정책은 어떤 행위(Action)를 어떤 자원(Resource)에 할것인지 대해 API레벨에서 제한을 할 수 있기 때문이다. 그 중 오늘은 AWS콘솔을 통해서 S3 다운로드를 차단 하는 정책을 알아 보도록 하겠다. s3 download deny 정책 { "Version": "2012-10-17", "Statement": [ { "Sid": "DenyDownload", "Effect": "Deny", "Action": "s3:GetObj..

    IT/DevOps

    Gradle빌드 설정파일 설명 (build.gradle / settings.gradle / gradle.properties)

    gradle 빌드 프로젝트 디렉터리 ├──build.gradle └──gradle └──wrapper ├──radle-wrapper.jar └──gradle-wrapper.properties ├──gradlew ├──gradlew.bat ├──settings.gradle └──src └── main └── java └── App.java └──test └── java └── AppTest.javabuild.gradle build.gradle 파일은 프로젝트의 빌드 스크립트를 정의하는 곳입니다. 여기에서 프로젝트의 의존성, 플러그인, 태스크, 그리고 빌드 설정 등을 정의합니다. 프로젝트의 빌드 시퀀스를 정의하고 어떻게 컴파일하고 패키징할지를 명시합니다. groovyCopy code plugins { id ..

티스토리툴바