전체 글
[AWS] Instance scheduler 에서 적용할 일정 등록하기 (scheduler-cli 사용)
Intro Instance scheduler는 AWS에서 제공해주는 cloudformation기반 솔루션 입니다. 자세한 내용은 링크에서 확인해주시기 바랍니다. Instance scheduler 를 구축하면 dynamodb 테이블에 원하는 스케줄 아이템을 등록해야 하는데요. AWS console에서 클릭클릭 없이 cli 기반으로 스케줄을 생성할 수 있습니다. 이것이 바로 오늘 소개해드릴 scheduler-cli 입니다. scheduler-cli란? aws에서 Instance scheduler를 만들때 쉽게 명령어 기반으로 일정을 등록할 수 있도록 만들어준 인터페이스 솔루션입니다. AWS 콘솔에서 dynamodb 테이블의 아이템을 만들때, period타입의 아이템을 만들고 schedule 타입의 아이템을 ..
[Ansible] Host key verification failed 에러 해결 하기
에러 내용 UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: Host key verification failed.", "unreachable": true}해결 방법1 ssh-keygen -R hostname(서버의 private IP)해결 방법2 /etc/ansible/ansible.cfg 에 아래 설정 추가 [defaults] host_key_checking = False해결 방법3 rm -rf ~/.ssh/known_hosts
![[AWS] S3 버킷 버저닝(Versioning) 과 삭제마커(Delete Maker)](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FWKfIj%2FbtsDpv1pBvp%2FThXoUfnvutvnijEhLJZxJk%2Fimg.png)
[AWS] S3 버킷 버저닝(Versioning) 과 삭제마커(Delete Maker)
S3 객체 버저닝(Versioning)이란? S3 객체 버전 관리를 사용하면 객체의 여러 버전을 유지할 수 있습니다. 객체를 변경하면 S3는 새 버전을 생성하고 이를 저장하므로 필요한 경우 이전 버전으로 되돌릴 수 있습니다. AWS S3 삭제 마커(Delete Maker)란 ? 삭제 마커는 버전 관리가 활성화된 S3 버킷의 기능입니다. 버전 관리가 활성화된 버킷에서 객체를 삭제해도 해당 객체는 영구적으로 삭제되지 않습니다. 대신 AWS는 객체에 대한 자리 표시자(또는 마커)를 생성합니다. 이 마커를 삭제 마커라고 합니다. 이 마커는 개체의 현재 버전이 됩니다. 삭제 마커는 AWS S3가 마치 객체가 삭제된 것처럼 동작하도록 만듭니다. 아래 그림과 같이 버저닝이 활성화 된경우 DELETE를 할때 지정된 객..
![[gitlab] 웹훅 연결시 "Url is blocked: Requests to the local network are not allowed" 오류 해결 방법](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbtYIPK%2FbtsDmUnzc2g%2FnoUMfCfYPHR7B5krHEk8EK%2Fimg.png)
[gitlab] 웹훅 연결시 "Url is blocked: Requests to the local network are not allowed" 오류 해결 방법
intro gitlab에서 프로젝트를 만들고 웹훅을 등록하는 데 아래와 같은 에러메시지가 발생하였다. Url is blocked: Requests to the local network are not allowed 원인 GitLab 서버에서 http://localhost:123/some-resource/delete. 와 같은 이러한 유형의 악용이 발생하는 것을 방지하기 위해 GitLab 10.6부터 현재 GitLab 인스턴스 서버 주소 및/또는 개인 네트워크에 대한 모든 Webhook 요청은 기본적으로 금지 했다고 한다. 그래서 gitlab에서 웹훅을 사용하려면 outbound허용에설정을 해야하는데 해당 설정을 하지 않아서 발생한 이슈이다. 해결 방법 가장 중요한 부분인데 root 계정으로 로그인을 해야한..
![[AWS] S3 멀티 파트 업로드란?](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FccozHM%2FbtsDjWyRYVs%2F9gou5qsykrjJLtzJKKMCWK%2Fimg.png)
[AWS] S3 멀티 파트 업로드란?
멀티파트 업로드란? Amazon S3에 업로드를 할 때 단일 객체를 S여러 부분으로 나누어 업로드하여 처리량 향상 및 네트워크 문제의 빠른 복구와 같은 이점을 얻을 수 있는 업로드 방법을 말합니다. s3에 업로드할 수 있는 객체의 최대 크기는 5G입니다. S3에 업로드를 할 때 일반적으로 객체 크기가 100MB에 도달하면 단일 작업으로 객체를 업로드하는 대신 멀티파트 업로드 사용을 고려해야 하는데요 멀티파트 업로드를 이용하면 최대 5TB의 객체를 업로드할 수 있고, 큰 객체를 여러 조각으로 나누어 병렬 처리하기 때문에 빠르게 업로드할 수 있습니다. 객체를 나누어 업로드하기 때문에 일부분만 업로드된 경우에는 객체가 S3에 표시되지 않을 수 있습니다. 이것을 불완전한 멀티파트라고 합니다. 이 불완전한 멀티파..
![[AWS] s3 버킷에 Object를 완전히 삭제하는 3가지 방법](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbuILDx%2FbtsC9kUnnMQ%2F8wDws64eZkmcGjBuKFl95K%2Fimg.png)
[AWS] s3 버킷에 Object를 완전히 삭제하는 3가지 방법
Intro S3를 보면 클라우드상에 파일을 저장하는 간단한 서비스이지만 어떻게 구현되어있는지를 보면 많은 이야기를 할 수 있는 서비스죠. 우선 S3 AWS의 가장 대표적인 서비스로 Object Stroage 입니다. Object Storage는 하나의 객체가 key 값과 같은 메타데이터를 갖고 있는 형태의 데이터 입니다. 실제로 s3 버킷안에 폴더가 존재합니다만 사실 구조화된 파일 스토리지와 달리 단지 파일의 경로가 key가 되며이 객체는 key 정보를 메타데이터로 갖고 있게 되죠. 때문에 각 객체에는 key와 같은 고유의 식별자가 있어서 분산된 시스템 내 어디에 저장되어 있든지 상관없이 데이터를 빠르고 쉽게 찾을 수 있습니다. 이와 같은 이유로 S3는 빅데이터 분석을 위한 대량의 데이터를 저장하는 da..