AWS에서 온프레미스 Storage와 연동하는 Storage Gateway에 대해 먼저 알아보도록 하겠습니다.
Storage Gateway의 경우에는 아래와 같은 아키텍처와 서비스들을 가지고 사용된다고 보시면 됩니다.
기능은 크게 3가지로 나뉘며, 아래와 같습니다.
EC2, VMware, Hyper-V 가상머신에 Storage gateway를 위해서 on-premise에 software appliance를 설치해야 하는데
이를 설치하기 위해 VMware ESXi Hypervisor 또는 Microsoft Hyper-V에 설치 가능하다.
또는 AWS EC2에 설치해서 storage gateway로 활용할 수도 있다.
* 여기서 Tape에 대한 부분이 생소하여 찾아보니 다음과 같았습니다. 참고하시면 좋을 것 같습니다.
가상 테이프 라이브러리(VTL, Virtual Tape Library)란 데이터의 백업 및 복구를 위해 가상화 기술을 이용함으로써
디스크를 마치 테이프처럼 인식하여 데이터를 저장하는 시스템입니다.
파일 단위로 데이터를 복구할 수 있고, 보유한 서버 수만큼 디스크를 분할해 테이프 라이브러리처럼 사용할 수 있어
데이터 복구 및 백업 속도가 테이프보다 빠른 것이 특징입니다.
온프레미스의 데이터를 클라우드 상으로 안전하게 옮기기 위한 방법으로는
AWS SFTP, DataSync, Snowball, Snowball Egde, Snow Mobile이 있습니다.
AWS SFTP의 일반 사용 사례는 다음과 같습니다.
- 공급업체와 제휴사 같은 타사가 제공하는, AWS의 업로드용 데이터 레이크
- 고객과의 구독 기반 데이터 배포
- 조직 내의 내부 전송
AWS SFTP를 이용하면, 서버 인프라를 실행하지 않고도 AWS의 SFTP 서버에 액세스할 수 있습니다.
최종 사용자의 클라이언트와 구성을 바꾸지 않고도 SFTP 기반 워크플로우를 AWS로 마이그레이션할 수 있습니다.
먼저 호스트 이름을 SFTP 서버 엔드포인트에 연결한 다음, 사용자를 추가하고 액세스하면 됩니다.
작업이 끝나면, 사용자의 전송 요청은 AWS SFTP 서버 엔드포인트에서 바로 처리됩니다.
AWS SFTP의 이점은 다음과 같습니다.
- 사용자의 필요에 맞게 실시간으로 확장되는 종합 관리형 서비스입니다.
- 애플리케이션을 수정하거나 SFTP 인프라를 실행하지 않아도 됩니다.
- 데이터가 내구성이 뛰어난 Amazon S3 스토리지에 있기 때문에
처리, 분석, 보고, 감사, 보관 기능에 기본 AWS 서비스를 이용할 수 있습니다. - 선결제 비용이 없으며, 서비스를 사용한 만큼만 지불하면 됩니다.
DataSync는 인터넷 또는 AWS Direct Connect을 통해 데이터를 복사합니다.
DataSync는 NFS(Network File System)와 Amazon Elastic File System(Amazon EFS)
또는 Amazon Simple Storage Service(Amazon S3) 간에 데이터 전송을 지원합니다.
또한 SMB(Server Message Block)와 Amazon EFS, Amazon S3, 또는
Amazon FSx for Windows File Server 간에 데이터 전송을 지원합니다.
AWS DataSync의 일반 사용 사례는 다음과 같습니다.
- 데이터 마이그레이션 – 네트워크를 통해 활성 데이터 세트를 Amazon S3, Amazon EFS 또는 Amazon FSx for Windows File Server로 신속하게 이동합니다. DataSync는 데이터를 손상 없이 안전하게 전송하여 즉시 사용할 수 있도록 자동 암호화 및 데이터 무결성 검증을 포함합니다.
- 클라우드 내 적시 처리를 위한 데이터 이동 – 데이터를 온프레미스로 생성하는 시스템에서 작업할 때 데이터 처리를 위해 AWS 내부 또는 외부로 데이터를 이동합니다. 이러한 접근 방법은 많은 산업 분야에서 중요한 하이브리드 클라우드 워크플로우를 가속화할 수 있습니다. 이러한 워크플로우는 미디어 및 엔터테인먼트 비디오 제작, 석유 및 가스 분야의 지진 연구, 생명 과학 분야의 기계 학습 및 재무 분야의 빅 데이터 분석을 포함합니다.
- 데이터 아카이빙 – 데이터를 값비싼 온프레미스 스토리지 시스템에서 Amazon S3 Glacier 또는 S3 Glacier Deep Archive와 같은 내구성 있고 안전한 장기 스토리지로 바로 이동합니다. 이렇게 하면 온프레미스 스토리지 용량을 확보하고 레거시 스토리지 시스템을 종료할 수 있습니다.
- 데이터 보호 – 데이터를 모든 Amazon S3 스토리지 클래스로 이동하고 필요에 따라 가장 경제적인 스토리지 클래스를 선택합니다. 대기 파일 시스템을 위해 Amazon EFS 또는 Amazon FSx for Windows File Server로 데이터를 전송할 수도 있습니다.
AWS DataSync의 이점은 다음과 같습니다.
- DataSync를 사용하면 네트워크를 통해 온프레미스 소스와 AWS 스토리지 간에 데이터를 쉽게 전송할 수 있습니다. AWS DataSync는 사용자를 대신해 인프라 관리 및 전송 프로세스를 자동으로 수행합니다.
또한 DataSync에는 암호화 및 데이터 유효성 검사도 포함됩니다. - 최대 10 Gbps의 속도로 네트워크를 통해 데이터를 AWS로 신속하게 전송합니다.
- DataSync에서 기가바이트 단위의 정액 요금으로 데이터 전송 비용을 줄일 수 있습니다.
고속 인터넷 연결이 없는 경우, 대용량 데이터를 전송하는 데 몇 개월이 걸릴 수 있습니다.
예를 들어, 전용 100Mbps 연결을 통해 100테라바이트의 데이터를 전송하는 경우 100일 이상이 소요됩니다.
2개의 Snowball 디바이스를 사용하면 같은 양의 데이터를 배송 시간을 제외하고 일주일도 채 걸리지 않는 시간에 전송할 수 있습니다.
또한 고속 인터넷을 사용하면 100테라바이트의 데이터를 전송하는 데 수천 달러가 소요될 수 있습니다.
2개의 Snowball 디바이스를 사용하면 같은 100테라바이트의 데이터를 인터넷 대비 1/5의 비용으로 전송할 수 있습니다.
그러나 더 많은 데이터의 양을 옮겨야 할 경우
최대 100PB의 데이터를 실을 수 있는 전용 트럭을 통해 몇 주 안에 엑사 바이트 데이터를 AWS로 이전할 수 있습니다.
금융 서비스, 미디어 및 엔터테인먼트, 과학 및 기타 산업에서 고객의 요구를 충족 시키도록 설계된
Snowmobile은 네트워크에 연결되어 로컬 NFS 마운트 볼륨으로 보이게 됩니다.
기존 백업 및 아카이브 도구를 사용하여 S3 또는 Glacier에 데이터를 채울 수 있습니다
'AWS Intro > AWS Storage Intro' 카테고리의 다른 글
| AWS Storage Intro - S3 (Object Storage) (0) | 2020.03.06 |
|---|---|
| AWS Storage Intro - EFS / FSx (File Storage) (0) | 2020.03.06 |
| AWS Storage Intro - EBS (Block Storage) (0) | 2020.03.03 |
| AWS Storage Intro - Block, File, Object Storage 개요 (0) | 2020.03.03 |
