안녕하세요 ! 요즘 바빠서 오랜만에 들어와서 문의를 남깁니다.
현존하는 장비에서 스토리지 저장 및 업/다운로드 속도가 가장 빠르고 보장되는 장비가 있을까요?
SAN 아니면 HCI 구성일 듯 한데, HCI로 단일 플랫폼을 사용하면 좋긴 하겠지만 스토리지가 주목적이라
적합하지 않은 것 같아서요 !
예시는 아래 작성해봤습니다.
1.A지사 <-> B지사 업/다운로드 대칭형 기업 전용회선 5G 구축된 상태
2.A지사에 데이터를 B지사에서 다운로드한다고 가정, 100TB 수준
3.일반 NAS는 속도에 한계가 있어서 전송속도가 높은 장비를 검토
위와 같이 가정할 때 대용량 데이터는 전송하는 데 적합한 스토리지가 있을까요?
10개의 답변이 있습니다.
스토리지가 주전공은 아니지만 몇 자 추가로 남겨봅니다.
스토리지의 읽고 쓰는 속도는 플래쉬 > SSD > HDD 순입니다.
여기에 RAID 구성을 어떻게 하느냐도 영향을 줍니다만
어느정도 규모가 되면 RAID는 거의 비슷하니까 의미 없고요.
스토리지와 외부 (서버, 백업...) 전송속도는 네트웍 구성에 따라갑니다.
정확한 구분은 아니지만 대략 이런 식입니다.
QSFP, 인피니밴드 (40G, 80G) > FC SAN (8G, 16G) > 이더넷 (1G, 10G)
스토리지 자체의 읽고 쓰는 속도가 중요하다면 디스크를 높여야 하고
전송 속도가 중요하다면 인터페이스를 높여야합니다.
어차피 서버와 데이터 주고받을때는 양쪽 다 영향을 줍니다만
TB급의 대용량 데이터 전송할때는 인터페이스에서 병목이 걸립니다.
그럼 무조건 높은게 좋은거 아니냐 할 수도 있는데
인피니밴드를 쓰려면 스토리지가 인피니밴드를 지원해야 하고
서버에도 인피니밴드 카드, 스위치도 인피니밴드 스위치 써야하고
심지어 케이블도 인피니밴드 케이블씁니다.
(뭐.. 이건 FC SAN 구축할때도 마찬가지입니다만... )
즉 기존 인프라랑 전혀 호환이 안됩니다. 그리고 비쌉니다.
보통 성능이 2배 오르면 가격은 10배 오릅니다.
업무요건을 상세하게 분석해서
나에게 꼭 필요한 성능이 어디까지인지 확인해보는게 좋을 듯 합니다.
TB급 데이터는 다룰때 많은 검토가 필요합니다.
백업도 받기 힘들고, 한번 옮길때마다 며칠씩 걸리고
GB급 데이터 다룰 때는 전혀 문제되지 않던 것들이 문제가 됩니다.
고성능 스토리지는 현재 각 벤더사 업체에서 나온게 최신 아닐지요?
내부/외부 구성이 어떻게 서비스 하느냐도 고려해야 되겠죠
EMC/ Hitachi/ HCI 등 POC를 진행 해보는게 맞는것 같아요
각 회사마다 환경이 다 다르니까요
내용에 답변과는 먼 대답이지만..
새삼 샌 써보고 싶네요.. 부럽...
비용 지원이 잘 되는 좋은 회사에 계시군요..
대용량 데이터를 빠른 속도와 안정성으로 전송하려면 SAN 또는 HCI 구성이 적합한 옵션이 될 수 있습니다. 그러나 올바른 솔루션을 선택할 때는 성능, 확장성, 중복성, 비용 등 다양한 요소를 고려하는 것이 중요합니다. 아래 내용 참고하세요.
- 고성능 NAS: 기존 NAS 장치에는 속도 제한이 있을 수 있지만 일부 특수 NAS 솔루션은 SSD 캐싱, 멀티 기가비트 이더넷, 더 빠른 데이터 액세스를 위한 최적화된 파일 시스템과 같은 고성능 기능을 제공합니다. 이러한 NAS 솔루션은 대용량 데이터 전송을 효율적으로 처리하도록 설계되었으며 문의내용에 적합할 수 있습니다.
- 고성능 스토리지를 갖춘 HCI: 하이퍼 컨버지드 인프라(HCI) 플랫폼은 컴퓨팅, 스토리지 및 네트워킹 리소스를 단일 통합 시스템으로 결합합니다. 일부 HCI 솔루션은 올플래시 스토리지 또는 NVMe 드라이브와 같은 고성능 스토리지 옵션을 제공하여 까다로운 워크로드에 빠르고 안정적인 스토리지를 제공합니다. 그러나 스토리지가 주요 관심사이고 HCI와 함께 번들로 제공되는 컴퓨팅 리소스가 필요하지 않은 경우 HCI가 가장 적합하지 않을 수 있습니다.
- 파이버 채널 SAN: 대용량 데이터 전송을 위해 높은 처리량과 낮은 대기 시간을 제공할 수 있는 전용 스토리지 네트워킹을 제공합니다. FC SAN은 고성능과 안정성이 요구되는 미션 크리티컬 애플리케이션을 위한 기업 환경에서 자주 사용됩니다.
- NVMe-oF(NVMe over Fabrics): NVMe-oF는 네트워크 패브릭을 통해 고성능 NVMe 프로토콜을 확장하여 로컬에 가까운 속도로 스토리지 장치에 원격으로 액세스할 수 있도록 합니다. 고성능 컴퓨팅 및 데이터 집약적인 워크로드에 적합합니다.
어떻게
구성하든 네트워크
대역폭 때문에.. 올 플래시 구성하시면 최고죠^^. 비용이 ㅠㅠ
현시점에서 업로드 다운로드 속도가 가장 안정적인 스토리지라면 올플래시 SAN 스토리지가 아닐까 싶네요.
광케이블 성능이 높은 SAN일수록 빠른 성능을 내어주는게 당연하겠고요.
위 구성에서는 어떤 스토리지를 도입하시더라도 중간의 네트워크 지점의 속도가 제한이
있기 때문에 거기에서 병목이 발생할 수 밖에 없습니다.
요즘 스토리지 성능이 많이 좋아져서 스토리지 자체의 병목 보다는 네트워크 구간에서의 병목이
발생할 것으로 생각되네요.
현재 NVMe 계열의 스토리지가 가장 빠른 스토리지도 보시면 됩니다.
IBM flashsystem 시리즈, DellEMC PowerMax 시리즈, PureStorage X 시리즈 등
서로 자기가 가장 좋다고 하는데, 차이가 크진 않은것 같습니다.
스토리지 SAN Gbic이 최대 32G까지 지원되는 것으로 압니다.
스토리지 32G 지원된다고 하더라도 전용회선 5G 계약하면 SAN 32G는 의미가 없어지죠.
A-B 지사간 약 100TB의 데이터 다운로드 일회성인지 아니면 지속적으로 발생하는지?
그리고 데이터 변동이 많은지에 따라 전용회선 5G로 가능할 수도 어려울수도 있습니다.
저정도의 데이터라면 전용 광라인을 포설해야 제대로 속도 나올겁니다.
최초 한번만 그렇다면 A지사 스토리지와 B지사 스토리지를 한곳에서 복제해서
이동하면 변동량이 적어서 좀 쉽게 복제는 될겁니다.
A-B지사간 거리면 방화벽에 터널링 구성을 하면 병목구간은 크게 없을듯합니다.
A - B 지사간 거리가 있다면
뭔 짓을 해도 네트웍구간에서 병목이 걸릴 겁니다.
스토리지는 뭘 쓰던지 네트웍보다는 빠를 거구요.
결론은 B지사에 복제본을 두는게 제일 낫습니다.
스토리지 문의에 엉뚱한 답변이네요. ^^
inside07 | 10일 전
잘 이해가 안가서 그러는데 복제본을 두는 게 의미가 있나요???
B지사에 복사본을 둔다는 것 자체가 A 지사에 데이터를 B지사에서 직접 접근하느냐
복사해서 접근하냐 차이인데 그러면 똑같은 거 아닌가요.??
놀고싶음 | 8일 전
복제본을 두고 변경사항에 대해서만 동기화를 한다는 의미입니다.
일반적으로 100TB의 데이터가 매일 새롭게 갱신되는건 아닐 테니까요.
매일 100TB의 데이터가 새로 발생하는 거라면
헬기태워서 보내는게 더 빠를 겁니다.
WAN환경에서 보통 하루에 10TB이상 보내기 힘듭니다.
그나마 일반 파일 데이터일때 이야기고
100TB가 DB Data라면 답이 없는 상황입니다.
DB전문 파트너 컨설팅 받아야 합니다.