블로스토리지 활용한 BeeGFS 솔루션 설정

블로스토리지 활용한 BeeGFS 솔루션 설정에 대해서 알아봅시다.

BeeGFS란?

BeeGFS (Bee Global File System)는 고성능, 확장 가능한 클러스터 파일 시스템으로, 주로 대규모 데이터 저장 및 관리가 필요한 고성능 컴퓨팅 (HPC) 환경에서 사용됩니다. BeeGFS는 독일의 Fraunhofer ITWM (Fraunhofer Institute for Industrial Mathematics)에서 개발되었으며, 다음과 같은 특징을 가집니다:

• 고성능: BeeGFS는 대용량 데이터의 빠른 처리를 위해 설계되었습니다. 이를 위해 병렬 데이터 처리와 파일 시스템 작업 최적화를 제공합니다.
• 확장성: 시스템은 수천 개의 서버와 클라이언트 노드로 확장 가능하며, 이를 통해 파일 시스템의 용량과 성능을 동시에 증가시킬 수 있습니다.
• 유연한 배치: BeeGFS는 메타데이터 서버와 스토리지 서버를 별도로 구성할 수 있어, 사용자의 요구 사항에 맞게 시스템을 맞춤 설정할 수 있습니다.
• 사용 편의성: 사용자 친화적인 설치 및 관리 도구를 제공하며, POSIX 호환성을 가지고 있어 다양한 애플리케이션과 호환됩니다.
• 투명한 액세스: 클라이언트 노드는 네트워크를 통해 BeeGFS에 연결되며, 사용자에게는 로컬 파일 시스템처럼 보이고 작동합니다.
• 파일 시스템 스트라이핑: BeeGFS는 파일 또는 디렉토리 수준에서 스트라이핑을 설정할 수 있어, 파일을 여러 스토리지 노드에 분산시켜 저장 및 접근 속도를 향상시킬 수 있습니다.

BeeGFS는 주로 과학 연구, 시뮬레이션, 빅데이터 분석 등 데이터 집약적인 작업에 널리 사용되며, 클러스터 환경에서의 데이터 관리와 처리를 위한 효율적인 솔루션으로 사용됩니다.

본 블로그에서는 BeeGFS를 활용하여 OCI 환경에서 구성 할 수 있는 방법에 대해서 설명하고자 합니다.

** 참고로 저희 마켓플레이스를 통해서 BeeGFS 배포도 가능합니다. **

BeeGFS 서버 구성

• Management Server (one node) : 구성 및 그룹 멤버십 관리
• Metadata Server (at least one node) : 스토리지 서버에 디렉토리 정보를 저장하고 파일 공간을 할당합니다.
• Storage Server (at least one node) : 스토리지내 파일 저장
• Client : 스토리지 서버에 접속 하기 위한 클라이어트
• Monitoring Admon : 모니터링을 위한 Admin 어플리케이션

BeeGFS 구성 방법

이번 구성에서는 Resource Manager 통해서 tf 파일을 통해서 리소스 배포 후 각 서버에 BeeGFS 프로그램을 실행하도록 합니다.

Resource Manager 통해서 첨부된 tf 파일을 배포합니다.

참고

• https://docs.oracle.com/en-us/iaas/tools/oci-cli/3.37.6/oci_cli_docs/cmdref/usage-api/usage-summary/request-summarized-usages.html

Dialogue & Discussion