Giai phap CEPH, giải pháp lưu trữ CEPH nguồn mở là gì?

Giai phap CEPH và những ứng dụng lúc bấy giờ

CEPH là gì?

CEPH là một nền tảng ứng dụng cho mạng lưới hệ thống tàng trữ không lấy phí ( không lấy phí software storage platform ), là một giải pháp mã nguồn mở được cho phép kiến thiết xây dựng hạ tầng tàng trữ tài liệu phân tán, không thay đổi, độ an toàn và đáng tin cậy và hiệu năng cao, thuận tiện lan rộng ra trong tương lai .
Với mạng lưới hệ thống tàng trữ được tinh chỉnh và điều khiển bằng ứng dụng ( software defined ), Ceph phân phối giải pháp tàng trữ theo đối tượng người dùng ( Object ), khối ( Block ) và tệp tài liệu ( File ) trong cùng một nền tảng. Ceph chạy trên nền tảng điện toán đám mây, tương hỗ phong phú những loại nền tảng phần cứng mới nhất, thuận tiện sử dụng với nhân Linux và tối ưu ngân sách tiến hành .

CEPH được sử dụng để thay thế việc lưu trữ dữ liệu trên các máy chủ, sao lưu dữ liệu, tạo ra một khu vực lưu trữ dữ liệu an toàn, cho phép triển khai các dịch vụ HA (high availability).

Các loại hình lưu trữ của CEPH

Ceph được sử dụng với những mục tiêu tàng trữ khác nhau dưới nhiều hình thức như Ceph Object Storage, Ceph Block Storage – 2 hình thức tàng trữ này thường thấy trong những nền tảng điện toán đám mây ( ví dụ OpenStack ) và Ceph FileSystem .

Ceph Object Storage (Hệ thống lưu trữ đối tượng của Ceph)

Ceph phân phối năng lực truy vấn liên tục tới những Object bằng cách sử dụng ngôn từ địa phương : binding hoặc radosgw, giao diện REST thích hợp với những ứng dụng được viết cho S3 và Swift .
Thư viện ứng dụng của Ceph cung ứng những ứng dụng cho người mua với năng lực truy vấn trực tiếp tới mạng lưới hệ thống tàng trữ dựa trên RADOS Object và phân phối một nền tảng cho 1 số ít tính năng hạng sang của Ceph, gồm có RADOS Block Device ( RBD ), RADOS Gateway và Ceph File System .

Ceph Block Storage (Hệ thống lưu trữ khối dữ liệu của Ceph)

RADOS Block Device ( RBD ) cung ứng truy vấn tới trạng thái “ block device images ”, được đồng điệu hóa và sao chép trên hàng loạt storage cluster .
Hệ thống tàng trữ Object của Ceph không số lượng giới hạn native binding hoặc RESTful APIs. Người dùng hoàn toàn có thể mount Ceph như một lớp đáp ứng mỏng mảnh Block Device. Khi người dùng viết tài liệu trên Ceph bằng cách sử dụng Block Device, Ceph tự động hóa đồng điệu và tạo bản sao tài liệu trên Cluster, RADOS Block Device ( RBD ) của Ceph cũng tích hợp với Kernel Virtual Machine ( KVM ), mang lại việc tàng trữ ảo hóa không số lượng giới hạn tới KVM chạy trên Ceph client của người dùng .

Ceph File System (Hệ thống lưu trữ file dữ liệu của Ceph)

Ceph phân phối một POSIX-compliant network file system, nhằm mục đích mang lại hiệu suất cao, tàng trữ tài liệu lớn và thích hợp tối đa với những ứng dụng hiện tại .
Object storage system của Ceph cung ứng 1 số ít tính năng tiêu biểu vượt trội hơn so với nhiều mạng lưới hệ thống tàng trữ Object lúc bấy giờ : Ceph cung ứng giao diện File System truyền thống cuội nguồn với POSIX. Object storage system là một nâng cấp cải tiến đáng kể, nhưng chúng vẫn còn phải thực thi nhiều hơn so với những File System truyền thống cuội nguồn .

Khi các yêu cầu về lưu trữ tăng lên cho các ứng dụng hiện tại, tổ chức cỏ thể cấu hình các ứng dụng hiện tại để sử dụng Ceph File System. Có nghĩa là người dùng có thể chạy một Storage Cluster cho Object, Block và lưu trữ dữ liệu dựa trên File.

Các thành phần khi triển khai CEPH

Điểm chung trong việc tiến hành Ceph đều khởi đầu từ việc thiết kế xây dựng những Ceph node, liên kết mạng lưới hệ thống mạng và thiết kế xây dựng cụm tàng trữ Ceph Storage Cluster. Một Ceph storage cluster cần tối thiểu 1 Ceph Monitor và 2 Ceph OSD Daemons. Ngoài ra, Ceph metadata server chỉ thiết yếu khi trong mạng lưới hệ thống có Ceph Filesystem clients .

Ceph OSDs: 

Ceph OSD daemon ( Ceph OSD ) tàng trữ data, giải quyết và xử lý việc đồng điệu tài liệu, recovery, rebalancing và phân phối thông tin tương quan đến monitoring đến cho Ceph monitoring bằng cách kiểm tra những Ceph OSD daemons khác trải qua heartbeat. Một ceph storage cluster cần tối thiểu 2 ceph OSD daemons để hướng tới trạng thái active + clean, lúc này mạng lưới hệ thống sẽ có 02 bản copy của data ( default của Ceph là 3 bản ) .

Monitors: 

ceph monitor sẽ theo dõi trạng thái của cluster, gồm có việc theo dõi những monitor map, OSD map, placement group ( PG ) map, và CRUSH map. Ceph lưu thông tin lịch sử dân tộc ( trong ceph gọi là “ epoch ” của mỗi trạng thái đổi khác của Ceph Monitors, Ceph OSD Daemons, và PGs .

MDSs: 

một Ceph Metadata Server ( MDS ) tàng trữ thông tin về metadata của mạng lưới hệ thống Ceph FileSystem ( ceph block device và object storage không sử dụng MDS ) .
Ceph tàng trữ tài liệu của client dưới dạng những objects trong những pool tàng trữ. Ceph sử dụng thuật toán CRUSH, trong đó Ceph sẽ đo lường và thống kê placement group nào sẽ tàng trữ object, và giám sát Ceph OSD Daemon nào sẽ tàng trữ placement group. CRUSH algorithm được cho phép Ceph Storage cluster năng lực lan rộng ra, tự cân đối ( rebalance ), và recovery tự động hóa .

Phần cứng

Ceph được phong cách thiết kế để chạy trên những nền tảng phần cứng thường thì, với quan điểm phong cách thiết kế những mạng lưới hệ thống tàng trữ – lan rộng ra đến hàng petabyte nhưng với ngân sách rẻ, hài hòa và hợp lý. Khi thiết kế xây dựng mạng lưới hệ thống Ceph, cần quan tâm khuyến nghị thiết kế xây dựng một mạng lưới hệ thống Ceph riêng, chỉ Giao hàng cho yếu tố tàng trữ, để cung ứng dịch vụ tàng trữ cho những mạng lưới hệ thống khác sử dụng .

CPU

Ceph MDS cần nhiều CPU hơn những thành phần khác trong mạng lưới hệ thống, khuyến nghị sử dụng quad core hoặc CPU tốt hơn. Ceph OSDs chạy RADOS service, thống kê giám sát data placement với thuật toán CRUSH, đồng điệu tài liệu, và duy trì bản copy của cluster map. Vì vậy, OSDs cũng cần 1 lượng CPU nhất định, khuyến nghị sử dụng dual core processors. Monitor hoạt động giải trí không cần nhiều CPU. Cần quan tâm trong trường hợp sever chạy dịch vụ thống kê giám sát trên những OSD, ví dụ quy mô hoạt động giải trí của OpenStack – phối hợp giữa compute node và storage node, cần thiết kế CPU để bảo vệ đủ năng lượng dành riêng cho Ceph daemons. Khuyến cáo nên tách riêng những tính năng để bảo vệ hoạt động giải trí .

RAM

Metadata servers và monitors hoạt động liên tục để phục vụ cho dữ liệu, vì vậy cần số lượng RAM kha khá, thông thường 1Gb RAM cho mỗi instance daemon. OSD không cần nhiều RAM cho các hoạt động của nó, thông thường vào khoảng 500Mb cho mỗi instance daemon. Tuy nhiên, trong quá trình recovery sẽ cần nhiều RAM, thường 1Gb cho mỗi 1Tb lưu trữ trên mỗi daemon. Nhìn chung, càng nhiều RAM càng tốt, nhất là khi RAM là tài nguyên rẻ nhất hiện nay đối với máy tính, máy chủ.

Data Storage

Đây là yếu tố quan trọng nhất, cần xem xét thật kỹ giữa yếu tố ngân sách và năng lượng mạng lưới hệ thống .

HDD: 

OSDs cần nhiều đĩa cho việc lưu trữ data. Khuyến cáo sử dụng các đĩa cứng từ 1Tb trở lên. Cần quan tâm đến cách tính chi phí cho mỗi 1Gb lưu trữ. Ví dụ xài các đĩa cứng 1Tb ($75) thì chi phí ra sao ($0.07/1Gb) so với xài 1 đĩa cứng 3Tb ($150) thì chi phí như thế nào ($0.05/1Gb). Tuy nhiên, cần lưu ý khi dung lượng lưu trữ lớn, Ceph OSD Daemon cần thêm RAM, đặc biệt trong quá trình rebalancing, backfilling, và recovery. Khuyến cáo: 1Gb RAM cho 1 Tb không gian lưu trữ.

Các điểm quan trọng cần lưu ý khi triển khai đó là cần tách biệt các disk cho HĐH (OS) với các Ceph OSD Daemon, tránh việc chạy chung nhiều Ceph OSD daemon trên 1 disk, cũng như tránh chạy Ceph OSD trên MDS hay monitoring trên cùng 1 disk. Ngoài ra, OS, OSD Data, và OSD Journals nên được đặt trên các disk khác nhau, trong đó Journals sử dụng các đĩa cứng SSD để tăng tốc độ truy xuất dữ liệu cho các node lưu trữ OSD.

Việc thiết kế, sử dụng các đĩa cứng trong hệ thống CEPH thực tế như thế nào tùy thuộc vào nhu cầu của từng hệ thống, tôi sẽ đưa ra cũng như phân tích 1 số case-study thực tế của việc sử dụng các tài nguyên cho hệ thống CEPH ở các series bài viết sau.

Giai phap luu tru CEPH

Source: kubet
Category: Tải Phầm Mềm