minio分布式存储 minio分布式存储缺点

您好,今天乐乐来为大家解答以上的问题。minio分布式存储相信很多小伙伴还不知道,现在让我们一起来看看吧！

minio分布式存储 minio分布式存储缺点

minio分布式存储 minio分布式存储缺点

1、单主机单硬盘模式Minio 是一个基于Apache Lnse v2.0开源协议的对象存储服务。

2、它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到5T不等。

3、校验和Minio是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQL。

4、单主机多硬盘模式多主机多硬盘分布式Minio使用纠删码erasure code和校验和checksum。

5、 即便丢失一半数量（N/2）的硬盘，仍然可以恢复数据。

6、纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。

7、Erasure Code是一种编码技术，它可以将n份原始数据，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。

8、即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

9、Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。

10、 这就意味着如果是12块盘，一个对象会被分成6个数据块、6个奇偶校验块，可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），仍可以从剩下的盘中的数据进行恢复。

11、RS code编码数据恢复原理RS编码以word为编码和解码单位，大的数据块拆分到字长为w（取值一般为8或者16位）的word，然后对word进行编解码。

12、 数据块的编码原理与word编码原理相同，后文中以word为例说明，变量Di, Ci将代表一个word。

13、把输入数据视为向量D=(D1，D2，..., Dn）, 编码后数据视为向量（D1, D2,..., Dn, C1, C2,.., Cm)，RS编码可视为如下（图1）所示矩阵运算。

14、图1最左边是编码矩阵（或称为生成矩阵、分布矩阵，Distribution Matrix），编码矩阵需要满足任意nn子矩阵可逆。

15、为方便数据存储，编码矩阵上部是单位阵（n行n列），下部是m行n列矩阵。

16、下部矩阵可以选择范德蒙德矩阵或柯西矩阵。

17、RS最多能容忍m个数据块被删除。

18、 数据恢复的过程如下：（1）设D1、D4、C2丢失，从编码矩阵中删掉丢失的数据块/编码块对应的行。

19、（图2、3）（2）由于B' 是可逆的，记B'的逆矩阵为 (B'^-1)，则B' (B'^-1) = I 单位矩阵。

20、两边左乘B' 逆矩阵。

21、 （图4、5）（3）得到如下原始数据D的计算公式 。

22、（4）对D重新编码，可得到丢失的编码。

本文到这结束，希望上面文章对大家有所帮助。