app开发定制公司高性能分布式对象存储——MinIO（环境部署）

文章目录

一、概述

MinIO 是在 GNU Affero app开发定制公司通用公共许可证 v3.0 下发布的app开发定制公司高性能对象存储。它与 Amazon S3 服务 API 兼容。使用 MinIO app开发定制公司为机器学习、app开发定制公司分析和应用程序数据工app开发定制公司作负载构建高性能基础架构。

官方文档：
中文文档：
GitHub地址：

特点：

  • 数据保护——Minio采用 app开发定制公司纠删码来防范多个节点app开发定制公司宕机和位衰减bit rot。分布式Minio至少需要4个硬盘，app开发定制公司使用分布式Minioapp开发定制公司自动引入了纠删码功能。

  • 高可用——app开发定制公司单机服务存在单点故障，相反，app开发定制公司如果是一个有Napp开发定制公司块硬盘的分布式Minio,只要有N/2硬盘在线，你的数据就是安全的。不过你需要至少有N/2+1个硬盘来创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。

【温馨提示】只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘，也可以使用4个节点，每个节点两块硬盘，诸如此类。

  • 一致性——Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。

MinIO的优点如下：

  • 部署简单，一个二进制文件（minio）即是一切，还可以支持各种平台

  • 支持海量存储，可以按zone扩展，支持单个对象最大5TB

  • 低冗余且磁盘损坏高容忍，标准且最高的数据冗余系数为2(即存储一个1M的数据对象，实际占用磁盘空间为2M)。但在任意n/2块disk损坏的情况下依然可以读出数据(n为一个纠删码集合中的disk数量)。并且这种损坏恢复是基于单个对象的，而不是基于整个存储卷的

  • 读写性能优异

二、MinIO 基础概念

  • S3——Simple Storage Service，简单存储服务，这个概念是Amazon在2006年推出的，就是从那个时候诞生的。S3提供了一个简单Web服务接口，可用于随时在Web上的任何位置存储和检索任何数量的数据。

  • Object——存储到 Minio 的基本对象，如文件、字节流，Anything…

  • Bucket——用来存储 Object 的逻辑空间。每个 Bucket 之间的数据是相互隔离的。

  • Drive——部署 Minio 时设置的磁盘，Minio 中所有的对象数据都会存储在 Drive 里。

  • Set——一组 Drive 的集合，分布式部署根据集群规模自动划分一个或多个 Set ，每个 Set 中的 Drive 分布在不同位置。

    • 一个对象存储在一个Set上
    • 一个集群划分为多个Set
    • 一个Set包含的Drive数量是固定的，默认由系统根据集群规模自动计算得出
    • 一个SET中的Drive尽可能分布在不同的节点上

Set /Drive 的关系

  • Set /Drive 这两个概念是 MINIO 里面最重要的两个概念，一个对象最终是存储在 Set 上面的。

  • Set 是另外一个概念，Set 是一组 Drive 的集合，图中，所有蓝色、橙色背景的Drive（硬盘）的就组成了一个 Set。

三、纠删码（Erasure Code）

纠删码（Erasure Code）简称EC，是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。

  • 纠删码是一种恢复丢失和损坏数据的数学算法，目前，纠删码技术在分布式存储系统中的应用主要有三类，阵列纠删码（Array Code: RAID5、RAID6等）、RS(Reed-Solomon)里德-所罗门类纠删码和LDPC(LowDensity Parity Check Code)低密度奇偶校验纠删码。
  • Erasure Code是一种编码技术，它可以将n份原始数据，增加m份校验数据，并能通过n+m份中的任意n份原始数据，还原为原始数据。
  • 即如果有任意小于等于m份的校验数据失效，仍然能通过剩下的数据还原出来。
  • Minio采用Reed-Solomon code将对象拆分成N/2数据和N/2 奇偶校验块。
  • 在同一集群内，MinIO 自己会自动生成若干纠删组（Set），用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。

四、MinIO 架构

1）单主机，单硬盘模式

该模式下，Minio只在一台服务器上搭建服务，且数据都存在单块磁盘上，该模式存在单点风险，主要用作开发、测试等使用

2）单主机，多硬盘模式

该模式下，Minio在一台服务器上搭建服务，但数据分散在多块（大于4块）磁盘上，提供了数据上的安全保障。

3）多主机、多硬盘模式（分布式）

该模式是Minio服务最常用的架构，通过共享一个access_key和secret_key,在多台服务器上搭建服务，且数据分散在多块（大于4块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon纠删码）。

五、MinIO 环境部署（分布式）

1）环境准备

主机名IPdata
local-168-182-110192.168.182.110/opt/bigdata/minio/data/export{1,2,3,4}
local-168-182-111192.168.182.111/opt/bigdata/minio/data/export{1,2,3,4}
local-168-182-112192.168.182.112/opt/bigdata/minio/data/export{1,2,3,4}

2）下载

mkdir -p /opt/bigdata/minio ; cd /opt/bigdata/minio# 下载rpm包进行部署#wget https://dl.min.io/server/minio/release/linux-amd64/archive/minio-20220802235916.0.0.x86_64.rpm -O minio.rpm# yum -y install minio.rpm# 下载二进制包部署wget https://dl.min.io/server/minio/release/linux-amd64/miniochmod +x /opt/bigdata/minio# 加在/etc/profileexport PATH=$PATH:/opt/bigdata/miniominio --help
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

3）每台新加四块磁盘

# 不重启，直接刷新磁盘数据总线，获取新加的磁盘for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; donelsblk# 格式化mkfs.ext4 /dev/sdbmkfs.ext4 /dev/sdcmkfs.ext4 /dev/sddmkfs.ext4 /dev/sde# 挂载mount /dev/sdb /opt/bigdata/minio/data/export1mount /dev/sdc /opt/bigdata/minio/data/export2mount /dev/sdd /opt/bigdata/minio/data/export3mount /dev/sde /opt/bigdata/minio/data/export4
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

【温馨提示】磁盘大小必须>1G，这里我添加的是4*2G的盘

4）配置

Minio默认9000端口，在配置文件中加入–address “127.0.0.1:9029” 可更改端口

  • MINIO_ACCESS_KEY：用户名，长度最小是5个字符
  • MINIO_SECRET_KEY：密码，密码不能设置过于简单，不然minio会启动失败，长度最小是8个字符
  • –config-dir：指定集群配置文件目录
  • –address： api的端口，默认是9000
  • --console-address ：web端口，默认随机

编写启动脚本（/opt/bigdata/minio/run.sh）

#!/bin/bash# 创建日志存储目录mkdir -p /opt/bigdata/minio/logs# 分别在三个节点上创建存储目录mkdir -p /opt/bigdata/minio/data/export{1,2,3,4}# 创建配置目录mkdir -p /etc/minioexport MINIO_ROOT_USER=adminexport MINIO_ROOT_PASSWORD=admin123456# 在三台机器上都执行该文件，即以分布式的方式启动了MINIO# --address "0.0.0.0:9000" 挂载9001端口为api端口（如Java客户端）访问的端口# --console-address ":9000" 挂载9000端口为web端口； /opt/bigdata/minio/minio server --address 0.0.0.0:9000 --console-address 0.0.0.0:9001 --config-dir /etc/minio \http://local-168-182-110/opt/bigdata/minio/data/export1 \http://local-168-182-110/opt/bigdata/minio/data/export2 \http://local-168-182-110/opt/bigdata/minio/data/export3 \http://local-168-182-110/opt/bigdata/minio/data/export4 \http://local-168-182-111/opt/bigdata/minio/data/export1 \http://local-168-182-111/opt/bigdata/minio/data/export2 \http://local-168-182-111/opt/bigdata/minio/data/export3 \http://local-168-182-111/opt/bigdata/minio/data/export4 \http://local-168-182-112/opt/bigdata/minio/data/export1 \http://local-168-182-112/opt/bigdata/minio/data/export2 \http://local-168-182-112/opt/bigdata/minio/data/export3 \http://local-168-182-112/opt/bigdata/minio/data/export4 > /opt/bigdata/minio/logs/minio_server.log
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26

【温馨提示】下面脚本复制时 \ 后不要有空格，还有就是上面的目录是对应的一块磁盘，而非简单的在/opt/bigdata/minio/data目录下创建四个目录，要不然会报如下错误，看提示以为是root权限问题。part of root disk, will not be used (*errors.errorString)

5）启动服务

# 在三台机器上都执行该文件，即以分布式的方式启动了MINIOsh /opt/bigdata/minio/run.sh
  • 1
  • 2

添加或修改minio.service，通过systemctl启停服务（推荐）

  • WorkingDirectory：二进制文件目录
  • ExecStart：指定集群启动脚本
# 如果使用rpm安装，minio.service就会自动生成，只要修改就行cat > /usr/lib/systemd/system/minio.service <<EOF[Unit]Description=Minio serviceDocumentation=https://docs.minio.io/[Service]WorkingDirectory=/opt/bigdata/minioExecStart=/opt/bigdata/minio/run.shRestart=on-failureRestartSec=5[Install]WantedBy=multi-user.targetEOF
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

修改文件权限

chmod +x /usr/lib/systemd/system/minio.service && chmod +x /opt/bigdata/minio/minio && chmod +x /opt/bigdata/minio/run.sh# 将文件copy其它节点local-168-182-111，local-168-182-112scp -r /usr/lib/systemd/system/minio.servicee local-168-182-111:/usr/lib/systemd/system/minio.servicescp -r /opt/bigdata/minio local-168-182-111:/opt/bigdata/scp -r /usr/lib/systemd/system/minio.service local-168-182-112:/usr/lib/systemd/system/minio.servicescp -r /opt/bigdata/minio local-168-182-112:/opt/bigdata/
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

启动集群

 #重新加载服务systemctl daemon-reload#启动服务systemctl start minio#加入自启动systemctl enable minio
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6


访问MinIO，三个节点都可以访问


账号密码：admin/admin123456

6）使用 nginx 负载均衡

单独对每个节点进行访问显然不合理，通过使用 nginx 代理，进行负载均衡则很有必要。简单的配置如下：

# 安装nginxyum install epel-release -yyum install nginx -ysystemctl start nginxsystemctl status nginxsystemctl enable nginx
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

添加配置文件，配置内容如下：

vi  /etc/nginx/conf.d/minio.confupstream minio_api {    server 192.168.182.110:9000;    server 192.168.182.111:9000;    server 192.168.182.112:9000;}upstream minio_console {    server 192.168.182.110:9001;    server 192.168.182.111:9001;    server 192.168.182.112:9001;}server{    listen       19000;    server_name  192.168.182.110;    ignore_invalid_headers off;    client_max_body_size 0;    proxy_buffering off;    location / {        proxy_set_header   X-Forwarded-Proto $scheme;        proxy_set_header   Host              $http_host;        proxy_set_header   X-Real-IP         $remote_addr;        proxy_connect_timeout 300;        proxy_http_version 1.1;        chunked_transfer_encoding off;        proxy_ignore_client_abort on;        proxy_pass http://minio_api;    }}server{    listen       19001;    server_name  192.168.182.110;    ignore_invalid_headers off;    client_max_body_size 0;    proxy_buffering off;    location / {        proxy_set_header   X-Forwarded-Proto $scheme;        proxy_set_header   Host              $http_host;        proxy_set_header   X-Real-IP         $remote_addr;        proxy_connect_timeout 300;        proxy_http_version 1.1;        chunked_transfer_encoding off;        proxy_ignore_client_abort on;        proxy_pass http://minio_console;    }}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58

重启加载配置

nginx -tnginx -s reload#或者 systemctl reload nginx
  • 1
  • 2
  • 3
  • 4

访问：

六、MinIO 客户端 ( mc)

  • MinIO Client mc命令行工具为 UNIX 命令（如ls、cat、cp、mirror和）提供了一种现代替代方案，并diff支持文件系统和兼容 Amazon S3 的云存储服务。
  • mc命令行工具是为与 AWS S3 API 兼容而构建的，并针对预期的功能和行为测试了 MinIO 和 AWS S3。
  • MinIO 不为其他与 S3 兼容的服务提供任何保证，因为它们的 S3 API 实现是未知的，因此不受支持。虽然mc 命令可以按文档说明工作，但任何此类使用都需要您自担风险。

1）下载

cd /opt/bigdata/minio/wget https://dl.min.io/client/mc/release/linux-amd64/mcchmod +x mc./mc --help
  • 1
  • 2
  • 3
  • 4

2）添加MinIO存储服务

MinIO服务器显示URL，访问权和秘密密钥。
【用法】

mc config host add <ALIAS> <YOUR-MINIO-ENDPOINT> [YOUR-ACCESS-KEY] [YOUR-SECRET-KEY]
  • 1

【示例】

cd /opt/bigdata/minio/# 明文输入./mc config host add minio http://local-168-182-110:19000 admin admin123456# 密文输入（推荐）./mc config host add minio http://local-168-182-110:19000Enter Access Key: adminEnter Secret Key: admin123456
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

3）测试

cd /opt/bigdata/minio/# 获取已配置别名“ minio”的MinIO服务器信息./mc admin info minio# 添加外壳别名以获取信息，以便恢复。alias minfo='/opt/bigdata/minio/mc admin info'alias mheal='/opt/bigdata/minio/mc admin heal'
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

更多示例操作，可以参考官方文档：

【温馨提示】如果有条件，也可以使用腾讯云的cos（Cloud Object Storage：云对象存储）和阿里云的oss（Object Storage Service：对象存储服务）等公有云产品。

到这里MinIO的基本概念和环境部署就到这结束了，后续会更新MinIO的实战操作，请小伙伴耐心等待，有疑问的小伙伴欢迎给我留言哦~

网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发