网站首页 > 博客文章 正文
分布式Minio有什么好处?
在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。
数据保护
分布式Minio采用 erasure code(纠删码)来防范多个节点宕机和位衰减bit rot。
分布式Minio至少需要4个节点,使用分布式Minio自动引入了纠删码功能。
高可用
单机Minio服务存在单点故障,相反,如果是一个N节点的分布式Minio,只要有N/2节点在线,你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。
例如,一个8节点的Minio集群,每个节点一块盘,就算4个节点宕机,这个集群仍然是可读的,不过你需要5个节点才能写数据。
限制
分布式Minio单租户存在最少4个盘最多16个盘的限制(受限于纠删码)。这种限制确保了Minio的简洁,同时仍拥有伸缩性。如果你需要搭建一个多租户环境,你可以轻松的使用编排工具(Kubernetes)来管理多个Minio实例。
注意,只要遵守分布式Minio的限制,你可以组合不同的节点和每个节点几块盘。比如,你可以使用2个节点,每个节点4块盘,也可以使用4个节点,每个节点两块盘,诸如此类。
一致性
Minio在分布式和单机模式下,所有读写操作都严格遵守read-after-write一致性模型。
集群搭建
准备四台四台机器
192.168.1.90
192.168.1.91
192.168.1.92
192.168.1.93
分别修改主机名及hosts
hostnamectl set-hostname minio1
hostnamectl set-hostname minio2
hostnamectl set-hostname minio3
hostnamectl set-hostname minio4
cat >> /etc/hosts <<EOF
192.168.1.90 minio1
192.168.1.91 minio2
192.168.1.92 minio3
192.168.1.93 minio4
EOF
分别修改系统最大文件数
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
目录创建
mkdir -p /data/minio/{run,data} && mkdir -p /etc/minio
- 启动脚本及二进制文件目录 run
- 数据存储目录 data
- 配置文件目录/etc/minio
集群启动文件
vim /data/minio/run/run.sh
#!/bin/bash
export MINIO_ACCESS_KEY=Minio
export MINIO_SECRET_KEY=Test1234!
/data/minio/run/minio server --config-dir /etc/minio \
http://192.168.1.90/data/minio/data \
http://192.168.1.91/data/minio/data \
http://192.168.1.92/data/minio/data \
http://192.168.1.93/data/minio/data \
- MINIO_ACCESS_KEY:用户名,长度最小是5个字符
- MINIO_SECRET_KEY:密码,密码不能设置过于简单,不然minio会启动失败,长度最小是8个字符
- –config-dir:指定集群配置文件目录
minio.service
cat > /usr/lib/systemd/system/minio.service <<EOF
[Unit]
Description=Minio service
Documentation=https://docs.minio.io/
[Service]
WorkingDirectory=/data/minio/run/
ExecStart=/data/minio/run/run.sh
Restart=on-failure
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF
- WorkingDirectory:二进制文件目录
- ExecStart:指定集群启动脚本
二进制文件
分别将minio二进制文件上传到/data/minio/run目录
wget https://dl.min.io/server/minio/release/linux-amd64/minio
权限修改
chmod +x /usr/lib/systemd/system/minio.service && chmod +x /data/minio/run/minio && chmod +x /data/minio/run/run.sh
给所有涉及到的文件或目录添加权限
- service文件
- 二进制文件
- 集群启动脚本
启动集群
systemctl daemon-reload
systemctl enable minio && systemctl start minio
代理集群
生产环境需要使用Nginx将集群地址进行代理,对外统一入口
upstream minio{
server 192.168.1.90:9000;
server 192.168.1.91:9000;
server 192.168.1.91:9000;
server 192.168.1.93:9000;
}
server {
listen 9001;
server_name minio;
location / {
proxy_pass http://minio;
proxy_set_header Host $http_host;
client_max_body_size 1000m;
}
}
测试
启动ngnix,浏览器访问,由于我在90服务器装的ngnix,浏览器访问:192.168.1.90:9001。
输入前面配置的账号/密码:Minio/Test1234!
自此搭建完毕
参考博客:
https://blog.csdn.net/ywd1992/article/details/82385101
猜你喜欢
- 2024-09-27 使用keepalived+sidekick+Minio实现高可用
- 2024-09-27 在国产操作系统deepin部署minio分布式存储
- 2024-09-27 极光笔记丨搭建UMS私有云文件服务器
- 2024-09-27 Spring Boot整合Minio实现上传凭证、分片上传、秒传和断点续传
- 2024-09-27 开源&Docker:何必nextcloud,新晋神级私人云盘,在线office编辑
- 2024-09-27 「云原生」Containerd ctr,crictl 和 nerdctl 命令介绍与实战操作
- 2024-09-27 使用Docker Compose快速部署MinIO高性能分布式存储
- 2024-09-27 如何使用s3fs-fuse挂载minio存储桶到本地
- 2024-09-27 「云原生.大数据」镜像仓库 Harbor 对接 MinIO 对象存储
- 2024-09-27 三分钟部署windows版本分布式储存Minio
你 发表评论:
欢迎- 07-07Xiaomi Enters SUV Market with YU7 Launch, Targeting Tesla with Bold Pricing and High-Tech Features
- 07-07Black Sesame Maps Expansion Into Robotics With New Edge AI Strategy
- 07-07Wuhan's 'Black Tech' Powers China's Cross-Border Push with Niche Electronics and Scientific Firepower
- 07-07Maven 干货 全篇共:28232 字。预计阅读时间:110 分钟。建议收藏!
- 07-07IT运维必会的30个工具(it运维工具软件)
- 07-07开源项目有你需要的吗?(开源项目什么意思)
- 07-07自动化测试早就跑起来了,为什么测试管理还像在走路?
- 07-07Cursor 最强竞争对手来了,专治复杂大项目,免费一个月
- 最近发表
-
- Xiaomi Enters SUV Market with YU7 Launch, Targeting Tesla with Bold Pricing and High-Tech Features
- Black Sesame Maps Expansion Into Robotics With New Edge AI Strategy
- Wuhan's 'Black Tech' Powers China's Cross-Border Push with Niche Electronics and Scientific Firepower
- Maven 干货 全篇共:28232 字。预计阅读时间:110 分钟。建议收藏!
- IT运维必会的30个工具(it运维工具软件)
- 开源项目有你需要的吗?(开源项目什么意思)
- 自动化测试早就跑起来了,为什么测试管理还像在走路?
- Cursor 最强竞争对手来了,专治复杂大项目,免费一个月
- Cursor 太贵?这套「Cline+OpenRouter+Deepseek+Trae」组合拳更香
- 为什么没人真的用好RAG,坑都在哪里? 谈谈RAG技术架构的演进方向
- 标签列表
-
- ifneq (61)
- 字符串长度在线 (61)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)