MinIO实战攻略:轻松构建私有云存储解决方案
OSS 简介
OSS(Object Storage Service)通常指的是对象存储服务,它是一种数据存储架构,用于存储和检索非结构化数据,如图片、视频、文档和备份等。对象存储服务与传统的块存储和文件存储不同,它将数据作为对象来存储,每个对象都包含数据、元数据和一个唯一的标识符。
在对象存储系统中,数据被组织成一个扁平的结构,而不是传统的文件系统中的层级结构。这种结构使得对象存储服务具有以下特点:
- 高扩展性:可以轻松地扩展存储容量,以适应不断增长的数据量。
- 高可用性:通常提供冗余存储,确保数据在硬件故障时仍然可用。
- 易用性:通过简单的API进行数据管理,便于开发者使用。
- 低成本:相对于传统的存储解决方案,对象存储通常具有更低的成本。
OSS可以是任何提供对象存储服务的平台,例如Amazon S3、Azure Blob Storage、Google Cloud Storage以及开源的MinIO。这些服务允许用户通过互联网存储和检索大量数据,并且通常与云计算服务紧密集成,为用户提供灵活、可靠的存储解决方案。
MinIO 核心特性
- 性能:提供了高性能的对象存储服务,特别是在处理大量小文件时表现出色。
- 简单性:安装和配置相对简单,用户界面直观,易于管理,部署简单。
- 轻量级:MinIO具有轻量级的架构,可以快速部署在任何类型的基础设施上,包括Kubernetes、Docker、VMware和裸服务器。
- 可扩展性:分布式架构,支持水平扩展,可以根据需求增加存储容量和性能。
- 数据保护:支持纠删码和数据冗余,确保数据的可靠性和持久性。
- 安全性:提供多种安全特性,包括TLS加密、身份验证和访问控制。
- 社区和企业支持:MinIO有一个活跃的开源社区,并提供企业支持选项。
- 兼容性:MinIO与Amazon S3 API兼容,可以使用现有的S3工具和应用程序与MinIO进行交互。
MinIO 基础使用
部署
这里测试时使用的是 Docker 进行部署。
docker run -p 9000:9000 -p 9001:9001 --name minio -e "MINIO_ROOT_USER=localadmin" -e "MINIO_ROOT_PASSWORD=localadminpassword" -v H:/test/minio/data:/data -v H:/test/minio/config:/root/.minio minio/minio server /data --console-address ":9001"
docker-compose.yaml
services:minio:image: minio/miniocontainer_name: minioports:- 9000:9000- 9001:9001volumes:- H:/test/minio/data:/data- H:/test/minio/config:/root/.minioenvironment:- MINIO_ROOT_USER=localadmin- MINIO_ROOT_PASSWORD=localadminpasswordcommand: server /data --console-address ":9001"
部署成功后,打开 http://127.0.0.1:9001 可看到管理页面。
登录进入控制台
Go SDK 上传文件示例
- GitHub 地址
package mainimport ("context""log""github.com/minio/minio-go/v7""github.com/minio/minio-go/v7/pkg/credentials"
)func main() {ctx := context.Background()endpoint := "127.0.0.1:9000"accessKeyID := "localadmin"secretAccessKey := "localadminpassword"useSSL := false// Initialize minio client object.minioClient, err := minio.New(endpoint, &minio.Options{Creds: credentials.NewStaticV4(accessKeyID, secretAccessKey, ""),Secure: useSSL,})if err != nil {log.Fatalln(err)}// Make a new bucket called testbucket.bucketName := "testbucket"location := "us-east-1"err = minioClient.MakeBucket(ctx, bucketName, minio.MakeBucketOptions{Region: location})if err != nil {// Check to see if we already own this bucket (which happens if you run this twice)exists, errBucketExists := minioClient.BucketExists(ctx, bucketName)if errBucketExists == nil && exists {log.Printf("We already own %s\n", bucketName)} else {log.Fatalln(err)}} else {log.Printf("Successfully created %s\n", bucketName)}// Upload the test file// Change the value of filePath if the file is in another locationobjectName := "testdata"filePath := "./console1.png"contentType := "application/octet-stream"// Upload the test file with FPutObjectinfo, err := minioClient.FPutObject(ctx, bucketName, objectName, filePath, minio.PutObjectOptions{ContentType: contentType})if err != nil {log.Fatalln(err)}log.Printf("Successfully uploaded %s of size %d\n", objectName, info.Size)
}
程序执行输出如下:
2024/08/23 15:05:22 Successfully created testbucket
2024/08/23 15:05:22 Successfully uploaded testdata of size 451753
查看web控制台,可见已创建存储桶,并且文件已上传。
实际使用
不使用 OSS 的情况下,文件是直接上传至服务器,相关的鉴权服务器自己做即可。使用 OSS 后,需注意上传方式变更,这里借用阿里云的图来作说明。
这里不建议使用服务器代理上传,这样会造成资源浪费,云服务器的流量费也不便宜。
客户端直传,有几种方案
- 服务端生成STS临时访问凭证
- 服务端生成PostObject所需的签名和Post Policy
- 服务端生成PutObject所需的签名URL
这里不一一介绍了,只说一下我这里使用的方案:生成 STS 临时访问凭证。
- 客户端向业务服务器请求临时访问凭证。
- 业务服务器使用 STS SDK 调用 AssumeRole 接口,获取临时访问凭证。
- STS 生成并返回临时访问凭证给业务服务器。
- 业务服务器返回临时访问凭证给客户端。
- 客户端使用 OSS SDK 通过该临时访问凭证上传文件到 OSS。
- OSS 返回成功响应给客户端。
业务服务器示例代码
package mainimport ("context""encoding/json""fmt""github.com/aws/aws-sdk-go-v2/aws""github.com/aws/aws-sdk-go-v2/service/sts""github.com/aws/aws-sdk-go-v2/service/sts/types""github.com/gin-gonic/gin""net/http"
)func main() {engine := gin.Default()engine.GET("/sts", func(c *gin.Context) {res, err := getSTS()if err != nil {c.String(http.StatusInternalServerError, err.Error())return}c.JSON(http.StatusOK, res)})engine.Run(":8889")
}type awsCredentials struct{}func (awsCredentials) Retrieve(ctx context.Context) (aws.Credentials, error) {return aws.Credentials{AccessKeyID: "localadmin",SecretAccessKey: "localadminpassword",}, nil
}type awsPolicy struct {Version stringStatement []awsPolicyStatement
}
type awsPolicyStatement struct {Effect stringAction []stringResource []string
}func getSTS() (res types.Credentials, err error) {// 获取临时凭证,minio 官方的 sdk 中没有找到获取的方法,使用 aws 的endpoint := "http://127.0.0.1:9000"c := sts.New(sts.Options{BaseEndpoint: &endpoint,Credentials: awsCredentials{},})buf, err := json.Marshal(awsPolicy{Version: "2012-10-17", // 协议版本,固定值Statement: []awsPolicyStatement{{Effect: "Allow",Action: []string{""s3:GetObject", "s3:GetBucketLocation", "s3:PutObject""},Resource: []string{"arn:aws:s3:::*"},},},})if err != nil {return}var roleArn, roleSessionName stringpolicy := string(buf)assumeRoleOutput, err := c.AssumeRole(context.Background(), &sts.AssumeRoleInput{RoleArn: &roleArn,RoleSessionName: &roleSessionName,Policy: &policy,})if err != nil {return}fmt.Println("AccessKeyId: ", *assumeRoleOutput.Credentials.AccessKeyId)fmt.Println("SecretAccessKey: ", *assumeRoleOutput.Credentials.SecretAccessKey)fmt.Println("SessionToken: ", *assumeRoleOutput.Credentials.SessionToken)fmt.Println("Expiration: ", assumeRoleOutput.Credentials.Expiration.String())res = *assumeRoleOutput.Credentialsreturn
}
请求 http://127.0.0.1:8889/sts 可得到返回值
{"AccessKeyId": "P6QEGSKSF9F55O7F5T9O","Expiration": "2024-08-23T09:47:04Z","SecretAccessKey": "eL1gFPsln6wVxG42fPTzhz2X2S9LomVBxjJESTmn","SessionToken": "eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3NLZXkiOiJQNlFFR1NLU0Y5RjU1TzdGNVQ5TyIsImV4cCI6MTcyNDQwNjQyNCwicGFyZW50IjoibG9jYWxhZG1pbiIsInNlc3Npb25Qb2xpY3kiOiJleUpXWlhKemFXOXVJam9pTWpBeE1pMHhNQzB4TnlJc0lsTjBZWFJsYldWdWRDSTZXM3NpUldabVpXTjBJam9pUVd4c2IzY2lMQ0pCWTNScGIyNGlPbHNpY3pNNlVIVjBUMkpxWldOMElpd2ljek02UjJWMFFuVmphMlYwVEc5allYUnBiMjRpTENKek16cEhaWFJQWW1wbFkzUWlYU3dpVW1WemIzVnlZMlVpT2xzaVlYSnVPbUYzY3pwek16bzZPaW9pWFgxZGZRPT0ifQ.GpBGP_b1uQ5QNX7rb1eOpAybIbsrV_hSJBd_bHEsb6dVT1YQ1U20S3Q-KjyJdqBr7k95W4yJepP8F_bPECg0Sg"
}
客户端上传文件示例
启动上述业务服务器后,访问 http://127.0.0.1:8889/sts
获取凭证后上传文件。
import * as Minio from 'minio'const minioClient = new Minio.Client({endPoint: '127.0.0.1',port: 9000,useSSL: false,accessKey: 'P6QEGSKSF9F55O7F5T9O',secretKey: 'eL1gFPsln6wVxG42fPTzhz2X2S9LomVBxjJESTmn',sessionToken: 'eyJhbGciOiJIUzUxMiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3NLZXkiOiJQNlFFR1NLU0Y5RjU1TzdGNVQ5TyIsImV4cCI6MTcyNDQwNjQyNCwicGFyZW50IjoibG9jYWxhZG1pbiIsInNlc3Npb25Qb2xpY3kiOiJleUpXWlhKemFXOXVJam9pTWpBeE1pMHhNQzB4TnlJc0lsTjBZWFJsYldWdWRDSTZXM3NpUldabVpXTjBJam9pUVd4c2IzY2lMQ0pCWTNScGIyNGlPbHNpY3pNNlVIVjBUMkpxWldOMElpd2ljek02UjJWMFFuVmphMlYwVEc5allYUnBiMjRpTENKek16cEhaWFJQWW1wbFkzUWlYU3dpVW1WemIzVnlZMlVpT2xzaVlYSnVPbUYzY3pwek16bzZPaW9pWFgxZGZRPT0ifQ.GpBGP_b1uQ5QNX7rb1eOpAybIbsrV_hSJBd_bHEsb6dVT1YQ1U20S3Q-KjyJdqBr7k95W4yJepP8F_bPECg0Sg'
})// File to upload
const sourceFile = 'G:/test/5965.json'// Destination bucket
const bucket = 'testbucket'// Destination object name
const destinationObject = 'my-test-file.json'// Set the object metadata
var metaData = {'Content-Type': 'text/plain','X-Amz-Meta-Testing': 1234,example: 5678,
}// Upload the file with fPutObject
// If an object with the same name exists,
// it is updated with new data
await minioClient.fPutObject(bucket, destinationObject, sourceFile, metaData)
console.log('File ' + sourceFile + ' uploaded as object ' + destinationObject + ' in bucket ' + bucket)
脚本执行结束查看 web 控制台,可见刚刚上传的文件。
总结
本篇简单介绍了 OSS 是什么以及为什么要用 OSS,简单点说,就是省钱,省下来的钱去烤个串它不香嘛。
开源的 minio 其社区环境好,而且性能、扩展性、安全性方面都不错,建议自部署时使用。
最后简单说明了 minio 的部署以及客户端上传文件的方式,建议客户端直接上传,不要再走业务服务器了,浪费资源,可以使用 sts 临时访问凭证上传文件。
参考
- GitHub
- 官网
- 中文文档
- 阿里云-在客户端直接上传文件到OSS