每个程序员都应该使用的有用资源

介绍

当处理大量非结构化数据时，我们需要一个存储它的地方。我们选择存储数据的方式有很多，但我们今天将重点关注的是对象存储或基于对象的存储。当处理大量数据时，这是最佳选择，尤其是因为它并不昂贵，并且使管理数据变得更加容易。

如果您不熟悉它，对象存储是一种数据存储体系结构，它使您可以在可伸缩的对象结构中存储大量非结构化数据。它使存储的数据作为具有元数据和唯一标识符的对象，从而更易于访问该数据。现在，有许多平台提供对象存储功能。

因此，在本文中，我们将向您介绍四个有用的开放源代码对象存储平台，这些平台包含健壮的功能，并在2021年成为巨大的投资。

1. LakeFS

LakeFS是一个开源数据环境工具，可让您管理基于对象存储的数据湖。这些数据湖是存储库，您可以在其中转储所有结构化和非结构化数据类型。LakeFS还集成了许多工具，并支持Amazon S3和Google Cloud Storage。此外，它可与所有主要数据框架一起使用，例如Hive，Spark，Presto，AWS Athena等。

借助LakeFS，您可以扩展PB级数据，还可以通过其类似Git的分支和版本控制方法来添加数据，这使您可以在不破坏数据的情况下添加更新。这种类似于Git的方法还有助于轻松撤消数据更改，这使得处理数据变得更加轻松和安全。

您还可以通过查看LakeFS文档来了解其他特性。

2. Ceph

Ceph是对象存储，块存储和文件系统开源平台。它提供了与Amazon的S3 REST API和OpenStack的API Swift完全兼容的对象存储功能。

Ceph的对象存储使您可以使用本地语言绑定和Ceph提供的其他技术轻松访问数据对象。如果您想改变公司的IT基础架构及其管理大量非结构化数据的能力，这是一个很好的解决方案。他们还拥有一些软件库，这些库使使用Java，C，C ++，Python，PHP和其他一些语言编写的软件能够使用本机API的功能访问Ceph的对象存储系统。

3. MinIO

MinIO是一款开源云存储软件，可为大型数据基础架构提供高性能的分布式对象存储。它与Amazon S3 API兼容，在GitHub上有超过26K颗星，有680多位贡献者在使用它。

MinIO服务器存储所有类型的非结构化数据，例如照片，视频，日志文件等。它也可以在开源Apache V2许可下使用，并且许多最强大的大数据和机器学习应用程序都使用MinIO S3对象存储。您还可以在MinIO网站上查看许多其他功能。

4. OpenIO

OpenIO是用于管理和保护大量非结构化数据的开源对象存储解决方案。它使您可以构建和运行有弹性且受保护的大规模存储基础架构。

OpenIO与S3兼容，可以在任何硬件上进行部署或云托管。在添加新硬件时，它也不需要重新分配数据。您可以立即使用自己的额外容量。OpenIO还设计用于大型基础架构和大数据工作负载。除此之外，它还提供了直观的用户界面，以简化存储管理员的日常生活。结果，您的数据变得非常易于访问且易于管理。

结论

您可以使用许多开放源代码对象存储提供程序，这些提供程序提供了我们提到的许多功能中的某些功能。它们为您的所有存储需求提供了一个很好的解决方案，并且避免了高昂的财务成本。因此，选择具有所需功能的对象存储平台非常重要。

感谢您阅读本文。希望你觉得它有用。

(本文由闻数起舞翻译自Zachary Minott的文章《4 Open Source Object Storage Platforms for 2021》，转载请注明出处，原文链接：https://betterprogramming.pub/4-open-source-object-storage-platforms-for-2021-ceeaceb7e273)