MinIO

Storage 概念

块存储（Block Storage）

• 基础 ：块存储将数据视为固定块大小的序列，每个文件分布在多个块上。
• 调整和优化 ：块大小可根据存储需求调整，以优化数据库等应用的性能。
• 结构和一致性 ：块存储具有高度结构化和强一致性，但对元数据的处理能力有限。
• 用途 ：
• 作为物理或虚拟机磁盘，用于引导卷和服务器的额外本地存储。
• 共享卷：一个写入卷挂载到一个服务器，其他服务器进行只读挂载，适用于数据处理和数据库。
• 备份：将多个高容量廉价磁盘聚合作为备份目标，利用 SSD 和 NVMe 等快速本地存储。

H5DF 简介

HDF5 官方文档链接，以下对 H5PY 基础操作进行总结。安装：

conda install h5py

内容包括：Spark 搭建本地模式，集群模式（StandAlon, YARN）搭建；认识 Spark 框架、运行逻辑；认识 PySpark 下 SparkCore、SparkSQL 操作。

python 上 Spark 不断个更新，实时关注 官方文档

Hadoop 笔记，中文官方文档

大数据概述

Hadoop

Hadoop 用 Java 语言实现。包括 HDFS 数据存储，YARN 资源任务调度，MapReduce 数据计算