Panasas并行存储


面对信息的爆炸式增长,信息处理、存储和分析需求与日俱增,我们亟需构建高性能的计 算和存储环境,从而在业务发展和数据增长方面始终领先一步。大部分数据增长呈非结构 化态势——文件大小各异,从几千子节的小文本文件到数 TB 的图像和视频文件不一而足。行业分析师们一致预测,非结构化顺序数据的增速已经明显超过结构化数据。网络附加存 储 (NAS) 旨在实现基于应用程序的数据共享、易管理性并支持多种文件访问协议,如网络文件系统 (NFS) 和服务器消息块 (SMB),是非结构化数据的理想选择。

我们面临严峻挑战,随着传统的纵向扩展 NAS 系统不断增长,很快将受制于一个或多个物理限制。进一步增长将导致出现多个成本高昂且难以管理的存储孤岛。尽管基础的横向扩展 NAS 系统有助于解决这一问题,但仍缺乏支持现代工作流需求的高性能。更佳选择是采用集成横向扩展 NAS 系统,凭借注重性能的横向扩展协议,您无需花费巨额成本即可轻松管理。

Panasas ActiveStor
Panasas ActiveStor 高性能横向扩展 NAS 是一种先进的技术解决方案,旨在攻克其它 NAS 架构中的扩展难题和性能限制。Panasas 群集存储架构极其灵活,从几十到几百 TB 开始, 可以透明无缝地扩展到 PB 级,同时实现性能的线性扩展。只需向存储群集添加更多ActiveStor 设备,每个新增 ActiveStor 存储模块都会立即提升存储容量、动态随机存取存储器(DRAM) 缓存、处理能力和网络带宽。即使在最大的 Panasas 部署中,所有数据均驻留在采用单一管理图形用户界面 (GUI) 的单个命名空间内,能够以高可靠性和可用性方式提供数据。

可扩展性
Panasas 架构的一项关键突破就是将一个或多个
ActiveStor 存储模块归入使用单个命名空间的共享池,实现高效扩展。
随着 ActiveStor 存储模块不断增加,从 1 到 10 甚至 100,架构性能和容量都将同步增长,呈现几近完美的线性扩展。

性能
没有人愿意费时从存储中获取数据,但高性能和数据密集型应用程序通常需要在短时间内移动大量数据。相比其他 NAS 架构,Panasas ActiveStor 存储可以轻松满足上述需求,因为在过去十多年间,Panasas 始终致力于针对这些要求不断优化产品。我们采用横向扩展架构,随着添加更多ActiveStor 存储模块,系统也会以渐进和线性方式增加存储容量、DRAM 缓存和网络带宽。我们将存储节点的数据并行传输到应用程序,因此使应用程序可在单个文件中达到的带宽倍增,绝非简单地增加聚合带宽。最后,数据将从我们的数据节点直接传输到应用程序。无需通过中间服务器甚至额外的网络链接跳转。

可靠性
随着 NAS 系统中的总存储容量增加,由于系统中硬盘总数量的增大,硬盘故障可能增多。Panasas 凭借先进的逐文件分布式纠删码文件实现提供两级保护,有效应对这一挑战。由于每个文件中的数据都分布在群集的存储节点中,因此需要实施双奇偶校验纠删码保护,可同时纠正硬盘或整个节点中的两个故障。二级保护可处理硬盘上某一部分的故障,届时只有部分硬盘模块无法访问。这样,系统可以检测并纠正扇区级错误和其他低级问题,而无需执行完全节点级重建。传统的硬件或软件 RAID 架构会在其他物理硬盘上重建整个物理硬盘。物理硬盘重建受限于写入更换硬盘的带宽,即使故障硬盘未满,也会写入整个更换硬盘。Panasas 解决方案仅重建故障影响文件,而且会将其重建到分布在整个存储群集中的空闲空间,而非专门或其他空闲的“热备用”硬盘上。由于 我们使用整个群集重建任何受影响的文件, 因此仅需花费传统 RAID 架构所需的一小部分时间,即可从故障中恢复。

可管理性
Panasas 横向扩展存储系统属于单一实体,无论其支持的单一命名空间内集成了多少
ActiveStor 存储模块,均可通过单个 GUI 管 理。如果 ActiveStor 存储模块间的容量失衡, 群集将自动进行重新平衡;群集还会在出现任何故障时对所有文件自动重建完整的纠删码数据保护;同时在后台扫描群集中的所有文件并清除任何潜在数据故障。相比传统 NAS 的 10 个独立孤岛,群集更易于管理,因此可降低运营成本。


Panasas ActiveStor 解决方案组件
Panasas ActiveStor 解决方案由 Panasas PanFS 分布式群集文件系统构成,根据您的选择,该系统可在两种不同的 ActiveStor 刀片式硬件平台上运行(参见图 1)。


您可以使用 4RU 硬件存储模块部署 ActiveStor 解决方案,该模块中包含 11 个 DB 类控制器节点和存储节点。每个存储模块中包含 0 到 3 个 DB 类控制器节点,其中混合 8 到 11 个存储节点。
您还可使用 2RU 硬件存储模块部署控制器功能,该模块包含 1 到 4 个更强大的 ASD 类控制器节点。这两种控制器节点(DB 类和 ASD类)工作方式相同,并且在 PanFS 群集分布式文件系统中担任相同角色、承担相同责任。在本文档中,除非另外说明,否则我们将二者均视为控制器节点。为满足特定应用程序工作负载和文件协议的要求,您可以配置控制器与存储节点的比率以及控制器节点类别。

通过增加单一命名空间内的 ActiveStor 存储模块数量即可实现扩展性,因为每个新增模块都会提升解决方案的容量、性能和网络带宽。

控制器节点
管理元数据而非存储用户数据的控制器节点构成了架构的“控制层”。每个控制器节点 都具备处理器、DRAM 和多个高带宽以太网端口,同时运行由 Panasas 开发的软件镜像, 镜像中包含存储系统许多不同方面的控制和接口程序。除此之外,控制器节点将跟踪所有控制器和存储节点的运行状况和“仲裁成 员资格”(无论它们是否活跃或是否属于Panasas 群集)。控制器节点将管理命名空间(文件名和目录层次结构)、存储节点上用户数据的分布与一致性、数据清理与重建等故障恢复操作,同时托管将整个存储群集视为单个实体的 GUI。
控制器节点同样具备“网关”功能,在Panasas 架构的本地 Panasas DirectFlow 协议与标准定义的存储协议 NFS 和 SMB 之间转换。控制器节点无需进入数据路径即可执行所有
操作;文件中的用户数据不会通过控制器节点,除非是在NFS 或 SMB 之间相互转换。相比 DB 类控制节点,性能更高的全新 ASD 类控制节点大致可将每卷的元数据操作量提高 1 倍。

存储节点
存储节点包含 Panasas 系统存储的所有应用程序和用户数据,构成了架构“数据层”。每个 存储节点都是一台“混合”设备,包含一个闪 存固态硬盘 (SSD)、两个串行 ATA (SATA) 机械硬盘 (HDD)、一台处理器和一对冗余以太网端口,可将其连接到客户端系统和控制器节点。除了专用的内部 UPS(不间断电源), 每个 4U ActiveStor 存储模块均包含冗余风扇和电源,允许存储节点软件将所有 DRAM视为新写入数据的电源保护缓存。闪存 SSD 支持快速访问小型用户数据文件和 PanFS 文件系统元数据。两个大容量 SATA 硬盘共同条带,非常适合非结构化的大型顺序用户数据。存储节点运行由 Panasas 开发且被称为对象存储设备文件系统 (OSDFS) 的软件镜像,可与Panasas 架构的其余部分连接,包括直接连接客户端系统,并代表这些系统管理 SSD 和HDD 中的数据和元数据存储。

Panasas PanFS
为增强ActiveStor 横向扩展NAS 解决方案的性能,Panasas 开发了PanFS 分布式群集并行文件系统。与将并行文件系统软件与传统区块存储阵列松散连接在一起的其他存储产品不同,PanFS 解决方案采用易于维护的现场可更换单元(FRU) 设计,专为更具模块化和更细化的ActiveStor 存储机柜打造。因此,这款企业级解决方案不仅可靠,而且易于管理和扩展。我们将一个存储群集称为一个“领 域”。
PanFS 横向扩展 NAS 并行文件系统旨在提供高性能、可靠性和可管理性。PanFS 平台 图 2. 克服较传统的横向扩展 NAS 解决方案的局限性。

将分布式群集文件系统、卷管理器和基于软件的可扩展纠删码数据保护引擎的功能整合 到一个高性能系统中,该系统可从一个命名空间每秒处理高达数百 GB 的数据。一个系统管理员可以管理任意规模的 PanFS 运行环境,从几十 TB 到几十 PB 用户数据的规模都可进行管理。
为简化可用性,PanFS 解决方案支持的命名空间既可以只包含一个卷,也可以根据需要包含任意数量的卷。为了最大程度地提高吞吐量和可扩展性,PanFS 运行环境将数据分布到存储节点池中, 并支持通过多种用户身份验证模式直接并行访问数据,而且通过多个访问协议控制数据访问权 限,从而实现顺畅集成到 Linux、macOS 和Windows 环境。对性能要求最高的客户端通过DirectFlow 并行数据协议访问 PanFS 架构,而传统的 NFS 和 SMB 协议则提供对相同命名空间的开放式访问。


PanFS 架构(见图 2)由以下功能块组成:
*并行文件系统– 协调对象存储设备的操作和元数据处理
* OSDFS – 为客户端系统从硬盘存储和检索数据
*可扩展元数据服务 – 缓存一致性和文件元数据处理
*群集管理服务 – 管理当前正常运行且处于“仲裁”状态的节点以及管理不属于这种情况的节点,节点出现故障时执行恢复操作,执行配置更改等
*PanActive Manager – CLI、SNMP 和 XML 管理界面
*DirectFlow 协议 – 针对 Linux 和 macOS提供原生高性能、缓存一致性文件访问

NFS 协议 – 适用于 Linux、macOS 等的标准 NFSv3 协议
SMB 协议 – 适用于 Windows 和 macOS 的标准 SMBv3.1 协议
控制器网关服务 – 支持通过上层的协议实现导出 PanFS 架构
基于对象可扩展性的并行文件系统
Panasas PanFS 群集并行文件系统从底层分布式对象存储设备池提供横向扩展 NAS 文件访问。基于对象的数据布局是 Panasas 架构高可扩展性和高效率背后的关键设计原则之一。PanFS 环境中的文件存储在对象内部,但由于使用逐文件纠删码保护每个文件,因此我们将文件“分片”或分段在多个对象上。整个文件存储在一个“虚拟对象”中,该虚拟对象由许多存储分片的组件对象组成。PanFS 运行环境仅存储组件对象;而虚拟对象只是一个映射,用于标示组件对象集以及组成该文件的分段参数。该映射存储在组件对象附近。为避免单个存储节点故障影响给定文件的多个组件对象,将文件的所有组件对象分布在不同的存储节点上。文件系统元数据(文件相关信息)和目录也存储在对象内,并与包含文件数据的对象保存在同一个对象存储中。
DirectFlow 协议支持以原生高性能的方式对对象存储设备数据进行直接客户端访问。使用DirectFlow 协议的客户端可绕过元数据管理器,直接并行读取 对象以及将对象写入存储节点。DirectFlow 客户端通过远程过程调用(RPC) 与带外元数据管理器进行交互,以获取存储文件的对象的访问权限和位置信息(例如映射)。

对象存储设备文件系统
所有 PanFS 数据服务都建立在存储节点的功能之上。存储节点上的软件实现一个称为对象存储设备文件系统 (OSDFS) 的抽象层。
DirectFlow 协议描述了 DirectFlow 客户端软件需要存储节点执行的对象级读取和写入操作。
为了优化性能,OSDFS 在SSD 和HDD 上包含高级缓存功能和智能对象数据放置功能。除了用于 改善数据检索的读取缓存之外,OSDFS 还将新写入的数据缓存到电源保护的DRAM 中。将新写入的数据累积到更大的顺序区域进行写入,从而减 少了数据碎片,这样以后读取相同的数据时也具 有顺序性。OSDFS 根据对象的大小,为每个对象确定存储节点内的最佳物理存储设备。
小于 60KB 的 PanFS 元数据和用户文件将驻留在存储节点的 SSD 上,而大于 60KB 的所有用户数据则驻留在存储节点的硬盘上。


可扩展元数据服务
PanFS 元数据服务在控制器节点上运行,实现所有文件系统语义,并跨存储节点管理数据分片(分段)。它们控制分布式文件系统操作,例如文件级和对象级元数据一致性、客户端缓存一致性、从客户端 I/O 中断的可恢复性、存储节点操作以及对文件进行安全的多用户访问。可移植操作系统接口(POSIX) 合规性要求对目录层次结构或文件元数据的每个修改都为原子级;控制器节点使用事务日志确保这种原子性。容错基于将每个本地事务日志同步复制到另一个控制器节点,也就是说,除本身具备其他职责外, 该控制器节点是为前一个控制器节点指定的 “备份节点”。备份节点关系将自动分配和重新分配。

群集管理服务
每个 ActiveStor 系统都是一个由存储节点和控制器节点组成的群集。群集中的每个节点除了运行通用的 PanFS 群集管理服务之外, 还运行其他服务以对此通用服务加以增强,这些服务包括硬件监控、配置管理以及控制在相应节点上运行的服务。客户将在领域中选择由三个或更多控制器节点构成的任意子集作为“复制集” 的一部分,这些“复制集”将托管全局配置数 据库的复制副本。复制集中的控制器节点将通过 Paxos 算法投票选取其中一名成员为“领域主节点”;该主节点负责运行该领域的主群集管理服务。该过程避免了其他纵向扩展存储架构中常见的所谓“脑裂”情况,
这是因为,在一个领域内至少需要三个控制器
节点才能正常运行。领域主节点负责修改全局系统配置,检测并响应群集节点故障,以及处理软件升级和系统重启。另外,它还负责决定哪些服务在领域中的哪些节点上启动。

Panasas PanActive Manager
存储管理员通过 Panasas PanActive Manager
这一基于 Web 的直观 GUI,与 PanFS 群集管理服务进行交互。借助于此,存储管理员可将 ActiveStor 存储机柜群集作为单个设备进行管理,无论其规模如何,从 而为整个命名空间提供单点存储管理。PanActive
Manager 可自动执行关键工作流程,例如新存储发现、简化性能的负载平衡,以及报告、快照、用户配额实施等企业数据服务。除了通过 PanActive Manager 访问PanFS 运行环境外,管理员还可以使用命令行界面 (CLI)、可脚本化的 XML 界面和基于标准的 SNMP 界面。

Panasas DirectFlow 并行数据访问协议
Panasas DirectFlow 并行数据访问协议允许客户端系统直接并行访问整个 ActiveStor 存储群集中的所有存储节点,从而避免了传统的协议 I/O 瓶颈。不仅比 NFS 和 SMB 等行业标准协议通常可以实现的性能更高,而且增加了对客户端系统间缓存一致性的支持,而这些行业标准协议则不提供此支持。 作为一个文件系统模块来实现,并在客户端操作系统的内核中运行。控制器节点和存储节点中有相应的 DirectFlow 协议服务器端组件。客户端内核模块实施标准的虚拟文件系统 (VFS) 接口;客户端可作为符合标准的 POSIX 文件系统来访问 PanFS 平台。
DirectFlow 客户端使用分片方法将文件分成碎片。数据写入时,首先进行分片处理。然后,在分片上运行纠错算法,以生成该文件区域的数据保护信息,其中保护信息被视为额外的分片。接下来,所有分片将通过
DirectFlow 协议作为独立组件对象并行写入,每个分片写入一个不同的存储节点。同样,客户端以并行方式直接从包含分片组件对象的存储节点获取这些对象,并将它们组合到所需的文件中,以读取文件(见图 3)。

在客户端执行纠删码,这消除了较传统横向扩展 NAS 解决方案的存储端纠删码产生的性能瓶颈。

NFS 和 SMB 协议
除了原生 DirectFlow 访问, PanFS 运行环境还通过标准的 NFS 或 SMB 协议,为客户端系统提供可扩展的访问。在控制器节点上元数据 并行数据访问

作为“网关”运行(见图 4),这使得 PanFS 平台能够集成到由 Linux、macOS 和 Windows 客户端组成的多样化 IT 环境中。
NFS 服务是标准 FreeBSD NFS 服务器的优化版本,支持NFSv3 协议。可通过两种方式对 PanFS 环境进行 SMB 访问:

在要求访问 PanFS 运行环境的系统中运行的DirectFlow 客户端

一种是较早的支持跨协议缓存一致性的 SMB 协议工具,一种是性能已大幅提升但尚不支持跨协议缓存一致性的全新 SMB 协议工具。如果您希望同时从 NFS 和 SMB 访问文件,跨协议缓存一致性就非常重要。旧版PanFS SMB 服务可在 DB 级和 ASD 级的控制器节点上运行,它衍生自符合 MicrosoftSMB 协议规范、具有商业许可证的 SMB2.1 工具(Panasas 是 Microsoft 协议的被许可方)。而新版 PanFS SMB 服务仅能在更强大的 ASD 级控制器节点上基于 Samba 版本4.6.6 运行。使用任一 SMB 网关解决方案, 用户都可以轻松管理在 Microsoft Windows 或 macOS 环境中创建的文件。可以通过Active Directory 或轻量级目录访问协议(LDAP) 等多种方式对用户身份验证进行管理。
在 PanFS 平台上,管理员可以将 Windows 安全标识符 (SID) 映射到 Linux 用户 ID。这样,存储配额可同时应用于指定用户的
Windows、macOS 和 Linux 帐户。

元数据架构
存储管理员可以轻松地在 PanFS 全局命名空间内创建卷。
卷是目录和文件的标准层次结构,在 PanFS 操作环境中共享公用存储池的容量,但它们将整 个命名空间分隔成多个可单独管理控制的区 域。例如,每个用户容量配额都可以在卷级定 义,每个卷都是唯一的。此外,快照也是在卷 级提取的。卷是文件系统命名空间中的顶级目 录。每个卷都有一组与其关联的管理服务,用 于管理该卷的行为、定义配额和提取快照,例如,每个卷都有一个在不同的控制器节点上运行的卷管理器。由于控制器节点的数量会随着系统的横向扩展而增加,因此通过采用这种分区模式,文件系统元数据的整体性能会随着整个命名空间的增长呈线性扩展。
“元数据”一词可以同时指代多种不同的事物。而且,通常对于不同的供应商来说,指代的事物也不尽相同。总的来说,元数据几乎可以指代数据以外的任何事物。在 PanFS 操作环境中,被视为元数据的事物包括:
-领域主节点将全局
-配置数据库视为元数据。
-控制器节点将目录层次结构和文件名信息视为元数据。
-控制器节点将访问控制列表 (ACL)、权限位、文件所有者等文件属性视为元数据。
-控制器节点将一个文件(虚拟对象)对面向 “包含该文件的分片组件对象”的一组ID 的映射视为元数据。
-存储节点将从一个组件对象 ID 到面向“该存储节点中的该组件对象”的一组区块地址的映射视为元数据。
PanFS 平台将元数据分为两个基本类别:文件级和区块级。文件级元数据由控制器处理,但存储在存储节点上。区块级元数据仅在存储节点内使用,且仅在存储节点内可见。


文件级元数据
PanFS 操作环境内具有多种不同类型的文件元数据,包括典型的用户可见信息,如所有者、大小和修改时间。此外,它还包含从每个文件的虚拟对象到组件对象 ID 组的各文件映射, 各文件映射会显示每个文件的分片上所存储的组件对象以及数据如何在这些对象上分段。
Panasas 解决方案将此文件元数据存储为与该文件其中三个组件对象相关联的“扩展属 性”。这些组件对象被指定为“属性存储组
件”。其余的组件对象只具有基本属性,如单个对象长度和修改时间等。


区块级元数据
存储节点 (OSDFS) 内的软件使用“延迟分配”模式管理区块级元数据。在该模式中, 会首先对数据、区块指针和对象描述符进行批处理,执行大量写入操作,然后再将它们发送到 SSD 和 HDD。ActiveStor 平台的集成式 UPS 负责保护 DRAM 中的 OSDFS 写入缓冲区,并在断电或出现其他系统故障时将其写入磁盘。
OSDFS 是目前“本地”文件系统的典型代表。它通过传统的直接、间接、双重间接模式跟踪每个组件对象

的字节存储在硬盘中的位置。针对写入时复制引用计数优化的专有位图式数据结构可跟踪可用空间。对于 PanFS 高度节省空间的快照技术来说,写入时复制是其必要的组成部分。
在传统的 NAS 系统中,区块级元数据管理通常会消耗大部分可用处理能力。将较低级别的驱动器管理转交给存储节点后,相比于同等的
SAN 或 NAS 文件系统管理器,PanFS 控制器节点的工作量将大幅减少,因为前者除了要追踪文件系统中的所有文件外,还必须追踪文件系统中的所有区块。

Panasas PanFS 中的数据保护
PanFS 架构中的数据具有多层高级可扩展保护, 从而使系统在提供出色性能的同时,具有高度的 可用性和容错性。


纠删码数据保护
PanFS 平台部署了一款先进的逐文件分布式纠删码数据软件,该软件具有两级保护。由于每个文件中的数据都分布在群集的存储节点中,因此可以采用双奇偶校验纠删码级保护,无论是硬盘还是整个节点,均可纠正多达两个同时发生的错 误。而当硬盘中出现部分区块无法访问发生错误的时候,第二级保护会处理这些错误。这样,系统可以检测并纠正扇区级错误和其他低级问题, 而无需执行完全节点级重建。
PanFS 操作中的顶级数据保护是基于每个文件进行计算的,而不是像其他架构那样,基于每个硬盘或者在 RAID 组内进行计算。文件是在存储节点中进行分片处理的。分片是指每个文件被拆分到存储节点的不同子集中。如果一个存储节点发生错误,将只会影响该文件的一个分片,而且纠错算法可以利用该文件保留的分片轻松重建丢失的数据。
PanFS 操作环境中的第二级数据保护被称之为“垂直奇偶校验”。它可以保护每个存储节点 内的硬盘级扇区,避免其发生错误(即不可恢复的读取错误或 URE)。URE 比硬盘的彻底崩溃更普遍,
甚至可能瞬息万变,时而发生错误,时而恢复正常。在系统重建一组文件时,如果存储节点上出现 URE 错误,这对于系统来说就像一个附加错误,有可能会引发“很多错误”,并导致该文件数据丢失。垂 直奇偶校验可以检测并纠正这些 URE 错误,避免出现“很多错误”。


随规模不断提升的可靠性
对于基于物理 RAID 组的传统存储产品,
无论是在硬件中还是在软件中实施,其数据保护策略都使用多组驱动器,并基于“可从每组
RAID 中的一个甚至是两个驱动器错误中恢复” 的算法。这些 RAID 组通常很小,大约包含 12 到 24 个硬盘,而且通常大小都是固定的。一旦发生错误,RAID 控制器将从“热备份”池中提取一个闲置且未使用的硬盘,并使用一种算法将发生错误的硬盘中的数据完全填充到新的硬盘中。
这种方法会导致几个严重的、甚至可能削弱性能的后果:
RAID 组的“重建”速度最快只能与新硬盘接受重建数据的速度一致。
随着硬盘容量的不断增长,其写入带宽的增长速度即使增长,也难以与其容量的增长速度相匹配。
由于硬盘在其整个生命周期内发生错误的速率大致恒定不变,因此,当 RAID 组从较早的发生错误的硬盘中恢复时,RAID 组中再发生硬盘错误的概率将取决于重建第一个硬盘所需的时间。例如,重建的时间越长,发生 “双重故障”和数据丢失的可能性就越大。
您虽然买了足够的硬盘,储备在“热备份 池”中,但是这些硬盘并不会对您所需的性能或容量产生影响。
使用这种架构方法意味着随着扩展的不断增加,整体数据可靠性会不断下降。而
PanFS 平台则可以随着扩展(和性能)的提升而提高数据可靠性。其中最重要的一点是并行重建。PanFS 重建的是文件而不是硬盘,而且由于文件分别分散在所有存储节点的不同子集中,因此可以利用所有存储节点上的带宽一次性并行重建所有受故障影响的文件。从存放文件的存储节点读取每个文件的残留碎片,并将每个文件的重建部分写入其他存储节点。

PanFS 重建不受单个硬盘性能的影响。重建性能与数据访问性能一样,呈线性扩展。重建时间的缩短大大减少了因文件未被所有数据保护层完全覆盖而产生的漏洞风险。重建每个文 件、读取每个文件的残留数据和纠删码奇偶校 验信息、计算丢失的数据以及将重建数据写入 新的存储节点,这些实际工作都是在系统的所 有控制器节点中完成的。随着系统中控制器节 点的不断增加,重建性能也将呈线性增长。


数据清理
PanFS 操作环境对所有文件执行后台清理。它会对每个文件进行检查,确保每个文件中所有级别的数据保护信息都与该文件中的相关数据相匹配。如果检测到不一致的纠删码奇偶校验信息(例如,某一级别的纠删码与数据不匹配),即会使用其他两级保护通过文件级重建来纠正错误。数据保护系统底部的垂直奇偶校验层可以检测和纠正硬盘介质中潜在的“位衰减”(bit rot) 错误。数据清理对于及早发现潜在故障非常重要,有助于 在发生数据丢失风险之前修复。


扩展文件系统可用性
除了双奇偶校验纠删码和垂直奇偶校验这两级数据保护外,PanFS 解决方案还针对命名空间、目录层次结构和文件名提供了一个额外的数据保护层,即扩展文件系统可用性 (EFSA)。如果出现纠删码无法恢复的低概率事件(例如三个或以上存储节点同时发生错误),PanFS 系统会识别受影响的文件,并将其作为不良文件进行隔离。由于我们针对目录层次结构和文件名设置了额外的保护层,因此我们通常能够将受影响文件的完整路径名准确地告知管理员。这样,用户将可以正常访问未受故障影响的所有文件(通常是绝大多数用户文
件),同时会对少数受影响的文件进行记
录,利用备份或其他源文件将其恢复。

结论
在 PanFS 操作环境中运行的 Panasas ActiveStor 架构,旨在突破传统横向扩展 NAS架构的性能限制,并克服较传统的横向扩展NAS 解决方案的局限性。全面且紧密集成的 Panasas 解决方案具有出色的性能,可直接并行访问 TB 级和 PB 级数据, 同时避免了传统的 NAS 系统在扩展过程中固有的可靠性问题。


大型非结构化数据集的真正线性可扩展性
Panasas 解决方案能够帮助您轻松实现存储性能和容量的无缝扩展。ActiveStor 机箱从 10 个增加到 100 个,甚至是 1,000 个,以接近完美的线性扩展方式提升性能、容量和客户端访问速度。
超快并行性能
Panasas DirectFlow 协议能够满足您的最高速度传输要求,通过客户端对多个存储节点实施直接并行数据 I/O,从而缩短工作时间。
混合工作负载
Panasas ActiveStor 架构的 I/O 性能可在大量同时运行的应用程序间保持一致,
即使在他们读写大小各异的非结构化数据集时亦
不例外。
企业级可靠性和可用性
在增加 ActiveStor 横向扩展的 NAS 时, 数据可靠性和可用性也会随之不断提升。
Panasas 先进的逐文件分布式纠删码软件工具可以提供两级保护。在存储节点发生故障 时,一级保护可以检测并纠正错误。另外一级保护检测并纠正存储节点内的扇区级错误和其他低级问题,而无需执行完全节点级重建。此外,Panasas将所有存储用户直接连接到横向扩展的 NAS 群集的所有存储节点,在提高性能的同时消除热点并提升可用性。
简化管理,降低成本
Panasas ActiveStor 解决方案是一套全面集成的横向扩展 NAS 系统,无论如何扩展,都可以实现单点管理。它能够提供您所期待的 NAS 系统的企业数据服务,并针对高性能的商业市场工作负载进行了优化。
Panasas 性能强大、简单
易用,将诸多不同的非结构化数据工作负载整合到一个横向扩展的 ActiveStor 解决方案中,从而降低了数据中心存储的复杂性。

如需了解有关 Panasas 性能横向扩展
NAS 的更多信息,请访问
www.panasas.com。


2018 Panasas Inc.。保留所有权利。Panasas、Panasas 徽标、ActiveStor、Active Directory、DirectFlow、PanActive 和 PanFS 是 Panasas 公司在美国和/或其他国家/地区的商标或注册商标。所有其他商标、注册商标、商品名称、公司名称和服务标志是其各自所有者的资产。