本篇文章给大家谈谈san框架，以及伞框架对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔，本文目录一览：，1、，如何在Solaris下进行SAN存储配置，2、，存储技术是纯属系统的框架里面的么，3、，hadoop丛集的储存架构一般适宜采用das，nas，san或其他什么架构，4、，基于SAN存储的国家级土地调查数据管理与集成系统建设，Oracle Solaris 10 和 Oracle Solaris 11 自带了一个光纤通道发起方系统，您可以对它进行配置以便将 Sun ZFS ，存储设备提供的光纤通道 (FC) LUN 集成到 Oracl
本篇文章给大家谈谈san框架，以及伞框架对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。
本文目录一览：
- 1、如何在Solaris下进行SAN存储配置
- 2、存储技术是纯属系统的框架里面的么
- 3、hadoop丛集的储存架构一般适宜采用das，nas，san或其他什么架构
- 4、基于SAN存储的国家级土地调查数据管理与集成系统建设
如何在Solaris下进行SAN存储配置
Oracle Solaris 10 和 Oracle Solaris 11 自带了一个光纤通道发起方系统，您可以对它进行配置以便将 Sun ZFS
存储设备提供的光纤通道 (FC) LUN 集成到 Oracle Solaris 环境中。本文介绍如何配置 Oracle Solaris 光纤通道系统以及如何配置
Sun ZFS 存储设备来配置供 Oracle Solaris 服务器访问的 FC LUN。可以使用浏览器用户界面 (BUI) 完成这些配置。
本文做出以下假设san框架：
已知 Sun ZFS 存储设备的 root 帐户口令。
已知 Sun ZFS 存储设备的 IP 地址或主机名。
已配置好 Sun ZFS 存储设备使用的网络。
Sun ZFS 存储设备已配置有具有足够可用空闲空间的存储资源池。
已知 Oracle Solaris 服务器的 root 帐户口令。
Sun ZFS 存储设备已经连接到光纤通道交换机。
已在 FC 交换机上配置了相应的区域，允许 Oracle Solaris 主机访问 Sun ZFS 存储设备。
配置 Oracle Solaris FC 系统
为了让 Sun ZFS 存储设备和 Oracle Solaris 服务器彼此标识，每个设备的 FC 全球编号 (WWN)
必须在另一个设备中注册。您必须确定在 FC 交换机上实现的某些形式 FC 区域的 WWN。
主机的 FC WWN 用于向 Sun ZFS 存储设备标识主机，并且需要它来完成本文中的配置过程。
WWN 来自在 Oracle Solaris 主机和 Sun ZFS 存储设备中安装的 FC 主机总线适配器 (HBA)。
为了配置 Oracle Solaris FC 系统，您需要知道 Sun ZFS 存储设备的 WWN。在传统的双结构存储区域网络 (SAN) 中，Sun
ZFS 存储设备至少有一个 FC 端口连接到每个结构。因此，您必须至少确定两个 FC WWN。
标识 Sun ZFS 存储设备 FC WWN
首先，您需要建立一个到 Sun ZFS 存储设备的管理会话。
在 Web 浏览器的地址栏中输入一个包含 Sun ZFS 存储设备的 IP 地址或主机名的地址，如以下 URL 所示：
;ip-address or host name:215
将显示登录对话框。
输入用户名和口令，然后单击 LOGIN。
成功登录到 BUI 之后，您可以通过 Configuration 选项卡标识 WWN。
单击 Configuration SAN Fibre Channel
Ports。
将显示安装在 Sun ZFS 存储设备中的 FC 端口。由于每个 HBA 通道只有一个已发现的端口，因此这必须是 HBA 通道本身。
在前面的示例中，端口 1 具有 WWN 21:00:00:e0:8b:92:a1:cf，端口 2 具有 WWN
21:01:00:e0:8b:b2:a1:cf。
在每个 FC 端口框右侧的列表框中，应该将 FC 通道端口设置为 Target。如果情况并非如此，则 FC
端口可能用于其san框架他用途。在调查原因之前，请不要更改设置。（一种可能的原因是可能用于了 NDMP 备份。）
标识 Oracle Solaris 主机 HBA WWN
如果 Oracle Solaris 主机已经通过相应的电缆连接到 FC 交换机，则使用以下命令来标识 WWN。
要获得主机的 WWN，输入以下命令：
root@solaris:~# cfgadm -al -o show_FCP_dev
root@solaris:~#
在该输出中，您需要的控制器号为 c8 和 c9。当端口类型为
fc-fabric 时，您还可以看到两个端口都连接到一台 FC 交换机。接下来，查询这些控制器来确定发现的 WWN。
如果 HBA 端口未用于访问任何其他连接 FC 的设备，则可使用以下命令来确定 WWN。
root@solaris:~# prtconf -vp | grep port-wwn
port-wwn: 210000e0.8b89bf8e
port-wwn: 210100e0.8ba9bf8e
root@solaris:~#
如果正在访问 FC 设备，则以下命令将显示 FC HBA WWN。
root@solaris:~# luxadm -e dump_map /dev/cfg/c8
root@solaris:~#
显示为类型 0x1f 的最后一个条目 (Unknown type, Host Bus Adapter)
在端口 WWN 条目下提供了相应的 WWN。重复此命令，使用在第 1 步中标识的其他控制器替换
/dev/cfg/c8。
从输出中，您可以看到 c8 具有 WWN
21:00:00:00:e0:8b:89:bf:8e，c9 具有 WWN
21:01:00:e0:8b:a9:bf:8e。
然后，可以使用 Sun ZFS 存储设备 HBA 和 Oracle Solaris 主机 HBA WWN 来配置任何 FC 交换机区域。
完成此操作之后，您可以运行以下命令来验证正确的区域：
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
现在，您可以看到可由 Oracle Solaris 主机访问的 Sun ZFS 存储设备提供的 WWN。
使用浏览器用户界面配置 Sun ZFS 存储设备
作为一个统一的存储平台，Sun ZFS 存储设备既支持通过 iSCSI 协议访问数据块协议
LUN，又支持通过光纤通道协议进行同样的访问。这一节讲述如何使用 Sun ZFS 存储设备 BUI 来配置 Sun ZFS 存储设备，使其能够识别 Oracle
Solaris 主机并向该主机提供 FC LUN。
定义 FC 目标组
在 Sun ZFS 存储设备上创建目标组，以便定义 Oracle Solaris 服务器可通过哪个端口和协议访问提供给它的 LUN。对于此示例，创建 FC
目标组。
执行以下步骤在 Sun ZFS 存储设备上定义 FC 目标组：
单击 Configuration SAN 显示 Storage Area Network (SAN)
屏幕
单击右侧的 Targets 选项卡，然后选择左侧面板顶部的 Fibre Channel
Ports
将鼠标放置在 Fibre Channel Ports 框中，将在最左侧出现一个 Move 图标（）
单击 Move 图标并将此框拖到 Fibre Channel Target
Groups 框，如图 4 所示。
拖动橙色框中的条目来创建新的目标组。将创建组，并将其自动命名为 targets-n，其中
n 是一个整数。
将光标移到新目标组条目上。在 Fibre Channel Target Groups 框右侧会出现两个图标
要重命名新的目标组 targets-0，单击 Edit 图标（）显示对话框
在 Name 域中，将默认名称替换为新 FC 目标组的首选名称，单击
OK。本例中用名称 FC-PortGroup 替换
targets-0。在此窗口中，您还可以通过单击所选 WWN 左侧的框来添加第二个 FC 目标端口。第二个端口标识为 PCIe 1:Port 2。
单击 OK 保存更改。
单击 APPLY。 Fibre Channel Target Groups
面板中显示了如上的更改。
定义 FC 发起方
定义 FC 发起方以便允许从一台或多台服务器访问特定卷。应该配置对卷的访问权限，以便允许最少数量的 FC
发起方访问特定卷。如果多个主机可以同时写入一个指定卷并且使用非共享文件系统，则各主机上的文件系统缓存可能出现不一致，最终可能导致磁盘上的映像损坏。一般对于一个卷，只会赋予一个发起方对该卷的访问权限，除非使用的是一种特殊的集群文件系统。
FC 发起方用于从 Sun ZFS 存储设备的角度出发来定义“主机”。在传统的双结构 SAN 中，主机将至少由两个 FC 发起方来定义。FC
发起方定义包含主机 WWN。为了向 Sun ZFS 存储设备标识 Oracle Solaris 服务器，必须在存储设备中注册 Oracle Solaris FC
发起方 WWN，为此要执行以下步骤。
单击 Configuration SAN 显示 Storage Area Network (SAN)
屏幕
单击右侧的 Initiators 选项卡，然后选择左侧面板顶部的 Fibre Channel
Initiators
单击 Fibre Channel Initiators 左侧的 图标显示 New Fibre Channel Initiator 对话框
如果已在 FC 交换机上配置了区域，则应显示 Oracle Solaris 主机的 WWN（假设没有为它们指定别名）。
在对话框底部单击一个 WWN（如果显示）预填充全球名称，或者在 World Wide Name 框中键入相应的
WWN。
在 Alias 框中输入一个更有意义的符号名称。
单击 OK。
对于其他涉及 Oracle Solaris 主机的 WWN，重复前面的步骤。
定义 FC 发起方组
将一些相关 FC 发起方组成逻辑组，这样可以对多个 FC 发起方执行同一个命令，例如，可以使用一个命令对一个组中的所有 FC 发起方分配 LUN
访问权限。对于下面的示例，FC 发起方组将包含两个发起方。注意，在集群中，多个服务器被视作一个逻辑实体，因此发起方组可以包含更多发起方。
执行以下步骤创建一个 FC 发起方组：
选择 Configuration SAN 显示 Storage Area Network (SAN)
屏幕。
选择右侧的 Initiators 选项卡，然后单击左侧面板顶部的 Fibre Channel
Initiators。
将光标放置在上一节中创建的一个 FC 发起方条目上。此时，在该条目左侧会出现一个 Move 图标（）
单击 Move 图标并将其拖到右侧的 Fibre Channel Initiator
Groups 面板中。此时，在 Fibre Channel Initiators Groups 面板底部出现了一个新的条目（黄色亮显）
将光标移到新的条目框上，然后释放鼠标键。此时会创建一个新的 FC 发起方组，其组名称为
initiators-n，其中 n 是一个整数，如图 13
所示。
将光标移到新发起方组条目上。在目标发起方组框右侧会出现几个图标
单击 Edit 图标（）显示对话框
在 Name 域中，将新发起方组的默认名称替换为选定名称，单击 OK。本例使用
sol-server 作为该发起方组名称。
在此对话框中，您可以通过单击 WWN 左侧的复选框向组中添加其他 FC 发起方。
在 SAN 配置屏幕中单击 APPLY 确认所有修改，如图 15 所示。
定义 Sun ZFS 存储设备项目
为了对相关卷进行分组，您可以在 Sun ZFS 存储设备中定义一个项目。通过使用项目，可以继承项目所提供文件系统和 LUN
的属性。还可以应用限额和保留。
执行以下步骤创建一个项目：
选择 Shares Projects 显示 Projects 屏幕
单击左侧面板顶部的 Projects 左侧的 图标显示
Create Project 对话框
要创建一个新项目，输入项目名称，单击 APPLY。在左侧面板的 Projects 列表中出现了一个新项目。
选择这个新项目查看其所含组件
定义 Sun ZFS 存储设备 LUN
接下来，您将从一个现有存储资源池中创建一个 LUN，供 Oracle Solaris 服务器访问。在下面的示例中，将创建一个名为
DocArchive1 的精简供应 64 GB LUN。
我们将使用定义 FC 目标组一节中创建的 FC 目标组
FC-PortGroup 来确保可以通过 FC 协议访问该 LUN。将使用定义 FC
发起方组一节中定义的发起方组 sol-server 来确保只有在 sol-server
组中定义的服务器才可以访问该 LUN。（在本例中，该发起方组只包含一个服务器。）
执行以下步骤创建一个 LUN：
选择 Shares Projects 显示 Projects 屏幕。
在左侧 Projects 面板中，选择该项目。然后选择右侧面板顶部的 LUNs
单击 LUNs 左侧的 图标显示 Create LUN
对话框，如图 20 所示。
输入合适的值以配置该 LUN。对于本例，将 Name 设置为
DocArchive1，Volume size 设置为 64 G，并且选中
Thin provisioned 复选框。将 Target Group 设置为 FC 目标组
FC-PortGroup，将 Initiator Group 设置为
sol-server。将 Volume block size 设置为
32k，因为该卷将保存 Oracle Solaris ZFS 文件系统。
单击 APPLY 创建该 LUN 使其供 Oracle Solaris 服务器使用。
配置 LUN 以供 Oracle Solaris 服务器使用
现在我们已准备好了 LUN，可以通过 FC 发起方组使用它了。接着必须执行以下步骤，配置 LUN 以供 Oracle Solaris 服务器使用：
发起一个连接 Sun ZFS 存储设备的 Oracle Solaris FC 会话，如清单 1 所示。由于在发起该 FC 会话前已创建了 LUN，该
LUN 将会自动启用。
清单 1. 发起 Oracle Solaris FC 会话
root@solaris:~# cfgadm -al c8 c9
root@solaris:~# cfgadm -c configure c8::210100e08bb2a1cf
root@solaris:~# cfgadm -c configure c9::210000e08b92a1cf
root@solaris:~# cfgadm -al -o show_FCP_dev c8 c9
root@solaris:~#
验证对 FC LUN 的访问，如清单 2 所示。
清单 2. 验证对 FC LUN 的访问
root@solaris:~# devfsadm -c ssd
root@solaris:~# tail /var/adm/messages
[...]
[...]
在本例中，多路径状态最初显示为 degraded，因为此时只识别了一个路径。进一步，多路径状态更改为
optimal，因为存在多个到达卷的路径。
磁盘设备现在同样可供内部服务器磁盘使用。
格式化 LUN，如清单 3 所示。
清单 3. 格式化 LUN 格式
root@solaris:~# format
Searching for disks...done
c1t600144F0F05E906C00004ED6096D0001d0: configured with capacity of 63.93GB
AVAILABLE DISK SELECTIONS:
[...]
Specify disk (enter its number): 4
selecting c1t600144F0F05E906C00004ED6096D0001d0
[disk formatted]
Disk not labeled. Label it now? y
FORMAT MENU:
disk - select a disk
type - select (define) a disk type
partition - select (define) a partition table
current - describe the current disk
format - format and analyze the disk
repair - repair a defective sector
label - write label to the disk
analyze - surface analysis
defect - defect list management
backup - search for backup labels
verify - read and display labels
save - save new disk/partition definitions
inquiry - show vendor, product and revision
volname - set 8-character volume name
!cmd - execute cmd, then return
quit
format q
在准备好的 LUN 上构建 Oracle Solaris ZFS 文件系统，为此创建一个新的 ZFS 池、将此设备添加到 ZFS 池中，并创建 ZFS
文件系统，如清单 4 的示例所示。
清单 4. 构建 Oracle Solaris ZFS 文件系统
root@solaris:~# zfs createzpool create docarchive1 \
c1t600144F0F05E906C00004ED6096D0001d0
root@solaris:~# zfs list
[...]
root@solaris:~# zfs create docarchive1/index
root@solaris:~# zfs create docarchive1/data
root@solaris:~# zfs create docarchive1/logs
root@solaris:~# zfs list
[...]
df(1) 命令的最后两行输出表明，现在大约有 64 GB 新空间可供使用。转载仅供参考，版权属于原作者。祝你愉快，满意请采纳哦
FC、IP网络的安全性
不论是光纤通道还是IP网络，主要的潜在威胁来自非授权访问，特别是管理接口。例如，一旦获得和存储区域网络(SAN)相连接服务器管理员的权限，欺诈进入就可以得逞。这样入侵者可以访问任何一个和SAN连接的系统。因此，无论使用的是哪一种存储网络，应该认识到应用充分的权限控制、授权访问、签名认证的策略对防止出现安全漏洞是至关重要的。
测错攻击在IP网络中也比在光纤通道的SAN中易于实现。针对这类攻击，一般是采用更为复杂的加密算法。
尽管DoS似乎很少发生，但是这并不意味着不可能。然而如果要在光纤通道SAN上实现DoS攻击，则不是一般的黑客软件所能实现的，因为它往往需要更为专业的安全知识。
实现SAN数据安全方法
保证SAN数据安全的两个基本安全机制是分区制zoning和逻辑单元值(Logical Unit Number)掩码。
分区制是一种分区方法。通过该方法，一定的存储资源只对于那些通过授权的用户和部门是可见的。一个分区可以由多个服务器、存储设备、子系统、交换机、HBA和其它计算机组成。只有处于同一个分区的成员才可以互相通讯。
分区制往往在交换级来实现。根据实现方式，可以分为两种模式，一为硬分区，一为软分区。硬分区是指根据交换端口来制定分区策略。所有试图通过未授权端口进行的通讯均是被禁止的。由于硬分区是在系统电路里来实现，并在系统路由表中执行，因此，较之软分区，具有更好的安全性。
在光纤通道网络中，软分区是基于广域命名机制的(WWN)的。WWN是分配给网络中光纤设备的唯一识别码。由于软分区是通过软件来保证在不同的分区中不会出现相同的WWNs，因此，软分区技术比硬分区具有更好的灵活性，特别是在网络配置经常变化的应用中具有很好的可管理性。
有些交换机具有端口绑定功能，从而可以限制网络设备只能和通过预定义的交换端口进行通讯。利用这种技术，可以实现对存储池的访问限制，从而保护SAN免受非授权用户的访问。
另一种被广泛采用的技术是LUN掩码。一个LUN就是对目标设备(如磁带和磁盘阵列)内逻辑单元的SCSI识别标志。在光纤通道领域，LUN是基于系统的WWN实现的。
LUN掩码技术是将LUN分配给主机服务器，这些服务器只能看到分配给它们的LUN。如果有许多服务器试图访问特定的设备，那么网络管理者可以设定特定的LUN或LUN组可以访问，从而可以拒绝其它服务器的访问，起到保护数据安全的目的。不仅在主机上，而且在HBA、存储控制器、磁盘阵列、交换机上也可以实现各种形式的LUN屏蔽技术。
如果能够将分区制和LUN技术与其它的安全机制共同运用到网络及其设备上的话，对网络安全数据安全将是非常有效的。
业界对存储安全的做法
尽管目前对于在哪一级设备应用存储安全控制是最优的还没有一个明确的结论，例如，IPSec能够在ASIC、VPN设备、家电和软件上实现，但目前已有很多商家在他们的数据存储产品中实现了加密和安全认证功能。
IPSec对于其它基于IP协议的安全问题，比如互联网小型计算机接口(iSCSI)、IP上的光纤通道 (FCIP)和互联网上的光线通道 (IFCP)等，也能起到一定的的作用。
通常使用的安全认证、授权访问和加密机制包括轻量级的路径访问协议Lightweight Directory Access Protocol (LDAP)、远程认证拨入用户服务(RADIUS), 增强的终端访问控制器访问控制系统(TACACS+)、Kerberos、 Triple DES、高级加密标准(AES)、安全套接层 (SSL)和安全Shell(SSH)。
尽管SAN和NAS的安全机制有诸多相似之处，其实它们之间也是有区别的。很多NAS系统不仅支持SSH、SSL、Kerberos、RADIUS和LDAP安全机制，同时也支持访问控制列表(ACL)以及多级许可。这里面有一个很重要的因素是文件锁定，有很多产品商家和系统通过不同的方式来实现这一技术。例如，微软采用的为硬锁定，而基于 Unix的系统采用的是相对较为松弛的建议级锁定。由此可以看到，如果在Windows-Unix混合环境下，将会带来一定的问题。
呼唤存储安全标准化
SAN安全的实现基础在交换机这一层。因此，存储交换机的标准对网络产品制造商的技术提供方式的影响是至关重要的。
存储安全标准化进程目前还处于萌芽阶段。ANSI成立了T11光纤通信安全协议(FC-SP)工作组来设计存储网络基础设施安全标准的框架。目前已经提交了多个协议草案，包括FCSec协议，它实现了IPSec和光纤通讯的一体化;同时提交的还有针对光纤通讯的挑战握手认证协议(CHAP)的一个版本;交换联结认证协议(SLAP)使用了数字认证使得多个交换机能够互相认证;光纤通信认证协议(FCAP)是SLAP的一个扩展协议。IEEE的存储安全工作组正在准备制定一个有关将加密算法和方法标准化的议案。
存储网络工业协会(SNIA)于2002年建立了存储安全工业论坛(SSIF)，但是由于不同的产品商支持不同的协议，因此实现协议间的互操作性还有很长一段路要走。
关注存储交换安全
大家都已经注意到了为了保证存储安全，应该在存储交换机和企业网络中的其它交换机上应用相同的安全预警机制，因此，对于存储交换机也应有一些特殊的要求。
存储交换安全最重要的一个方面是保护光纤管理接口，如果管理控制台没有很好的安全措施，则一个非授权用户有可能有意或无意地入侵系统或改变系统配置。有一种分布锁管理器可以防止这类事情发生。用户需要输入ID和加密密码才能够访问交换机光纤的管理界面。为了将SAN设备的管理端口通过安全认证机制保护起来，最好是将SAN配置管理工作集中化，并且对管理控制台和交换机之间的通讯进行加密。另外一个方面，在将交换机接入到光纤网络之前，也应该通过ACL和 PKI机制实现授权访问和安全认证。因此，交换机间链接应当建立在严密的安全防范措施下。
存储技术是纯属系统的框架里面的么
什么是存储？
用于存放数据信息的设备或者系统
等同与计算机系统中的外部存储
存储是一个系统
是计算机技术发展的结果
在计算机系统中存储分为外部存储和内部存储，这里我们谈存储主要指计算机系统中的外部存储。
如果再把概念收缩一下，一般来讲我们谈存储是指存储系统，并不是简单的谈硬盘、软盘等。
存储系统是信息技术发展的结果。
为什么要了解存储技术
很简单的原因，存储变得越来越重要了，我们必须要了解存储技术，了解存储技术的发展方向!
存储系统中到底使用了什么技术？
SCSI/ATA
FC/iSCSI
RAID/JBOD
DAS/NAS/SAN
SCSI/ATA是存储系统中最基本的技术，其中SCSI是最重要的.
在存储设备上，使用的SCSI/ATA/FC的硬盘，做成RAID或者JBOD，通过DAS、NAS、SAN的形式，中间使用SCSI、FC或者TCP/IP技术连接主机。存储技术其实就是是计算机技术与通信技术的结合。iSCSI是将来的存储形式，这里不做讨论
存储系统架构—三种架构介绍
DAS ( Direct Attached Storage)直接挂接存储
SAN ( Storage Area Network )存储区域网络
NAS ( Network Attached Storage )网络挂接存储
存储系统架构—DAS
DAS－Direct Attached Storag-存储设备(通常为磁盘或磁带)通过电缆直接与计算机相连；
系统存取访问I/O请求(又称为协议或命令)直接在计算机和存储设备间进行.
存储设备(通常为磁盘或磁带)通过电缆直接与计算机相连，系统存取访问I/O请求(又称为协议或命令)直接在计算机和存储设备间进行。这是一种总线方式的存储，传输距离短，连接方式差。当服务器在地理上比较分散，很难通过远程连接进行互连时，直接连接存储是比较好的解决方案，甚至是唯一的解决方案。
存储系统架构—SAN
SAN－ Storage Area Network
主要目的用于在计算机和存储设备之间传输数据
IP-SAN，FC-SAN
SAN（Storage Area Network存储区域网）:是为连接服务器、磁盘阵列、带库等存储设备专门而建立的高性能网络。SAN技术中最具深远意义的并给SAN技术带来最大好处的，即它由从前采用面向总线的存储结构，转而采用现在的面向网络的存储结构。
存储系统架构—NAS
NAS－Network Attached Storage
一种直连到网络（LAN or WAN）里的特殊用途的存储设备
突出的文件服务性能
向异构客户端平台提供高可用的数据共享
存储产品
磁盘阵列柜
RAID技术
FC技术
SAS技术
iSCSI技术
IB技术
存储服务器
服务器技术
RAID技术
…
hadoop丛集的储存架构一般适宜采用das，nas，san或其他什么架构
hadoop丛集的储存架构一般适宜采用dassan框架，nas，san或其他什么架构
It may take a whils to crawl a site ...
set_time_limit(10000);
Inculde the phpcrawl-mainclass
include("libs/PHPCrawler.class.php");
Extend the class and override the handleDocumentInfo()-method
class MyCrawler extends PHPCrawler
{
资料区域性性(data locality)san框架：这是Hadoop的主要特性，指的是直接在储存资料的节点上做CPU密集型计算。显然，SAN/NAS不适用于任何形式的CPU密集型计算。
RAID：SAN/NAS采用RAID磁碟阵列进行储存，而Hadoop框架通过复本来确保资料的可靠性和容错性。
DAS采用JBOD磁碟阵列进行储存，如果Hadoop节点的内建储存容量较小，可以采用DAS做扩充套件。如果只是想通过Hadoop做资料归档，没有计算，好吧，SAN/NAS是个选择。
hadoop丛集的储存架构一般适宜采用das，nas，san或其他什么架构，适宜采用哪些raid
配置资讯在gridmix_config.xml档案中。gridmix中，每种作业有大中小三种类型：小作业只有3个输入档案（即3个map）；
中作业的输入档案是与正则表示式{part-0000,part-0001,part-000*2}匹配的档案；
大作业会处理处有资料。
分析hadoop丛集的储存架构一般适宜采用das，nas，san或其他什么架构，适宜采用哪些ra
Hadoop提供非常方便的方式来获取一个任务的统计资讯，使用以下命令即可作到：
$ hadoop job -history all job output directory
这个命令会分析任务的两个历史档案（这两个档案储存在job output directory/_logs/history目录中）并计算任务的统计资讯。
NAS，DAS和SAN三种储存架构的区别
NAS储存特点（网路直连储存) DAS储存特点（直连储存）SAN储存（光纤储存）
svn丛集使用什么样的储存架构
Svn命令
1、将档案checkout到本地目录
svn checkout path（path是伺服器上的目录）
例如：svn checkout svn:192.168.1.1/pro/domain
简写：svn co
2、往版本库中新增新的档案
svn add file
amazon云端储存采用什么架构
这个具体还是要根据储存的资料型别和资料量的大小来决定的san框架！有很多型别的云端储存软体。比如：云创储存的Minicloud迷你云，这是一款适合中小企业的云端储存系统，是一个超安全的私有云计算资料中心，采用高可靠的云端储存技术，档案资料块始终以双副本方式在不同节点上存放，绝不丢失资料。同时，迷你云海量储存空间支援灵活使用，既可作为应用软体（如邮箱、视讯监控）的海量储存空间，又可作为员工的私密储存空间，还可以作为资料共享空间，为san框架了确保资料安全，公室内部共享资料与通过网际网路共享资料采用完全隔离的两套系统。在公室内部，可通过逗我的电脑地直接访问自己的私有资料空间，在公室外部，可通过PCWeb介面和移动终端（安卓手机、iPhone以及iPad）等访问minicloud，实现移动公。同时，还提供丰富多彩的应用系统，系统自带企业邮箱、内部虚拟磁碟、网路云盘*、FTP等应用，使用者还可按需安装配置其它应用；可选配超强的桌面虚拟化系统：单伺服器支援100多个瘦终端流畅共享各类应用软体和上网。
网路储存架构是什么呀?
网路储存有两大要件,一者为储存装置,一者为网通装置。企业的网路储存已行之有年,大致分为两种架构:储存区域网络(SAN, Storage Area Neork)和网路附加储存(NAS, Neork Attach Storage)。前者为支援伺服器和储存装置的直接高速资料传输的储存网路架构,后者为直接联机至区域网络 (LAN) 或广域网路 (WAN),以方便由多台伺服器存取资料的储存架构。
请教低成本型Hadoop丛集的网路架构与华为网路装置选型
云端计算和Hadoop中网路是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是资料中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。
基于SAN存储的国家级土地调查数据管理与集成系统建设
张定祥 戴建旺 李宪文 何欢乐
（中国土地勘测规划院，北京，100035）
摘要：本文在对国家级土地调查数据管理与集成系统建设项目背景分析的基础上，提出了系统建设的总体目标和任务，全面阐述了系统的总体设计、运行模式、系统功能设计思想，系统地介绍了各子系统的功能模块设计，最后本文对该管理与集成系统的应用进行了展望。
关键词：土地调查；数据集成；SAN （Storage Area Network）；数据仓库
1 项目背景
目前，随着我国土地调查技术水平不断提高，数据的精度和现势性不断加强，数据资源发挥了越来越重要的作用。但是，我国土地调查数据管理方面还存在一些问题。主要表现在：①数据管理手段落后、数据整合集成度差。大量调查监测与评价数据以文件光盘或纸质方式存放，大多数没有建立集成化的空间数据库；土地资源调查监测数据内容不统一，不同时期数据成果的可比性差，难以形成管理和研究分析需要的区域性时间系列数据；土地数据库存在多种比例尺、多种格式等问题。②数据共享应用存在障碍，数据信息挖掘不够。由于多方面的原因，土地调查数据共享渠道还不够通畅，大量数据资源还未纳入管理，数据应用潜力远没有开发。
当前，建立国家级土地调查数据管理与集成系统的意义在于：①有效整合、集成土地资源调查工程数据成果，为工程提供系列化、标准化的展示成果；②为“金土工程”和“全国土地资源二次详查”等新项目提供标准化、集成化数据产品；③加强数据基础建设，并进行数据信息挖掘，形成土地管理科学决策的数据基础，提高土地科技创新能力和土地资源参与国民经济宏观调控的科学性；④挽救土地资源调查历史数据，加快数据共享应用，保护国家在土地调查多年巨额投资成果。鉴于以上考虑，“土地数据存储管理系统”采用现代数据仓库数据集成技术思路，以三个数据库（土地资料库、土地成果库、土地应用库）、数据整合集成工具包、数据分发和对内对外发布等开发为主要内容，将为国土资源大调查——土地调查原始数据管理、成果数据集成、应用数据产品开发、数据分发服务一体化提供集成的网络化管理与共享平台。该系统的建设将大大提高土地调查数据管理和集成信息化水平。
2 系统建设目标
本系统建设目标为：在对国家级土地数据现状和预测分析基础上，设计并建立基于SAN （Storage Area Network）存域网的土地数据管理与集成系统，实现客户端、数据存储中心和业务系统有机衔接，满足海量土地数据的动态存储、管理维护、更新、整合处理、查询检索等功能，实现土地数据的分布式共享和应用；能够实现对国家级土地调查、评价、规划等数据进行整合、编目、集成形成多层次专题数据建库，并加入数据管理系统；在此基础上，构建土地分中心对外服务共享平台，通过专题数据库整合、集成、网上发布，实现土地调查数据社会化共享。
3 总体设计
3.1 系统总体框架设计
基于SAN存储的国家级土地调查数据管理与集成系统由基础设施、数据和业务应用三层技术体系，安全和整合集成两个技术保障构成，具体的土地数据分中心总体设计架构如图1所示。
图1 土地数据分中心总体设计架构
3.1.1 基础设施层
基础设施层是系统建立及日常运行的基本软硬件环境，其中硬件环境构成了分中心的网络环境、存储环境及安全环境，软件环境则包括操作系统、数据库管理系统、GIS软件环境等。
3.1.2 数据层
数据层是系统建设的核心部分，该层构成了分中心的数据基础设施。全部数据通过建立统一的土地资料元数据实现集中管理与维护。数据层主要由土地资料数据库、土地成果数据库和土地应用数据库组成，数据库内所有土地资料信息在元数据库中管理维护。
3.1.3 业务应用层
业务应用层是分中心的运行层，所有具体的业务人员都在这个基础上实现土地数据分中心的应用。根据应用内容的不同，应用系统包括：土地数据库管理与维护；土地数据库信息检索与查询；土地数据的加工处理与整合；各种土地业务管理应用；国土资源辅助决策支持；科学数据共享服务网站六部分职能。
3.2 运行模式
国家级土地调查数据管理与集成系统日常运行模式有三种，即分中心内部运行模式、院内部运行模式以及院外部运行模式。分中心内部运行模式的核心是土地资料数据的汇交、存储、管理、元数据库维护、数据整合与整理等。院内部运行模式主要为非专业应用系统的普通土地数据用户则可以通过元数据的检索查询完成土地数据的信息浏览、数据下载、数据转换及数据应用工作；此外院内运行的各类土地专业应用系统通过计算机网络，通过访问、检索元数据库实现土地数据仓库的信息共享，从而达到不同格式的土地数据在不同部门和业务系统间的流通、交换和共享利用的目标。
规划院外运行模式涉及国务院各部委机关、国土资源部机关、相关数据中心及信息中心、各级省级国土资源数据中心、省级规划院系统等不同层次和需求用户。
3.3 系统功能设计
3.3.1 采用基于高性能的 SAN 的网络结构
SAN （Storage Area Network）是当前最先进的网络存储方式，本系统数据存储采用光纤布线的方式为用户提高数据传输的带宽和可靠性数据。系统硬件设备主要包括P650小型机、H16 SAN光纤交换机、FastT600光纤磁盘阵列、3583光纤磁带库、IBM EXP400阵列、IBM X365服务器及IBM X445服务器等IBM的设备、SUN的Blade2500图形工作站及Cisco的网络交换机（数据存储结构见图2）。
图2 数据存储结构图
3.3.2 高可扩展性存储设计
从存储容量来看，目前IBM FastT600磁盘阵列可以提供2 T的存储空间，最大可以扩展到16 T的存储容量。IBM 3583－L36光纤磁带库内有36个磁带的舱位，配置了4个磁带驱动器和40盘200 GB的磁带，正常情况下可以存储8 TB的数据，压缩的状态下可存储16 TB的数据。3583磁带库驱动器可以再增加2个，磁带的舱位可以增加到72个。离线磁带的数量理论上是没有限制的，只需更换新的磁带就可以了。
3.3.3 基于数据仓库设计思想的数据存储管理系统
针对国家级土地调查数据多源异构情况复杂而应用目标不十分明确的矛盾，借鉴数据仓库技术思想，设计了数据存储管理系统中土地数据整合集成技术流程。其核心思想在于国家级土地数据通过数据集成工具逐步形成土地资料库、土地成果库、专题产品库等系列产品。系统土地数据整合集成技术体系在以下方面：①外部历史数据进入资料库的元数据录入和数据入库规范，主要由人工处理和系统自动完成；②数据从资料库进入成果库之前的数据转换、抽取、重组、建模、综合和集成过程，主要由系统提供工具软件或数据接口人工操作完成；③成果数据进入应用库之前的数据裁减、融合、接边、格式转换等数据集成过程，以及数据成果库数据挖掘、决策分析功能，此部分主要通过Arc/Engine开发工具的模块和利用Oracle相应的数据挖掘功能实现。
4 功能模块设计
4.1 资料库管理子系统
土地资料库系统通过建立数据的管理元数据、数据命名、数据目录规范入库、构建资料库，实现基于元数据的检索、数据查询、数据预览等功能。土地数据资料进入资料库系统是数据资料的初步整合过程，纸质资料和电子数据进行分类管理，纸质资料只录入编目系统，资料本身不进入数据目录管理系统。电子数据纳入文件目录管理范畴，需要进行元数据录入和文件重命名和数据入库等过程。数据资料整合管理过程主要包括：数据内容选择、元数据录入、文件进入资料库文件目录系统（目录资料不入库）、文件的规范命名、元数据检查修改、元数据查询浏览、数据分发和发布等过程。
土地资料库管理子系统由数据库、管理和维护应用系统、土地数据对外服务系统构成。具体包括：①数据库。根据数据层次的不同，土地资料库管理子系统中含有经过重新目录组织和文件命名的土地资料数据和体现数据目录信息及其他内容的元数据。②数据管理维护系统。针对土地资料数据库、元数据库分别由土地资料管理维护系统、元数据管理维护系统提供相应数据内容的入库、检索、利用、存取控制、备份、恢复等。③土地数据对外服务与数据分发系统。土地数据对外服务系统基于互联网，向社会公众提供元数据、土地资料数据的浏览、查询、下载等土地数据服务。
4.2 成果库管理子系统
在数据库结构预先构建前提下，在经过数据整合和成果提取过程之后，成果数据存储在Oracle Spatial中，数据管理工作包括空间数据本地浏览、数据内容维护和数据库结构维护。具体包括以下几个方面。
4.2.1 成果数据管理
成果最小的组织单位是县，然后确定一个县的土地专题，如县级土地利用、县级动态监测等，系统建库标准参考相关国家建库标准。成果数据的体现按照树型来组织，第一级是成果主题，然后根据成果组织的类型分为分幅和行政区两种方式。分幅方式主要是根据标准比例尺将全国区域分为相应数量的逻辑尺寸，数据的组织采用这两种方式相结合，主要是因为目前有很多已有土地数据成果，本身就是采用分幅来汇交数据，在不改变原有数据的数据范围下就可以完成数据的拼接。另一方面，一般显示数据采用行政区省—市—县逐级索引的，便于数据检索。
（1）成果分幅管理 标准百万分幅、标准50 万分幅、标准25 万分幅、标准10 万分幅、标准5万分幅、标准2.5万分幅、标准1万分幅。
（2）成果行政区管理 省级索引图、市级索引图、县级实际成果数据 （图3）。
图3a 百万分幅索引图
图3b 全国省界索引图
图3c 广东省界索引图
图3d 县级土地利用专题数据
4.2.2 成果空间数据浏览
此功能模块主要用来实现对存储在Oracle Spatial中的成果数据进行预览，主要包括如下空间图形操作功能。放大、缩小、漫游、全图、查阅属性数据、查阅元数据。
4.2.3 成果整合管理
成果库的建立是通过整合工具将目标数据整合而成。成果的整合管理主要是指将数据整合到成果库的过程管理，系统提供整合入库向导辅助完成这个整合过程。整合过程包括如下步骤：①选择成果目标库；②查询选择整合数据源；③确定数据源与目标库（数据表）的对应关系，系统支持多种格式的数据源，包括Arcgis shape，Arcgis coverage，Map-gis，VCT 多种国内外主流 GIS 平台数据格式；④确定数据源属性表与成果库数据字段的对应关系；⑤确定数据源元数据与成果库元数据的对应关系；⑥调用数据整合工具完成目标数据源向成果库的整合。
4.2.4 成果建库管理
成果库包括两个部分，一个是核心库，包括分幅信息、行政区索引信息、成果元数据、县级标准主题库；另一个部分是成果扩展库，主要为了实现系统的兼容性和用户自定义。
由于成果核心数据库结构是预先生成，在系统正常运行阶段不提供用户接口进行调整，可提供根据预先生成的数据库脚本重新创建数据库框架；在不影响资料库数据整合入库和数据发布的情况下，通过和开发人员共同合作实现对数据库的调整。对于成果扩展库，系统提供建库向导辅助用户完成自定义扩展。扩建库建立向导主要完成如下功能：①定义扩展数据库、数据表结构；②确定扩展数据库、数据表与核心库关系；③定义数据获取与更新机制。
4.3 应用库管理子系统
数据的最终目的很大程度上是为了应用于专题中作为数据存储系统的重要功能，要求实现根据专题用户输入应用要求，实现数据提取。完成专题产品的来源可以来自于资料库和成果库，由于各种专题的要求并不一致，因此需要具有通用性且功能强大的通用工具，以便实现专题数据产品的生成。
4.4 数据发布管理子系统
土地数据管理模式采用土地数据存域网和土地数据中心对外发布平台的有机集成管理模式。中国土地勘测规划院内部土地数据管理由对内发布服务系统实现，社会共享数据和信息管理通过土地数据中心对外发布平台实现。土地数据资源要求可以被授权用户使用，使用方式将改变以前通过文件复制的方式，而采用更加方便而且安全有效的方式，即通过信息发布——用户下载的方式来实现。具体功能包括：①数据查询；②数据分发申请登记；③数据分发申请审核；④数据分发授权；⑤数据下载服务；⑥数据下载备案。
图4 数据产品下载申请登记
图5 数据分发审核管理
4.5 数据整合环境与集成工具包
数据整合处理环境由多个数据提取工具构成。利用数据模型构建工具，面向土地专题应用，构建相应的数据仓库框架，逐步扩充土地专题业务应用数据库所涵盖的土地分析专题；通过开发面向特定土地成果数据库或土地专题应用的整合特定数据源数据的数据提取工具，逐步充实数据整合处理环境的数据提取工具；通过运行数据提取工具，逐步充实土地成果数据库和土地专题数据仓库的内容。编写数据提取工具，从各土地资料数据库抽取数据到土地成果数据库中，由土地成果数据抽取数据到土地专题应用数据库中。
基于 ESRI Arc/Engine 组件工具，开发服务于“土地数据整合处理”的各种通用 GIS工具组件备用，同时开发具有友好图形用户界面，实现基于“土地资料库”或“土地成果数据库”及其元数据库提取特定专题应用产品数据库的流程管理的专题产品数据库提取与维护管理系统。考虑到数据产品数据库创建的复杂性，在系统实现过程中，只实现可自动化进行的流程的管理，对于无法自动化的过程，系统给出信息提示，实施手工处理。
图6a 数据整合处理环境提取工具
图6b 通用集成 GIS 工具组件
5 应用展望
当前，加快土地调查评价数据集成既是深化大调查成果的需要，也是国家土地管理新形势对土地资源调查监测数据集成提出的新要求。充分发挥土地调查评价数据的基础性作用，促进国家科技数据资源共享也必须对土地数据进行整合集成。如何对多年来取得的国家级土地调查评价数据，特别是大调查数据进行有效集成和管理，并为国家土地管理宏观决策提供快速、准确的信息服务是国家级土地调查评价数据集成面临的首要问题。基于 SAN 存储的国家级土地调查数据管理与集成系统，首次将土地数据仓库技术思想应用于土地数据管理系统建设中，提出资料库、成品库、应用库三库一体的数据仓库解决方案，对不同处理级别数据分级存储，为土地数据挖掘提供可能，也为不同应用目的数据集成提供实现有效途径。通过该系统建设将能够实现土地数据管理、土地数据处理和信息发布网络化，大大提高信息化建设水平。目前本系统已经初步建成，并处于试运行阶段，正利用本数据管理集成系统平台进行全国城市土地利用动态遥感监测数据、1∶1 万土地利用建库、土地详查1∶5 万县级土地利用栅格数据等土地调查监测数据的整合集成工作。目前已经完成2004年度全国土地利用动态遥感监测成果数据、“数字国土”工程1∶1 万土地利用建库200 多个县区、土地详查1∶5 万县级土地利用栅格数据全部数据（2000 多个县）的整合入库和元数据录入，并可实现对元数据和数据的管理。系统建设已经初见成效，实现了土地调查数据科学有效管理、避免重复投资，为国家宝贵的数据资源科学管理、有效集成和共享应用打下了坚实基础。可以预见，本系统平台将在国土资源大调查——土地资源调查数据整合集成发挥重要作用。当然由于受人员、时间，特别是水平等各方面条件的限制，本系统还需要在国家级土地调查监测的数据整合集成实践中不断地完善、提高。
san框架的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于伞框架、san框架的信息别忘了在本站进行查找喔。
