19.18 高可用性存储 (HAST)

19.18.3.1 同步及复制模式

　　HAST 希望提供快速的故障恢复能力。 基于这一考量， 减少在某个节点停机后需要的同步时间就十分重要。 为了提供快速的同步能力， HAST 会维护一份保存在磁盘上的脏区段位映射表 (bitmap of dirty extents)， 在普通的同步模式中， 它只同步这些部分的数据 (初始的同步除外)。

　　处理同步有多种不同的方式， HAST 计划实现以下几种同步方式：

• memsync： 当本地的写操作已经完成， 并且远程节点汇报已经收到数据时， 便认为数据的写操作已经完成， 而不是等待远程节点完成数据的写操作。 远程节点在发出回应之后， 会立即开始执行写操作。 这种模式的目标是减少响应时间， 但在同时仍然保持很好的可靠性。 目前 memsync 复制模式尚未实现。

• fullsync： 只有在本地写操作完成， 并且远程的写操作也已经完成的情况下， 才认为数据的写操作已经完成。 这种模式是最保险， 同时也是最慢的一种复制模式。 这是目前系统预设的复制模式。

• async： 在本地写操作完成时， 即认为数据已经写完。 这是最快， 同时也是风险最大的复制模式， 一般而言只有在另一节点的延迟较大时才应考虑使用。 目前 async 复制模式尚未实现。

19.18.4.1 故障转移配置

　　这个例子的目的在于建立一套健壮的存储系统， 令其能够抵御在任何一个节点上发生的故障。 这其中的关键任务是对集群中的 主 节点发生故障的情形进行及时的补救处理。 当发生这种情况时， 从 节点可以无缝地接手主节点的工作， 对文件系统进行检查并挂接， 从而继续运行， 而不损失任何数据。

　　为了达成这一任务， 需要使用 FreeBSD 提供的另一项功能 ── CARP 所提供的 IP 层自动故障转移能力。 CARP 是共用地址冗余协议 Common Address Redundancy Protocol 的缩写， 它允许多个同网段的主机共享同一 IP 地址。 请根据 第 32.14 节 的介绍在两个节点上都配置 CARP。 完成这些配置之后， 两个节点都会有自己的 carp0 网络接口， 共用 IP 地址 172.16.0.254。 显然， 集群中的 HAST 主节点也必须是 CARP 主节点。

　　前面一节中创建的 HAST 存储池现在可以提供给网络上的其他主机使用了。 其上的文件系统可以通过 NFS、 Samba 等等， 以共用 IP 地址 172.16.0.254 来访问。 现在余下的唯一问题是自动化对主节点故障的处理。

　　当 CARP 网络接口的链路状态发生变化时， FreeBSD 操作系统会产生一个 devd(8) 消息， 这样就可以监视 CARP 网络接口的状态了。 CARP 接口的状态变化表示节点发生故障， 或重新回到了网络中。 这些情况下需要运行特定的脚本来完成对应的处理。

　　为了截获 CARP 网络接口的状态变化， 需要在两个节点的 /etc/devd.conf 文件中添加如下的设置：

notify 30 {
	match "system" "IFNET";
	match "subsystem" "carp0";
	match "type" "LINK_UP";
	action "/usr/local/sbin/carp-hast-switch master";
};

notify 30 {
	match "system" "IFNET";
	match "subsystem" "carp0";
	match "type" "LINK_DOWN";
	action "/usr/local/sbin/carp-hast-switch slave";
};

　　为使编辑的配置生效， 需要在两个节点上执行下面的命令：

# /etc/rc.d/devd restart

　　当网络接口 carp0 的状态发生变化时， 系统会产生一个通知消息， 这允许 devd(8) 子系统运行管理员指定的任意脚本， 在这个例子中是 /usr/local/sbin/carp-hast-switch。 这个脚本的作用是自动化故障转移。 关于前面 devd(8) 配置的具体含义， 请参阅联机手册 devd.conf(5)。

　　下面是一个这种脚本的示例：

#!/bin/sh

# Original script by Freddie Cash <fjwcash@gmail.com>
# Modified by Michael W. Lucas <mwlucas@BlackHelicopters.org>
# and Viktor Petersson <vpetersson@wireload.net>

# The names of the HAST resources, as listed in /etc/hast.conf
resources="test"

# delay in mounting HAST resource after becoming master
# make your best guess
delay=3

# logging
log="local0.debug"
name="carp-hast"

# end of user configurable stuff

case "$1" in
	master)
		logger -p $log -t $name "Switching to primary provider for ${resources}."
		sleep ${delay}

		# Wait for any "hastd secondary" processes to stop
		for disk in ${resources}; do
			while $( pgrep -lf "hastd: ${disk} \(secondary\)" > /dev/null 2>&1 ); do
				sleep 1
			done

			# Switch role for each disk
			hastctl role primary ${disk}
			if [ $? -ne 0 ]; then
				logger -p $log -t $name "Unable to change role to primary for resource ${disk}."
				exit 1
			fi
		done

		# Wait for the /dev/hast/* devices to appear
		for disk in ${resources}; do
			for I in $( jot 60 ); do
				[ -c "/dev/hast/${disk}" ] && break
				sleep 0.5
			done

			if [ ! -c "/dev/hast/${disk}" ]; then
				logger -p $log -t $name "GEOM provider /dev/hast/${disk} did not appear."
				exit 1
			fi
		done

		logger -p $log -t $name "Role for HAST resources ${resources} switched to primary."


		logger -p $log -t $name "Mounting disks."
		for disk in ${resources}; do
			mkdir -p /hast/${disk}
			fsck -p -y -t ufs /dev/hast/${disk}
			mount /dev/hast/${disk} /hast/${disk}
		done

	;;

	slave)
		logger -p $log -t $name "Switching to secondary provider for ${resources}."

		# Switch roles for the HAST resources
		for disk in ${resources}; do
			if ! mount | grep -q "^/dev/hast/${disk} on "
			then
			else
				umount -f /hast/${disk}
			fi
			sleep $delay
			hastctl role secondary ${disk} 2>&1
			if [ $? -ne 0 ]; then
				logger -p $log -t $name "Unable to switch role to secondary for resource ${disk}."
				exit 1
			fi
			logger -p $log -t $name "Role switched to secondary for resource ${disk}."
		done
	;;
esac

　　简而言之， 在节点成为网络的 master / primary 节点时， 脚本会进行下面的操作：

• 在本节点升格为 HAST 存储池的主节点。

• 检查 HAST 存储池上的文件系统。

• 挂接存储池中的文件系统到适当的位置。

　　当节点成为 backup / secondary 节点时：

• 卸下 HAST 存储池。

• 将本节点降格为 HAST 存储池的从节点。

　　更具体的信息和例子请参阅 HAST Wiki 页面。

19.18.5.1 一般故障排除提示

　　HAST 通常都能够无故障地运行， 不过， 和任何其他软件产品一样， 有时它也可能会无法以希望的方式运转。 导致问题的可能性有很多， 但一般来说， 首先要确保集群中所有节点的时间是同步的。

　　当尝试排除 HAST 故障时， 应提高 hastd(8) 的调试级别。 这可以通过在启动 hastd(8) 服务时指定 -d 参数来实现。 需要说明的是， 可以多次指定这一参数来进一步提高调试级别。 此外， 还可以考虑使用 -F 参数来启动服务， 它会令 hastd(8) 服务在前台运行。

19.18.5.2 从脑分裂状态恢复

　　当集群中的两个节点之间无法相互通讯时， 两个节点都会认为自己是主节点， 从而导致 脑分裂 的状态。 这种情形十分危险， 因为两个节点会产生互相无法合并的数据。 这种情形需要系统管理员实施手工干预。

　　从这种状态中恢复时， 管理员必须决定哪一个节点包含最重要的数据变动 (或者手工合并这些改动) 并让 HAST 进行一次完整的同步操作， 覆盖有问题的那个节点的数据。 要完成这个工作，在有问题的节点上执行下面的命令：

# hastctl role init <resource>
# hastctl create <resource>
# hastctl role secondary <resource>