澳门新萄京官方网站-www.8455.com-澳门新萄京赌场网址

Linux下的高可用性方案研究,高可用与最佳实践

2019-06-29 作者:服务器运维   |   浏览(186)

多么痛的领悟:十三起惨痛宕机案例,领悟十三起案例

社区有很多兄弟分享惨痛宕机案例,提醒大家需警惕,以下介绍几起,满满都是血的教训……

(以下案例来自社区多位会员分享,主要由社区专家孙伟光、崔增顺编辑整理)

**

01

AIX 下 NTP 设置不当导致的多个集群宕机

事情发生在一段时间之前,接到朋友电话,用户有三套 oracle rac 集群运行在 aix 小机上,本地两套,同城机房两套,做完设备搬迁后的一天晚上,其中本地和同城的两套 rac 突然就整个重启了,而且发生在同一时间点。

网络、小机、存储、数据库分属不同的维保厂商,这就开始了扯皮。各家就开始从自己的方向自证无过错。我去之前内心也比较倾向于 oracle 的网络心跳出了问题,crs 抢 vote disk 的时候触发了重启。但由于是小机方的代表,仅从 aix 层面做了排查,未发现明显原因。对各主机宕机的时间做了一个梳理,去和 oracle 的事件日志去比对。暂时没查到什么东西。

宕机产生的 dump 发到了 IBM 原厂,IBM 后来出了个报告,根据 dump 内容定位触发宕机的进程为 cssd。oracle dba 重点看了那个进程的日志,发现宕机时间前后,时间突然变更,提前了40多秒。dba 确认,时间变更过多,cssd 进程会导致系统重启,怀疑和时间同步有关。

经检查,3套 aix 的 rac 集群使用了同一个 ntp server,但有一套没发生问题。对比检查差异,发现没问题的那套主机集群使用 xntpd 方式配置了时间同步。出问题的主机则直接使用了 ntpdate 命令做时间更新,并写入了 crontab 定期执行。检查 /var/adm/cron/log 日志,发现定时任务的执行时间和 cssd 故障时间一致。检查时间服务器,发现搬迁后,时间服务器的时间产生了较大偏差,xntpd 方式的时间同步在时间偏差大时不会去强制同步,ntpdate 命令的方式没有这个限制,会直接进行同步。最终导致了 cssd 进程检测到过大时间偏差后触发了宕机。

**经验分享:配置时间同步时,建议使用 xntpd 服务的方式,**不用直接在定时任务里写 ntpdate,因为 ntpdate 比较粗暴,发生故障时较大的时间偏差会导致应用出现问题,触发无法预知的后果。

由社区会员王巧雷分享

02

采用爱数备份一体机导致宕机

去年我们刚刚入手了一台爱数备份一体机,在测试阶段遇到了一个小例子和大家分享一下:

当时测试各种数据的备份和功能,就在一台系统上安装了爱数备份的代理客户端,客户端安装选项中有一项安装 CDP 驱动。 当时并没有留意,后来升级客户端版本,另外做了一些其他测试,就把代理客户端卸载了,但是并没有先去卸载 CDP 驱动,重启后系统就直接起不来了,和爱数的技术支持沟通后了解,需要先卸载CDP驱动,再卸载客户端,否则 CDP 驱动存在的时候,就会导致系统启动失败。

由社区会员“pysx0503”分享

03

经典双机双存储,某晚主存储异常故障,业务立刻中断

用户经典的双机双存储高可用应用方案。IBM 2*P570 PowerHA6.1 两台中端存储通过 lvm mirror 实现的数据镜像,上面跑着用户信贷系统,报表系统,存储压力较为繁忙。用户每年都会完成一次 HA 切换演练保证业务高可用。某晚一次存储电源故障,电源还没来得急更换,另外一个电源也坏了。这样主存储宕机了。恰巧这个时候业务也立刻停止了,用户电话里说刚做完的 Powerha 的演练,很顺利。可今天发生的这事却百思不得其解。

后来经过大量的日志和与用户交流得知,用户之前的一个操作给这次的业务中断埋下了一个大大的”地雷”。

究竟用户自己做的什么操作导致的此次事件呢?

用户业务系统有一个文件系统存储空间不够了,需要扩容,但是目前共享 vg 里的空间无法满了,需要重新加新的磁盘到 vg 里,存储管理员分配新的磁盘给两台主机,然后用户通过 Powerha cspoc 去加盘,扩容 FS。就是这么一个操作导致的问题发生。

经验分享:lvm mirror 双存储的情况下,我们扩 fs 需要注意先扩 LV,再扩 fs,这样能保证数据正确分布在2个存储上,如果在用户这种场景新加磁盘后直接扩fs,那就会造成数据拷贝是2份,但是不能准确地保证分布在两个存储上,有可能存储A分布90% 存储B分布110%。这样一台存储故障,就会直接导致数据的不完整。

由社区会员孙伟光分享

04

HACMP NODE ID 一致导致故障宕机

故障描述:

前些天在论坛闲逛,发现一兄弟的帖子“Power HA 其中一台异常宕机”(发布者:yangming27),点进去一看,发现故障描述和报错信息和我之前遇到的完全一样,基于提醒和血的教训,特将该问题编写成案例,希望大家引以为戒!

我们生产环境有 PowerVM 虚拟化后的 AIX 虚拟机2台,灾备环境有 PowerVM 虚拟化后 AIX 虚拟机1台,三台虚拟机通过 PowerHA XD(基于 SVC PPRC 远程复制)搭建了跨中心高可用环境,操作系统版本为7.1.2.3,HA 版本为7.1.2.6,搭建该环境之前,生产环境的两台 AIX 是通过 HAMCP 搭建了本地的高可用环境,为了灾备建设需求,将本地的1台主机通过 alt_disk_copy 的方式复制了一份 rootvg 至外置存储,并将该外置存储通过 SVC PPRC 复制至灾备存储卷当中,灾备的虚拟机再挂载该卷,并通过该卷启动操作系统。这样三台 AIX 虚拟机再重新搭建了PowerHA XD,实现跨中心 HA 热备。

通过这种方式,我们搭建了三套系统,均通过了 HA 切换测试,但是运行了一段时间后,其中一套系统的主机故障宕机(关机),资源组切向了备机,发现问题后,第一时间查看 errpt 日志,如下(这里借用 yangming27帖子中的日志截图)

故障分析:

由于操作系统没有开 always allow dump,所以并没有产生 dump 文件,当时分析了很久日志,很是疑惑不解,最终只能提交给 IBM 后台进行分析,后台也是许多天都没有答复。过了一个星期后,第二套系统也出现了一样的现象,一样的故障,造成主备 HA 切换,我开始怀疑是 HACMP XD 实施问题,立马翻阅了一下实施文档,发现在做 alt_disk_copy 时只用了 alt_disk_copy -d hdiskx,后面并没有用-O -B -C参数,这些参数主要是用来复制rootvg时,删除原操作系统的配置信息和 ODM 库的一些信息,这样一来可能就会造成生产主机和灾备备机的操作系统某些信息一致。基于这种怀疑,我复看了 errpt 报错记录,宕机的主要原因应该是以下几个点:

IBM.StorageRM daemon has been stopped

Group Services daemon stopped

Group Services detected a failure

QUORUM LOST,VOLUME GROUP GROUP CLOSING

猜想是否是 QUORUM 中保留的两个主备节点信息一致,导致 QUORUM 关闭。

接着在生产主机运行命令

odmget -q "attribute='node_uuid'" CuAt

输出:CuAt: name = "cluster0" attribute = "node_uuid" value = "673018b0-7a70-11e5-91fa-f9fe9b9bc3c6" type = "R" generic = "DU" rep = "s" nls_index = 3

在灾备主机运行命令 odmget -q "attribute='node_uuid'" CuAt

输出:CuAt: name = "cluster0" attribute = "node_uuid" value = "67301842-7a70-11e5-91fa-f9fe9b9bc3c6" type = "R" generic = "DU" rep = "s" nls_index = 3

生产主机运行命令

/usr/sbin/rsct/bin/lsnodeid

灾备主机运行命令

/usr/sbin/rsct/bin/lsnodeid

以上发现两个节点的 RSCT NODE ID 完全一致

这就是造成信息冲突的点,造成了主服务停止和 QUORUM 仲裁关闭的元凶。

澳门新萄京官方网站,故障解决:

1.将 PowerHA XD 的 HA 服务全部关闭,禁止 HA 组服务的保护,并运行命令

/usr/sbin/rsct/bin/hags_stopdms -s cthags

/usr/sbin/rsct/bin/hags_disable_client_kill -s cthags

2.停止 HA 的 ConfigRM 服务和 cthags 服务

stopsrc -s IBM.ConfigRM stopsrc -s cthags

3.重新配置 RSCT 节点

/usr/sbin/rsct/install/bin/recfgct

4.重启所有3台操作系统

shutdown -Fr

5.启动 HACMP 服务和资源组,并检查 RSCT NODE ID

经验分享:通过以上方法,彻底解决了三套系统的 HACMP 主机宕机问题,建议以后做类似 alt_disk_copy 时,一定要带上-B -C -O参数,保持新操作系统的洁净,以防碰到类似的莫名其妙的问题。

由社区会员“jxnxsdengyu”分享

05

Power 570/595 宕机

事情起因:

由于机器宕机是在周六,是客户的核心应用,但周六客户没有人上班,当周一上班的时候发现所有的办公,邮件系统等一半的核心应用不能访问,经过现场机房管理人员的临时排查,发现小机 Power595 后面所有的 I/O 柜掉电,Power570 黄灯亮起,绿灯慢闪。

工程师到达现场,按照与客户沟通好结果,我们开始干活,大概折腾了6个小时,Power595 还是没有启动起来,但 power570 可以正常访问了。为了赶紧让客户生产数据,我们临时决定,用 power570 临时做个 lpar 让存储链接过来,先拉起应用,再又折腾了3个多小时之后,所有应用都可以正常访问。我们继续排查Power595,我们更换了 CEC DCA 内存板,CPU 都没有解决问题,最后更换了 pubook 问题解决了,花费时间3天。

问题原因:

电工改造线路,造成了机房断电,UPS 临时接管,由于电池放了太久,机器功率太大,造成低电压运行,造成设备不能正常工作,更为关键的是电工出现问题之后没有及时检查电路,根据师傅的陈述大概过了1分钟又把交流电送出去,这个电压冲击是很厉害的,经排查此电工无证施工,客户已经提起诉讼。

由社区会员“shizhe1030”分享

06

ERP 备份导致的一起宕机案例

现象回顾:

某日凌晨,其中一台 ERP 数据库主机宕机。AIX.5.3 HACMP RAC 数据库环境。

故障分析:

宕机时间点是在备份期间。通过分析数据库日志、系统日志、发现导致数据库停库的主要原因是由于 HACMP 的一个守护进程 haemd 发生自动重启,由于 oracle 数据库和 haemd 进程之间有关联,因此数据库在发现 haemd 重新启动后也自动停止。

经 IBM 工程师及实验室分析,Haemd 自动重新启动的原因是由于在一定期间内(参数为2分钟)没有给 HACMP 系统响应,其原因之一是由于系统过于繁忙,没有响应 Haemd。

随后分析结果发现在备份期间,从存储看系统不是很繁忙;但 ERP 数据库服务器主机性能异常:有时会出现阶段性的不响应现象,同时系统 I/O 高。停止备份后,这种现象消失。

经 IBM 实验室协助,初步经过分析:

1)AIX 系统内存分为计算类和非计算类内存。非计算类内存主要用于文件操作CACHE,以便提高文件再次读写的性能。目前 ERP 生产数据库占用了近20G内存作为文件系统 CACHE。

2)当文件系统 CACHE 有空间时,写文件操作将不会产生阻塞,当文件系统 CACHE 无空间时,系统将会根据内部策略,挤出部分 CACHE。当无法找到空闲的 CACHE 时,会等待系统调整出空闲的 CACHE。当出现大量等待时,系统可能出现无响应的状态。

解决方案:

考虑到将来数据量的增加,如果无法解决较大 I/O 对系统的影响过大的问题,这个隐患将一直存在。

调整该备份文件系统的属性,在该文件系统的 I/O 请求到达一定值的情况下,阻塞对该文件系统的读写 I/O,从而保证预留足够的资源给系统。具体参数为 Maxpout、Minpout。

经验分享:Maxpout、Minpout 参数的选择,是和具体环境相关的,没有一个统一的建议值。若该参数设置不合理,可能会影响到文件系统的读写操作。而合适的参数需要经过设置、观察来确定。

由社区会员孙伟光分享

07

weblogic 宕机问题排查

问题现象:

系统持续运行2-3天,中间件出现宕机

系统运行期间只要访问 weblogic 控制台,操作几次后中间件宕机

报错日志:

分析:

通过报错日志分析,为内存溢出,且为非堆内存溢出,这种情况一般需要调整:PermSize 的大小。

解决过程:

调整 weblogic 配置参数:setDomainEnv.sh 设置 setDomainEnv.sh 为512。

调整后重启系统,发现问题依旧,并没有解决宕机问题。

确认修改参数是否生效:生成 javacore 来分析(kill -3 进程ID)截图如下:

我们发现参数并没有生效。继续分析参数为什么没有生效。

Weblogic 中的 commEnv.sh ,发现 JAVA_VENDOR 为 N/A

而 setDomainEnv.sh 中 PermSize 的设置为:

此处的参数并没有 设置我们需要的 Open JDK的 JAVA_VENDOR 的 N/A 的赋值,所以非堆内存的设置并未生效。

注意:正常 open jdk 的 JAVA_VENDOR 为 Oracle 的,但是配置文件却为:N/A,可能是 weblogic 的兼容性问题,或者人为改动导致,找到原因了,这个问题就没有细究。

解决方案:

修改 commEnv.sh , JAVA_VENDOR 为 Oracle、HP、IBM、Apple 中的任何一个

在 startWeblogic 中,单独定义:MEM_ARGS="-Xms2048m -Xmx2048m -XX:PermSize=1024m"

验证方案:

采取第二种方案:

1)在原始默认环境,进行12个小时的循环操作,并持续访问 weblogic 控制台。

2)在修改后的环境,持续访问 weblogic 控制台,生成 javacore 文件看参数是否生效。并进行50人高强度的并发测试20个小时,看是否会重现宕机问题。

在方案的第一步,系统运行2小时,访问控制台,中间件宕机,系统无法访问。

在方案的第二步,系统在50人高强度的并发测试20小时的情况下,响应正常。频繁访问控制台并未发现任何异常。通过生成 javacore 发现非堆内存正常生效。

由社区会员“gu y 011”分享

08

P550/P570 宕机案例

某周末,客户致电,说核心业务无法访问。工程师到达现场,发现客户环境(P550/P570--HACMP)P550 两台小机均关机。发现客户现场有部分服务器也已处于关机掉电状态。此时客户才发现,市电周五晚上断电过,但是客户机房配备有2台 UPS,机房设备一半一半分别接到2台 UPS上。排查发现其中一台 UPS无法供电。而两台小机均有一路电源接到该 UPS,导致市电断电后,直接宕机。

后将小机通电开机,发现P550无法开机,CPU VRM 稳压模块报错,由于客户业务较为重要,将 P570 已经拉起来,准备将 HA 集群在 IBM P570 单节点运行。却发现 HA 无法将 Oracle 数据库拉起。由于时间紧迫,手动在 P570 网卡上添加 IP 别名后,手动挂载 VG,恢复业务。

后续,将 P550 稳压模块进行更换后,发现仍然无法开机,又出现新的报错:11002630,再次更换 CPU 板后,P550 小机正常开机。安排停机窗口进行排查恢复。在处理过程中,集群出现意外,在 HA 拉起来后,经业务测试,发现/orafile丢失一部分数据,此时备份数据最新的为前一天晚上23点,单天的数据未做备份,只能采取数据恢复,最后成功将数据恢复回来。重新配置 HA,模拟故障切换,测试业务,验证数据完整性,业务恢复正常!

由社区会员“ACDante”分享

09

AIX6100-06-06系统 bug 引起 down 机

某机器操作系统版本6100-06-06,系统 down 机,生成 dump 文件。

Problem:

System crash with following stack

CRASH INFORMATION:

CPU 3 CSA F00000002FF47600 at time of crash, error code

for

LEDs: 30000000

pvthread 02BD00 STACK:

[00009500].simple_lock 000000 ()

[00450E24]netinfo_unixdomnlist 000824 (??, ??, ??, ??,

??, ??)

[0451214C]netinfo 00006C (??, ??, ??, ??, ??, ??)

[004504DC]netinfo 0000FC (??, ??, ??, ??)

[00003850]ovlya_addr_sc_flih_main 000130 ()

[kdb_get_virtual_memory] no real storage @

FFFFFFFFFFFEF20

[100002640]0000000100002640 ()

[kdb_read_mem] no real storage @ FFFFFFFFFFF5E30

bug原因:

File lock is taken before checking whether the file type is socket.

该故障因 netstat -f unix 命令引起系统 crash, 是 IBM bug 引起

建议单独提升 bos.mp64包补丁包或者整体升级到6100-06-12-1339(SP12)

官网解释:

IV09793: SYSTEM CRASH IN NETINFO_UNIXDOMNLIST APPLIES TO AIX 6100-06

File lock is taken before checking whether the file type is socket.

由社区会员“qb306”分享

10

P570 宕机案例

IBM 570 意外宕机,处理过程如下:

1、首先查看 asmi 日志,电源和风扇故障,更换了2个电源和1个风扇后,可以启动到 standby 模式。但是非常多的 firmware 报错。

2、升级微码到 sf240-417后,微码报错消失。

3、激活分区失败,hmc 终端会出现几秒的”ide inited failed“提示,然后消失。接着卡死,报找不到硬盘。

4、观察外观,发现后端的光纤卡灯特别弱,有时会不亮。

5、查了下570的红皮书结构图,发现 ide controller(红线圈住部分)同时处理 pci 设备和硬盘背板设备过来的 io,根据现有故障现象,判定 ide controller 有故障。

6、通过 ibm system information center,定位到 ide controller 的 location code 为p1-15,不是一个可替换的 FRU,必须随同 IO backbone(就是主板)一起更换。

7、更换 io backbone 后,系统正常启动,进入系统微调后,一切正常。

由社区会员王巧雷分享

11

某企业 HACMP 软件,在网络交换机变更时引起 down 机

某企业 HA cluster log, IP switch down 时引起双节点 halt,系统版本7100-03-03,HA 版本6.1sp13

Error description

In HACMP 6 with rsct.core.utils 3.1.4.9 or higher, if all

IP networks are lost and at least one non-IP network is

functioning, the Group Services subsystem will core dump when

trying to send packets to be routed through Topology Services

(across the non-IP connection). This will cause a node halt.

Customers with PowerHA 7, or HACMP 6 customers with no non-IP

networks (such as rs232 or disk) are not in danger. Also this

will not happen if only one node is still running, since there

will be no other cluster members to send messages to.

日志如下:

原因是补丁 IV55293: HAGSD CORE DUMP WHEN IP NETWORKS LOST, 需要升级 rsct 文件集。

官网解释:

由社区会员“qb306”分享

12

巡检不仔细 Power595 宕机

事件起因,本来巡检已经发现其中的一个 I/O 柜电源故障,在线更换走脚步的时候,脚步执行到一半引起该 I/O 柜突然掉电,重启了该 I/O 柜。

原因:一线工程师巡检时候不够仔细,因为该同一个 I/O 其实坏了2个电源,只不过另外一个没有报出来具体的位置,但已经报出来该 I/O 的部件号,但也说明了 IBM 小机没有完全报错具体槽位,只报错了大概的位置。

解决方法:设备下电,更换两个 I/O DCA,然后设备开机,问题解决。

由社区会员“shizhe1030”分享

13

X86 史上最离谱的宕机事件

硬件: IBM的X3650 操作系统: suse 9

linux 系统无法远程登陆,用 KVM 登录上去看发现定在操作系统页面不能动。

重启操作系统后,在操作系统 message 日志里面查看到如下错误:

经过咨询 novell 和 IBM 工程师,结论是 IBM 这类服务器在装 linux 系统的时候,如果光驱有问题确实是会导致宕机。

经硬件工程师检查,是光驱坏了……坏了……

编者按:宕机原因千万种,这个宕机有点冤

由社区会员“hp_hp”分享

本文转载自公众号: talkwithtrend

更多相关文章阅读

一个运维如何从底层走上人生巅峰

运行无间:阿里巴巴运维保障体系的一种最佳实践

芳华永在!一个老运维的20年奋斗史

饿了么异地双活数据库实战

Python 编程中常用的12种基础知识总结

青铜到王者,快速提升你 MySQL 数据库的段位!

有赞数据库自动化运维实践之路

运维版《成都》,听哭了多少人...

同样会 Python,他的工资比你高一倍

阿里万亿交易量级下的秒级监控

IT 运维的救赎——顺丰运维的理想践行

学好 Python、拿高薪、竟是如此简单

快加入高维学院直通车成为认证运维开发工程师

只需要5天!

在5天内集中向你传授面向 DevOps 的运维开发工程师所需要掌握的所有精华。

更有含金量的是,学习结束你还将拥有一张【运维开发工程师认证证书】

这份含金量超高的证书:

如能被推荐进入上述大厂,您的培训费将被退回一半!!

更多企业直通车,正在路上。

也欢迎企业和我们联系:

刘琳,微信/电话:13910952502

参与认证运维开发工程师课程报名、详情请点击阅读原文链接

服务器技术已经发展几十年,但随着互联网信息技术的发展。云技术和移动平台成为新的技术标准。为了使终端更便捷,客户端会采用手持式移动设备和浏览器,并要求相关的数据和程序须保留在“云”端。随着云技术和移动平台的发展,服务器的数量和规模必将成几何级数的增长。故障和问题也会成倍增长。但和在个人使用的情况不同,网络化的服务器由于同时支持众多的操作者。运行不同的网络应用程序。管理众多的本地和远程设备。其设备的故障诊断就相对复杂。

内容简介

1    DSG在国内的主要应用客户

  保证持续稳定的系统运行时间变得越来越重要,而传统意义上的小型机系统让普通用户望而却步。用户需要的是更高的可用性以及更低的成本。高可用性(HA)技术能自动检测服务器节点和服务进程错误、失效,并且当发生这种情况时能够自动适当地重新配置系统,使得集群中的其他节点能够自动承担这些服务,以实现服务不中断。 Cluster应用可分为三方面:High-Availability(HA)(高可用性集群)、Load Balance(负载均衡集群)、Scientific(科学集群)。在集群的这三种基本类型之间,经常会发生混合与交杂。于是,可以发现高可用性集群也可以在其节点之间均衡用户负载,同时仍试图维持高可用性程度。同样,可以从要编入应用程序的集群中找到一个并行群集,它可以在节点之间执行负载均衡。而本文则侧重于介绍基于Linux的HA解决方案方面的问题。 基于LVS的HA方案 Linux要进入高端市场就必须在这方面有相应的措施,所以许多公司都在这方面加大了研究力度。现在,我们可以使用一些现存的软件去构筑具有高可用性的LVS系统。下面列出两种方案,以供参考。 [方案一]mon heartbeat fake coda 我们可以使用“mon”、“heart beat”、“fake”和“coda”四个软件来构筑具有高可用性的Virtual Server(虚拟服务器)。“mon”是一个大众化的资源管理系统,用来监控网络上的服务器节点和网络服务。“heartbeat”实现在两台计算机间通过在串行线上使用UDP协议传送“心跳信息”。“Fake”是一个使用ARP欺骗的方法来实现IP接管。 当服务器故障时,处理过程如下:“mon”进程运行在负载均衡器上,负责监测整个集群的服务器节点和服务进程。在配置文件“fping.monitor”中写入要检测服务器节点,然后“mon”进程将会隔t秒检查一下相应的服务器节点是否还活着。 另外相关的服务监视器也要做相应的配置,这样“mon”进程将每m秒检测一下所有节点的相应服务进程。例如:http.monitor:用于配置监控http服务;ftp.monitor:用于配置监控ftp服务;以此类推。当配置完成后,某个服务器节点失效或重新生效、服务进程失效或重新生效时都会发送一个通告信息,因此,负载均衡器能够知道服务器节点是否能接受服务。 现在,负载均衡器成为了整个系统的单点失效。为了防止这一现象,我们必须安装一个负载均衡器的备份服务器。“fake”软件实现当负载均衡器失效时,备份服务器自动接管IP地址,并继续服务。而“heartbeat”则随时根据负载均衡器的状态自动激活/关闭备份服务器上的“fake”进程。在负载均衡器和备份服务器上都运行着一个“heartbeat”进程,它们通过串行线周期性地发送“I'm alive ”消息。如果备份服务器在一个预定时间内接收不到来自负载均衡器的“I'm alive”信息时,将自动激活“fake”进程接管负载均衡器的IP地址,并开始提供负载均衡服务;而当再次收到来自负载均衡器的“I'm alive ”消息时,备份服务器将自动将“fake”进程关闭,释放出它接管的服务器,负载均衡器重新开始工作。 但是,如果负载均衡器在客户正在请求时失效,这时会引起客户请求失败,客户必须重新发出请求信息。 “coda”是一个容错的分布式文件系统,源于Andrew文件系统。服务器上的目录能够存储在“coda”上,所以文件能够实现高可用性,并且易于管理。 [方案二]ldirectord heartbeat “ldirectord”(Linux Director Daemon)是Jacob Rief编程实现的一个独立进程,以实现对服务和物理服务器的监测,广泛地用于http和https服务。 “ldirectord”安装简单,能很好地与“heartbeat”配合工作。“ldirectord”程序包含在“ipvs”包中的“contrib”目录中。 以下是“ldirectord”的一些优点: “ldirectord”是专门撰写的LVS监测程序。 它从/etc/ha.d/xxx.cf文件中读取所有关于IPVS路由表的配置信息。当“ldirectord”运行起来后,IPVS路由表将会被适当地配置。 可以将Virtual service配置放在多个配置文件中,所以可以单独修改某一种服务的参数,而不影响其他的服务。“ldirectord”能被“heartbeat”轻松地管理----启动、关闭。 将“ldirectord”放到/etc/ha.d/resource.d/目录下,然后在/etc/ha.d/haresources中增加一行: node1 IPaddr::10.0.0.3ldirectord::www ldirectord::mail “ldirectord”能够手动开启、关闭。可以在无备份负载均衡器的LVS集群中使用它。 Xlinux的LATCH HA方案 正如前面所述,高可用性解决方案(HA)是极为重要的,许多厂商为此投入了大量的研究。其中,Xlinux发行版就提供LATCH HA解决方案。下面我们就一起看看LATCH HA方案。 LATCH HA解决方案的最典型的系统结构:两台主机A、B共享一个磁盘阵列,A为工作机,B为备份机。它们之间用一根心跳线来连接,这称为“心跳检测”,主要通过一条RS232检测链路来完成。LATCH HA也采用了用Ping来验证系统宕机的方法。安装在主机上的HA软件通过心跳线来实时监测对方的运行状态,一旦正在工作的主机A因为各种硬件故障导致系统发生故障,主机B立即投入工作。怎么样,与IBM的HACMP有点像吧! LATCH HA实现了“高可靠性共享存储”架构。该架构由两个或三个冗余服务器、一个共享冗余磁盘阵列、一个可选DBMS及LATCH HA系统软件构成。在LATCH HA的保护下,企业的计算机系统能够提供不间断的信息服务,避免由于硬件故障或日常维护所带来的宕机,因而能够保障最佳的可靠性及最大程度地减少宕机时间。 方案应用 LATCH HA能够应用在各种集中式、客户机/服务器模式或OLTP系统中。同时其与市场上各种主流的数据库系统与OLTP软件(如:Oracle、SYBASE、Informix、Tuxedo)也都保持兼容。LATCH HA同时提供了各种应用程序接口。因此,客户能够在其私有软件中集成各种功能来保证系统的高可靠性。 LATCH HA /HS2000 在线待机模式 在这种模式下,一个服务器作为主服务器。正常情况下其承当所有的服务。另外一台服务器作为待机服务器(正常情况下除了监控主服务器的状态,不进行其他的操作)。一旦主服务器宕机,待机服务器就接手工作,成为新的主服务器。客户仍然可以拥有同样的服务器IP地址、NFS、数据、数据库及其他……这种应用模式近似于上面介绍的典型应用模式(两台服务器实际上是在完成同一个功能应用),安装在主机上的HA软件通过心跳线来实时监测对方的运行状态,一旦正在工作的主机A因为各种硬件故障,如电源失效、主要部件失效或者启动盘失效等导致系统发生故障,主机B立即投入工作。 LATCH HA /DA2000双机就绪模式 在这种模式下,两个主机都作为主服务器,共享自己的磁盘阵列,各自承当一部分服务。例如:服务器A在执行应用A, 服务器B在执行应用B, 两个主机在正常情况下各自独立运行自己的应用逻辑,两个主机同时又都作为对方的待机服务器,通过心跳线监控对方的状态。一旦某一服务器宕机,另一台服务器就承担所有的服务,为所有的客户服务。一旦服务器A发生故障,服务器B马上接管服务器A上原来的应用;或者服务器B发生故障,服务器A马上接管服务器B上原来的应用,这是一种互为冗余的模式。 很明显,一旦某一服务器宕机,另一台服务器的工作负担就比较重,于是就有了三主机模式。 LATCH HA /HC2000 三主机模式 这种应用模式是最高端的HA应用模式,它既保证了系统的设备冗余,避免系统宕机,而且又能保证在一旦宕机的情况下有足够的系统资源可供使用。 在这种模式中,待机服务器C同时监控主服务器A与B的状态。一旦服务器A或B宕机,服务器C将承担其服务,为客户服务。这种系统结构既保证了系统的安全运行,又保证了系统资源。 Linux HA的解决方案当然不限于上述两种,但其核心思想是一致的,即提供不间断的服务。近年来随着Linux操作系统不断走向成熟,功能不断增强,特别是其遵循GPL和标准化的PVM、MPI消息传递机制的特性和在普通PC机上越来越好的高性能网络的支持,所有这些为基于Linux的集群系统的发展提供了坚实的技术基础,在把技术转化为具体的应用过程中,高端的HA应用以其稳定可靠的性能和与Unix相比价格上的优势而脱颖而出。随着基于Intel平台的服务器业已成为关键性业务和应用的主流服务器,Linux HA集群技术的应用亦将日益广泛。

UNIX本身是为复杂网络化环境设计的操作系统,而AIX操作系统是最大的系统集成商IBM开发的第二代UNIX,具有性能完善,使用方便,扩充性强,适合企业关键业务等特点,所以本文实例均在AIX环境下实现。

  《Oracle DBA实战攻略:运维管理、诊断优化、高可用与最佳实践》是目前Oracle数据库运维领域不可多得的一本著作,也是为数不多的既有大量实践应用案例又包含实战方法论的著作。作者根据其多年的运维诊断经验,从数据库如何创建开始,循序渐进地介绍了数据库的启动关闭过程,如何配置监听并连接到数据库,如何对数据库空间进行管理和监控,SGA的调整和优化方法,CHECKPOINT和SCN核心机制,数据库的备份与恢复,数据库性能优化的方法论以及Oracle Data Guard的配置和管理等内容。书中作者结合了大量的真实案例,把自己多年的宝贵经验融入其中,通过一些复杂案例的诊断过程来说明这些简单的原理和知识点,同时,作者并没有简单地停留在案例诊断分析的层面上,而是根据大量案例的经验汇总,把问题的优化、诊断和解决提升到了方法论的层面上,进一步帮助读者知其然,知其所以然。

ü  中国电信:电信总部、北方电信9省、江苏电信、浙江电信、重庆电信、江西电信、广西电信、xinjiang电信、青海电信、海南电信、贵州电信、甘肃电信、宁夏电信、福建电信、成都电信;

澳门新萄京官方网站 1

1、故障概述

澳门新萄京官方网站 2

ü  中国移动:江西移动、广西移动、甘肃移动、xinjiang移动、青海移动;

HA集群结构图 HA实际上是两台(或更多)计算机通过一定方式互相监听,实现热备份。当其中Primary server出现问题时,Standby server能够自动立即接替工作,使用户感觉不到停机。在Primary server恢复正常之后,Standby server又会把工作还给Primary server。(出处:赛迪网)

服务器的在线模式故障是指服务器发生了一般性错误。这些错误虽然不至于系统崩溃。但影响系统的正常运行,影响数据的健壮性,并有进一步扩大危害的可能。系统的问题和故障应该及早发现。并及时进行处理和解决,避免进一步的危害,引起严重后果。及早的预判。及早的发现。及早的排查是故障诊断的关键。

作者简介

ü  中国网通:辽宁网通、周口通信、沧州通信;

2、系统故障分析和判断

  周亮,杭州美创科技Oracle技术服务团队负责人,Oracle 10g OCM。精通Oracle数据库原理,对于数据库架构设计、运维、调优、排故有着丰富的实战经验。带领Oracle技术服务团队,为公司客户提供上百套数据库维护工作。客户涉及政府、通信、金融、公安、电力、交通、医疗、制造等行业。

ü  中国联通:广东联通、江苏联通、天津联通、辽宁联通、山东联通、陕西联通、四川联通、河北联通、重庆联通、吉林联通;

系统硬件故障分析可以使用diag命令进行分析和判断。

目录

ü  证券行业:银河证券、华泰证券、长江证券、国联证券、民族证券、金通证券;

在系统管理员状态下运行命令#diag进行硬件诊断程序。检测主机内硬件存在的问题。

推荐序一
推荐序二
推荐序三
前言

ü  政府机构:河北省地方税务局、xinjiang电力、上海市松江区财政局、广州公安、广西公安、杭州电力、东莞社保、江汉油田、辽宁交通厅、济南钢铁总公司等

澳门新萄京官方网站 3

第1章 数据库故障的诊断方法与分析思路
1.1 数据库安装类故障
1.1.1 安装数据库时容易犯的错误
1.1.2 无法启动安装界面的解决方法
1.1.3 安装数据库的最佳实践
1.2 数据库连接类故障
1.2.1 检查是否由网络故障引起
1.2.2 检查是否由主机资源引起
1.2.3 检查是否由监听故障引起
1.2.4 检查是否由数据库故障引起
1.3 数据库HANG类故障
1.3.1 数据库全局性HANG的处理过程
1.3.2 数据库局部性HANG处理过程
1.4 数据库性能类故障
1.4.1 性能类故障的处理思路
1.4.2 怎样快速定位资源持有者
1.5 数据误操作类故障的处理思路
1.6 数据库坏块类故障
1.6.1 数据库对象坏块的处理思路
1.6.2 SYSTEM/UNDO表空间损坏的处理思路
1.6.3 数据库在线日志文件损坏的处理思路
1.6.4 控制文件损坏的处理思路
1.7 总结

ü  军队及其它:海军某部、火箭研究院、陆军某部、信息产业部(含浙江、江苏、陕西、黑龙江、福建、江西、甘肃、吉林、宁夏和重庆等信产部直属机构);

1)基本系统

第2章 监听的配置和管理
2.1 简析监听连接示意图
2.2 深入解析监听配置文件
2.2.1 一个典型的监听配置模板
2.2.2 监听的常用命令
2.2.3 配置监听别名
2.2.4 配置文件中的关键字解析
2.3 tnsping命令的作用和适用场景
2.4 监听的静态注册
2.4.1 静态注册的配置内容
2.4.2 监听状态中服务名和实例名
2.5 监听的动态注册
2.5.1 动态注册的内容
2.5.2 监听状态中的服务名和实例名
2.5.3 监听动态注册时的实例状态
2.5.4 动态注册的时间点
2.5.5 实例不能动态注册的处理思路
2.5.6 跟踪实例的动态注册过程
2.6 巧用SSH的端口转发功能
2.7 跟踪监听的工作过程
2.8 监听的优化思路
2.9 诊断案例之一:RAC 某节点宕机之后的监听故障处理
2.10 诊断案例之二:使用客户端跟踪数据库连接问题
2.11 诊断案例之三:本地sqlplus连接HANG的诊断和分析

 

2)I/O设备

第3章 命令行创建和删除数据库
3.1 创建数据库的大概流程
3.2 理解Oracle SID
3.3 检查操作系统环境
3.4 规划数据库文件系统
3.5 创建Oracle日志文件目录和密码文件
3.6 创建Oracle参数文件
3.6.1 设置内存相关参数
3.6.2 设置进程相关参数
3.6.3 设置DB_FILES参数
3.6.4 设置BLOCK_SIZE和DB_FILE_MULTIBLOCK_READ_COUNT参数
3.6.5 设置参数OPEN_CURSORS和SESSION_CACHED_CURSORS
3.6.6 一个典型的数据库参数文件
3.7 创建数据库
3.7.1 数据库的创建脚本
3.7.2 使用OMF特性创建数据库
3.8 创建数据字典
3.8.1 执行catalog.sql
3.8.2 执行catproc.sql
3.8.3 执行utlrp.sql
3.8.4 执行pupbld.sql
3.9 命令行创建RAC数据库
3.10 怎样彻底删除数据库

2     DSG在类似项目的成功范例和相关经验

3)异步设备

第4章 SCN和CHECKPOINT
4.1 SCN
4.1.1 SCN的作用
4.1.2 SCN和时间之间的转换
4.2 SCN的最大阈值
4.3 几种常见的SCN
4.3.1 控制文件中的SCN
4.3.2 数据文件头中的SCN
4.3.3 数据块中的SCN
4.3.4 日志文件头中的SCN
4.3.5 事务开始时的SCN
4.3.6 数据库的CURRENT SCN
4.4 CHECKPOINT
4.4.1 CHECKPOINT的作用
4.4.2 全量CHECKPOINT和增量CHECKPOINT
4.4.3 CHECKPOINT和REDOLOG
4.4.4 影响数据库打开速度的因素
4.4.5 CHECKPOINT的优化思路

2.1  成功案例的列表

4)图形设备

第5章 数据库的启动与关闭
5.1 实例与数据库
5.2 数据库参数文件
5.2.1 参数文件的类型
5.2.2 参数设置
5.2.3 参数文件之间的类型转换
5.3 简述数据库的启动步骤
5.4 数据库的启动步骤之一:NOMOUNT
5.4.1 连接至空闲实例
5.4.2 读取数据库参数文件
5.4.3 分配SGA内存
5.4.4 派生后台进程
5.4.5 诊断案例:主机内存的使用率达到99%
5.5 数据库的启动步骤之二:MOUNT
5.5.1 读取控制文件
5.5.2 校验控制文件
5.5.3 MOUNT数据库
5.5.4 控制文件损坏的处理思路
5.6 数据库的启动步骤之三:OPEN
5.6.1 详解CRASH RECOVERY
5.6.2 CRASH RECOVERY的故障处理思路
5.6.3 详解CACHE RECOVERY
5.6.4 CACHE RECOVERY的故障处理思路
5.6.5 详解TX RECOVERY
5.6.6 TX RECOVERY的故障处理思路
5.7 数据库打开HANG的故障处理思路
5.8 如何强制打开数据库
5.9 如何快速关闭数据库
5.9.1 影响数据库关闭速度的因素
5.9.2 数据库无法关闭的诊断方法

DSG从2002年在中国成立以来,在RealSync这个数据库复制产品的项目实施方面也经过了很长的一段路。DSG始终以“客户需求为导向”的原则发展自己的产品,到目前为止,DSGRealSync产品已经在电信、政府、政券和企业采用,主要包括:

5)SCSI设备

第6章 数据库空间的管理与监控
6.1 数据库的空间管理
6.2 表空间管理
6.2.1 区管理和段管理
6.2.2 临时段管理
6.2.3 回滚段管理
6.2.4 表空间的监控脚本
6.2.5 维护表空间的注意事项
6.3 数据文件管理
6.3.1 裸设备头上的保留信息
6.3.2 浅析数据文件的操作系统头
6.3.3 破解数据文件头内容
6.3.4 维护数据文件的注意事项
6.4 在线日志文件管理
6.4.1 破解日志文件头信息
6.4.2 LGWR进程在日志文件中的写进度
Linux下的高可用性方案研究,高可用与最佳实践。6.4.3 维护日志文件的注意事项
6.5 归档日志管理
6.5.1 开启和关闭归档模式步骤
6.5.2 归档日志的命名参数
6.5.3 查看归档日志的几个脚本
6.5.4 使用LOGMNR挖掘归档日志
6.5.5 开启归档模式的注意点
6.5.6 开启归档模式的好处
6.6 闪回日志管理
6.6.1 数据库闪回相关的视图和参数
6.6.2 数据库级别的闪回种类
6.6.3 闪回日志空间的释放
6.7 控制文件管理
6.7.1 常见的控制文件故障处理
6.7.2 维护控制文件的注意事项
6.8 跟踪文件管理

Realsync数据复制容灾软件目前占到国内市场份额的70%,客户包括: 

6)存储设备

第7章 Oracle性能优化方法论
7.1 数据库性能优化的目标
7.2 建立数据库性能基线
7.3 寻找关键变化
7.4 定位主要影响因素
7.5 检查操作系统资源
7.5.1 查看CPU资源
7.5.2 查看内存资源
7.5.3 查看I/O资源
7.5.4 查看网络资源
7.6 常见的数据库性能故障
7.7 数据库性能优化的常规方法
7.7.1 数据库性能调整的基本流程
7.7.2 调整Oracle内存参数
7.7.3 调整数据库在线日志
7.7.4 调整SQL的执行计划
7.7.5 优化对象的I/O读取
7.7.6 降低CURSOR解析成本
7.7.7 其他数据库性能调整手段
7.8 利用OWI监控数据库性能
7.8.1 OWI的基本原理
7.8.2 等待事件的含义
7.8.3 监控数据库的手段
7.9 利用时间模型监控数据库性能

电信行业: 

7)通信设备

第8章 SGA的性能调整和优化思路
8.1 BUFFER CACHE的内部结构
8.1.1 BUFFER HEADER
8.1.2 HASH CHAIN和HASH BUCKET
8.1.3 LATCH:CACHE BUFFERS CHAINS
8.1.4 LATCH:CACHE BUFFERS LRU CHAIN
8.1.5 FREE BUFFER WAITS
8.1.6 BUFFER BUSY WAITS
8.2 BUFFER CACHE的优化指标
8.2.1 BUFFER CACHE的命中率
8.2.2 AWR报告中BUFFER CACHE的一些争用指标
8.2.3 BUFFER CACHE大小的建议值
8.3 BUFFER CACHE的优化思路
8.3.1 BUFFER CACHE内存不足的优化思路
8.3.2 BUFFER CACHE的数据块争用的优化思路
8.3.3 其他有关BUFFER CACHE的优化思路
8.4 SHARED POOL的内部结构
8.4.1 堆管理
8.4.2 CHUNK
8.4.3 FREE LIST
8.4.4 LRU LIST
8.4.5 RESERVED FREE LIST
8.4.6 SHARED POOL的SUB POOL技术
8.4.7 关于SGA内存抖动
8.5 LIBRARY CACHE的内部结构及等待事件
8.5.1 LATCH:LIBRARY CACHE
8.5.2 LIBRARY CACHE LOCK/PIN
8.5.3 LIBRARY CACHE OBJECT
8.6 浅析SQL的解析过程
8.6.1 软解析
8.6.2 硬解析
8.6.3 软软解析
8.7 ROW CACHE上的故障诊断方法
8.7.1 ROW CACHE的大小
8.7.2 ROW CACHE上的LATCH
8.7.3 诊断案例:LATCH:ROW CACHE OBJECTS故障处理
8.7.4 建立测试环境重现问题
8.8 SHARED POOL上的优化思路
8.9 LOG BUFFER上的优化思路
8.9.1 LOG BUFFER的大小
8.9.2 浅析REDO WASTAGE
8.9.3 LOG FILE SYNC等待事件
8.9.4 减少日志量的方法

北京移动、广西移动、甘肃移动、贵州移动、青海移动、广西电信、陕西电信、贵州电信、四川电信、安徽电信、海南电信、福建电信、甘肃电信、宁夏电信、广东电信、杭州电信、舟山电信、绍兴电信、湖州电信、辽宁网通、山东联通、江西联通、福建联通、广西联通、湖南联通、江苏联通、四川联通、广东联通、贵州联通、湖北联通、内蒙联通、贵州联通、云南联通…

8)多媒体设备

第9章 数据库的物理备份与恢复
9.1 物理备份与恢复的基本概念
9.1.1 物理备份的基本概念
9.1.2 物理备份时的注意点
9.1.3 物理恢复的基本概念
9.1.4 物理恢复时的注意点
9.2 数据库的冷备份和恢复
9.2.1 冷备份数据库步骤
9.2.2 冷备份下的数据库恢复
9.3 数据库手动热备份和恢复
9.3.1 手动热备份
9.3.2 热备份下的数据库恢复
9.4 使用RMAN备份和恢复数据库
9.4.1 RMAN的结构
9.4.2 RMAN占用的内存
9.4.3 RMAN备份与恢复示例
9.5 数据库闪回
9.5.1 数据库闪回和普通闪回点
9.5.2 强制闪回点

金融行业: 

#diag —S

第10章 物理Data Guard的配置与管理
10.1 Data Guard的原理
10.1.1 解析Data Guard原理图
10.1.2 Data Guard正常运行的前提
10.2 Data Guard的保护模式
Linux下的高可用性方案研究,高可用与最佳实践。10.2.1 最大保护模式
10.2.2 最大可用模式
10.2.3 最大性能模式
10.2.4 切换保护模式
10.3 配置物理Data Guard
10.3.1 配置Data Guard简要流程
10.3.2 配置Data Guard相关参数
10.4 管理物理Data Guard
10.4.1 配置Data Guard的注意点
10.4.2 管理Data Guard的注意点

广发银行、中国期货保证金监控中心、太平洋保险集团、中国金融期货交易所、华夏基金、易方达基金、招商基金、南方基金、鲁证期货、中银期货、东吴期货、国泰君安期货、中大期货、银河证券、民族证券、宏源证券、新时代证券、上海证券、远东证券、太平洋证券、东兴证券、万联证券、金元证券、信达证券、江南证券、华泰证券、南京证券、信泰证券、东吴证券、长江证券、国联证券、东海证券、西南证券、山西证券、金通证券、中原证券、财达证券、西部证券、国盛证券、国海证券、华福证券、恒泰证券、湘财证券、华鑫证券、财富证券、中天证券、财通证券、中投证券…

在所有资源上运行诊断。

百度网盘免费下载地址:

政府行业: 

3、查看系统的错误日志

------------------------------------------分割线------------------------------------------

北京电力、青海电力、四川电力、江西电力、湖南电力、宁夏电力、天富热电、厦门电力、河北省地税、武汉财政、上海松江财政、吉林省交通厅 、辽宁省征稽局、蛇口码头、宁波港、贵州公安、东营公安、深圳交警、青岛有线、泰州社保、中国邮政、长春一汽、济南钢铁、深圳神州通集团、阿里巴巴、河北省地税11地市征管数据集中容灾备份系统、江西省电力12地市营销数据集中容灾备份…

在系统运行时,一些系统错误会记录在errlog中,其中有些错误还会在终端上显示。检查错误日志可用以下命令

FTP地址:ftp://ftp1.linuxidc.com

 

澳门新萄京官方网站 4

用户名:ftp1.linuxidc.com

这些系统都为DSG RealSync的实施积累了宝贵的经验。

4、DUMP

密码:www.linuxidc.com

当系统发生软硬件故障导致宕机时,系统将搜集故障发生时系统的内存和处理器状态等信息,产生DUMP文件,并且在液晶屏上显示888开始的代码。记录第二段开始的故障码,并分析DUMP状态码有助于分析故障原因,找到问题所在。

在 2014年LinuxIDC.com7月Oracle DBA实战攻略:运维管理、诊断优化、高可用与最佳实践

 

5、日常检查服务器状态的项目及其相关命令

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

2.2  成功案例的概况

作为辅助。定期运行检查服务器性能的相关工具和命令,有助于掌握服务器状态,预测故障点,相关命令包括:

------------------------------------------分割线------------------------------------------

序号

客户名称

实施日期

系统情况及需求

实施后情况

1

长江证券股份有限公司

2004.12.31

系统环境:集中交易系统分布在两台HP安腾服务器上,服务器分别配备4CPU和8G内存。数据库版本为Oracle9i,组成RAC。数据量为100GB左右,每天日志量为10-20GB左右。异地网络链路2M。                                       应用需求:1.本地数据库复制一份Oracle数据库副本,实现本地数据查询,业务分担以及本地业务接管功能;2.异地容灾通过窄带宽链路将数据复制到上海灾备中心提供异地容灾功能; 

1.满足设计方案的目标,实现1:2的容灾复制模式;                                     

2.本地数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                           

3.低带宽情况能够保证数据复制传输的应用要求;                                               4.异地容灾系统演练成功; 

2

华泰证券股份有限公司

2006.02.15

系统环境:集中交易系统分布在两台IBM S80服务器上。数据库版本为Oracle9i,组成RAC。数据量为80GB左右,每天日志量为10-20GB左右。异地网络链路2M。                  应用需求:异地容灾通过窄带宽链路将数据复制到异地灾备中心提供异地容灾功能; 

1.满足设计方案的目标,实现1:1的容灾复制模式;                                                            

2.低带宽情况能够保证数据复制传输的应用要求;                                                           

3.异地容灾系统演练成功; 

3

中国移动通信集团广西公司

2005.12.30

系统环境:营业数据库布放在两台IBM P690服务器上,数据量有1.1TB左右;客服数据库布放在另外一套HA环境下,数据量有100GB左右。数据库版本为Oracle9i,组成RAC。每天日志量为300GB左右,出账高峰期每天日志量达到600GB左右。本地网络链路1000M。应用需求:1.将两个应用数据库数据复制到1个Oracle数据库副本中,实现本地数据查询系统优化部署、业务负载分担等功能;2.提高容灾系统接管成功率,保证100%的业务连续性要求; 

1.满足设计方案的目标,实现2:1的容灾复制模式;                                                           

2.集中数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                                           

3.利用数据库副本Open机制,保证容灾切换可靠性,提供100%的容灾切换支持;                                              

4.应急容灾系统演练成功; 

4

河北省地方税务局信息中心

2005.12.27

系统环境:11个地市税务征管系统布放在两台IBM服务器上,组成HA双机环境。地市税务征管系统数据量有50GB左右;数据库版本为Oracle9i,异地网络链路2M。                                                     应用需求:1.将11个地市税务征管数据库数据分别复制各本地1个Oracle数据库副本中,实现本地数据查询系统优化部署、业务负载分担等功能;2.将11地市税务征管数据库数据复制到省中心1个Oracle数据库副本,作为全省税务征管系统的集中容灾系统;3.省中心Oracle容灾数据库可为数据仓库提供数据抽取功能。 

1.满足设计方案的目标,实现11:1:1的容灾复制模式;                                                      

2.本地数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                                           

 3.全省税务征管系统集中容灾的目标实现;                                                   

4.低带宽情况能够保证数据复制传输的应用要求;                                                              

5.省中心Oracle集中容灾数据库能够为数据仓库提供数据来源,满足数据抽取功能;                                                  

6.异地容灾系统业务接管及数据修复成功;

5

江西省电力公司

2007.12.18

系统环境:12个地市电力营销系统布放在两台HP安腾服务器上,组成高可用架构。地市电力营销系统数据量有10-50GB左右;数据库版本为Oracle9i,异地网络链路100M(2M冗余)。                                                          应用需求:1.将12地市电力营销数据库数据复制到省中心1个Oracle数据库副本,作为全省电力营销系统的集中容灾系统;2.省中心Oracle集中容灾数据库提供决策分析、网上营业厅、监控中心和查询系统的应用功能; 

1.满足设计方案的目标,实现12:1的容灾复制模式;                                              

2.省中心容灾数据库副本实现查询应用功能,提高主应用的处理能力,客户满意度上升;                                                     

3.全省电力营销系统集中容灾的目标实现;                                                   

4.低带宽情况能够保证数据复制传输的应用要求;                                                                                                        5.异地容灾系统业务接管及数据修复成功;

6

中国电信股份有限公司福建分公司

2006.12.14

系统环境:计费数据库布放在两台IBM P595服务器上,14CPU,数据量有2.2TB左右;统计数据库布放在另外两台IBM P595服务器上,数据量有1.5TB左右。数据库版本为Oracle9i,组成RAC。每天日志量各为110GB左右,本地网络链路1000M。                                                       应用需求:1.将两个应用数据库数据复制到1个Oracle数据库副本中,实现本地数据查询系统优化部署、业务负载分担等功能;2.提供24个月的话单数据保存和对外查询业务; 

1.满足设计方案的目标,实现2:1的容灾复制模式;                                                           

2.集中数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                           

7

上海市松江区财政

2005.10.12

系统环境:国库支付数据库布放在两台IBM 服务器上,数据量80GB左右;数据库版本为Oracle8i,组成RAC。异地网络链路100M。                                                            应用需求:1.将区属所有机关单位的财政数据复制到财政数据中心的1个Oracle数据库副本,作为国库支付系统的集中容灾;2.一期将三个应用数据库数据复制到1个Oracle数据库副本中,实现容灾和数据仓库抽取等功能; 

1.满足一期设计方案的目标,实现3:1的容灾复制模式;                                                                                         

2.国库支付系统财政数据集中容灾的目标实现;                                                     

3.低带宽情况能够保证数据复制传输的应用要求;                                                    

5.Oracle集中容灾数据库能够为数据仓库提供数据来源,满足数据抽取功能;                                                  

6.集中容灾系统业务接管演习及数据修复成功;

8

中国联通有限公司湖北分公司

2007.03.19

系统环境:营业、账务和入库数据库布放在四台IBM P690服务器上,每台服务器22CUP、18GB内存,配置成集群。每个数据库数据量分别有800GB-1.4TB左右。数据库版本为Oracle10g,组成RAC。每天日志量为300GB左右。本地网络链路1000M。                                               应用需求:将三个应用数据库数据复制到本地1个Oracle数据库副本中,实现本地数据查询系统优化部署、业务负载分担等功能; 

1.满足设计方案的目标,实现3:1的容灾复制模式;                                                           

2.集中数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                           

9

中国网通(集团)有限公司辽宁省分公司

2004.03.11

系统环境:六大数据库各布放在两台IBM P690服务器上,总数据量有35TB左右。数据库版本为Oracle9i,分别组成RAC。本地网络链路1000M。                                                        应用需求:1.将六大应用数据库数据复制到1个Oracle数据库副本中,实现本地数据整合,消除分散系统的信息孤岛;2.提供六大业务系统数据库关键数据的集中容灾,保证100%的业务连续性要求; 

1.满足设计方案的目标,实现6:1的容灾复制模式;                                                                                         

2.六大业务系统关键数据集中容灾的目标实现;                                                                                                           3.完成六大业务数据整合和优化过程;                                                  

4.集中容灾系统数据修复成功;

10

中国联通有限公司福建分公司

2008.01.03

系统环境:营业和计费数据库布放在四台IBM P690服务器上,配置成高可用架构。每个数据库数据量分别有600GB-1.2TB左右。数据库版本为Oracle9i,组成RAC。每天日志量为150GB左右。本地网络链路1000M。                                               应用需求:将两个应用数据库数据复制到本地1个Oracle数据库副本中,实现本地数据查询系统优化部署、业务负载分担等功能; 

1.满足设计方案的目标,实现2:1的容灾复制模式;                                                           

2.集中数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;               

11

中国联通有限公司山东分公司

2008.02.19

系统环境:计费数据库各布放在四台HP RP8400服务器上,复制数据量有2TB左右。数据库版本为Oracle9i,分别组成RAC。本地网络链路1000M。                                    应用需求:1.将4个本地数据库复制一份Oracle数据库副本,实现本地数据查询,业务分担以及本地业务接管功能;2.对4个本地数据库的关键数据提供应急容灾功能; 

1.满足设计方案的目标,实现4:1的容灾复制模

式;                                                            

2.集中数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                                            

3.利用数据库表级复制功能,对关键数据实现容灾保护;                                               

4.Oracle容灾数据库数据恢复演练成功;

13

深圳蛇口集装箱码头

2008.03.16

系统环境:生产数据库布放在Compaq的服务器上,操作系统为TRU64,8G内存的两台Compaq组成的RAC。数据库版本为Oracle10g,数据量为50GB。网络链路带宽为100M。                                                       应用需求:1.实现关键生产数据库的数据容灾;2.提高容灾系统接管成功率,保证100%的业务连续性要求; 

1.满足设计方案的目标,实现1:1的容灾复制模式;                                                            

2.满足关键数据库的数据容灾要求;                                                     

3.异地容灾系统演练成功;

14

中国电信股份有限公司贵州分公司

2008.04.07

系统环境:帐务数据库布放在HP-IA64 服务器上,26CPU/20G,配置成高可用架构。数据库版本为Oracle9.2.0.5,实际复制数据量为120GB左右; 97系统数据库布放在IBM服务器上, 28CPU/20G,数据库版本为Oracle9.2.0.5,实际复制数据量为280GB左右。本地网络链路1000M。                          应用需求:1.将两个应用数据库关键数据表复制到目标数据库副本,实现本地数据查询,业务分担功能。2.替换现在已有的利用Oracle高级复制模式复制数据,减少对生产数据库的压力; 

1.满足设计方案的目标,实现2:1的容灾复制模式;                                                           

2.数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                                    

3.完全替换Oracle高级复制,减少了生产端数据库的压力;                                                 

4.实现查询业务完全从生产库剥离,实现业务优化部署;

15

东兴证券股份有限公司

2008.04.08

系统坏境:集中交易系统布放在两台HP580-G4服务器上,分别配备8CPU和32G内存。数据库版本为Oracle10g,组成RAC。数据量目前为100G左右。每天日志量为10-20GB左右。异地网络链路为4M。
应用需求:1.本地数据库复制一份Oracle数据库副本,实现本地数据查询,业务分担以及本地业务接管功能;2.异地容灾通过窄带宽链路将数据复制到北京灾备中心提供异地容灾功能; 

1.满足设计方案的目标,实现1:2的容灾复制模式;                                                           

2.本地数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                                           

3.低带宽情况能够保证数据复制传输的应用要求;                                                           

4.异地容灾系统演练成功;

16

信达证券股份有限公司

2008.04.16

系统环境:集中交易数据库为Oracle10G RAC,布放在两台IBM P570上,配置成高可用架构。实际复制数据量有100GB左右,本地和同城灾备中心网络链路均为1000M。                        应用需求:1.将集中交易数据库复制到同在证通机房的灾备中心数据库上,该数据库为Oracle10G主机为IBM P570,实现本地数据查询,业务分担以及本地业务接管功能;2.将集中交易数据库复制到同城的华侨城容灾机房,以适应同机房内出现灾难的情况,该灾备中心数据库为Oracle10G主机为IBM P570。 

1.满足设计方案的目标,实现1:2的容灾复制模式;                                                           

2.本地数据库副本实现查询业务分担,提高主应用的处理能力和查询响应速度,客户满意度上升;                                                           

3.实现同城异地的容灾要求;                                                           

Iostat

更多Oracle相关信息见Oracle 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=12

 

查看系统I/O状态。分析CPU对各端口的服务占比,了解硬盘swap空间和内存的数据比例关系。

本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-07/104100.htm

 

Vmstat

澳门新萄京官方网站 5

2.3  广西移动营业和客服数据库数据复制应急查询平台

查看系统虚拟内存状态信息。

  业务需求

Sar

将广西移动在白沙机房(BOSS1.5机房)新建一个基于SAN环境的计算机系统,有6个数据库(Oracle9i RAC),其中的2个数据库(一个是Oracle 9iRAC,两个节点,另外一个是双机互备模式)根据业务需要分别复制到应急数据库(Oracle 9i Single)的2个实例,因此需采购相应的复制软件进行数据库的复制。

Sat查看系统活动状态信息。

本工程是对其中的营业数据库和客服数据库进行复制,复制到应急数据库。

Topas

数据库复制系统的建立应实现将营业库和客服库的数据变化分别复制到应急库,使得应急营业库和应急客服库的数据和生产系统的营业库及客户库的数据同步。并能在生产系统的营业库或者客户库有故障时,替代故障库,接管应用。当故障库修复以后,能及时将应急库中的数据同步到修复后的生产数据库。

Topas可以监控系统内存,CPU,I/O端口,swap空间的情况

  方案设计 

no 命令用来修改内核参数。调整系统性能。

根据广西移动数据复制系统的业务需求,采用DSG RealSync软件实现数据复制:系统总体结构如下图所示:

Svmon

 澳门新萄京官方网站 6

svm on 命令用来查看系统当前的内存的具体使用。

 

6、结论

ü 生产系统

任何完好的系统它都不可能一点错误或故障都没有,网络服务器系统在运行时总是会或多或少的问题出现,虽然AIX系统具有自动诊断错误和故障的能力,但用户熟悉系统,并定期监视诊断系统的运行情况,方可避免不必要故障的发生。本文相关维护方法在IBM P520服务器,AIX 6.1操作系统下实现通过。

广西移动BOSS 1.5系统中需要本期工程进行复制的业务类型主要包括三种:

...

客服:系统的数据量约为100GB

帐务:系统的数据量约为800GB

营业:系统的数据量约为500GB

客服数据库单独运行,运行在两台IBM P690服务器上,组成RAC环境;

帐务和营业两个业务运行在一个ORACLE DATABASE的两个USER上,运行在两台IBM P690服务器上,组成RAC环境;

在容灾系统上安装两个ORACEL INSTANCE,运行两个ORACEL DATABASE。分别对应生产系统的客服数据库和营业帐务数据库中的两个用户。

  性能参考

ü  全同步

DSG RealSync提供了不停机的首次全同步功能,该功能支持数据库在正常业务时间不中断的情况下进行全同步。避免了采用存储拷贝方式进行全同步时必需要求的业务中断。

对于广西移动的数据量,两个用户数据量约为800GB,采用10个并发任务进行全同步,同步时间共计约5小时左右。

ü  日志分析速度

系统每天处理的日志量达到400GB左右.

ü  CPU资源速度

源端日志分析CPU占用量为单个CPU的10%,高峰期可达到单个CPU的60%.

  解决方案特点

容灾与其他任何保险策略一样,当没有灾难出现时,我们根本无法意识到容灾系统所起到的作用,无法回收容灾系统建设所需的大量投资。但从系统安全性角度考虑,我们又必须为关键的业务支撑系统建设最有效的灾难恢复解决方案。但是在大部分情况下,当未出现灾难时,我们的容灾端系统总是处于空闲状态,花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。

为此我们采用双active的结构,让容灾系统的数据库也处于OPEN状态,这样实际上广西移动就拥有了第二数据中心,而不仅仅是一个灾难备份系统,通过第二数据中心可以实现如下功能:

ü  核心业务的灾备平台 

通过数据同步建立的第二数据中心可以实现对业务关键数据的容灾及保护,在不影响生产数据库性能的同时为生产数据库在本地或异地建立一份准实时镜像,以保证在生产数据库发生灾难时可使用容灾数据库进行业务接管和数据恢复。

ü  业务负载分担 

第二数据中心的数据处于实时可读取状态,数据库处于OPEN状态,实现BOSS系统业务模块的重新部署。

通过第二数据中心实现对BOSS核心系统的业务模块进行负载分担,将那些只对数据进行读取操作的模块都迁移到第二数据中心上来,主要包括:

ü  地市统计报表

ü  地市业务查询

ü  提供其他系统的数据访问接口;

这样作将达到两个好处:

ü  提高数据访问的效率,提高外围系统部署的灵活性;

ü  提高核心系统的运行效率,提高核心系统运行的稳定和可靠性;

 

2.4  福建电信的计费查询平台应用

本项目的建设需求是:为福建电信集中计费系统上线后,建立一个独立的查询系统,将计费数据库和统计数据库上的数据同步到一个正确的查询数据库中,通过该查询数据库实现24个月的计费话单数据保存、对外数据接口、以及对外查询业务。

  系统方案

根据福建电信数据复制系统的业务需求,采用DSG RealSync软件将生产系统上的数据复制到历史查询系统上来。系统结构图为:

 澳门新萄京官方网站 7

数据复制的数据源由计费数据库和统计数据库两个系统组成: 

l  Bill数据库(计费数据库):

由两台IBM P595(14*2GHzcpu)组成,采用Oracle RAC模式;

话单数据库上的数据包括话单数据和统计数据:话单数据保存3 1月;

数据库大小容量为:2233.69434;

每天产生的Log日志量大约为122GB。

l  Stat.数据库(统计数据库):

由两台IBM P595组成,采用Oracle RAC模式;

存储长期的统计数据;

数据库大小计划容量为:1500GB;

每天产生的Log日志量计划为100GB左右。

l  查询服务器

采用IBM中高档UNIX服务器和高性能磁盘阵列,安装一个Oracle数据库系统。在数据库中创建两个User,一个User对应Billing数据库,一个User对应Stat.数据库。

  主要性能和指标参数:

在数据同步过程中,DSG RealSync表现出了非常强劲的系统性能:

l  全同步性能:360GB/小时(46GB在440s全同步导出结束);

l  实时同步性能:每天产生100GB的ArchiveLog情况下未出现日志分析和装载的延迟,完全能够跟得上系统的日志产生速度。

l  CPU和内存资源占用:DSGRealSync在实时同步过程中的CPU占用<1%,内存占用大约在400M左右。

 

2.5  河北地税11地市本地复制和数据集中上收和容灾应用

  业务需求 

河北省地税税收业务系统目前采用了在各市局分散应用模式,即十一个市局分别有各自的数据中心,负责税务征管和帐务处理。

为了实现对关键业务数据的异地容灾备份,同时实现数据的省级集中用于决策支持系统的数据源,需要在省局建立各市局数据的准实时备份。

同时为了在各市局本地提供查询业务,要求复制到本地另一台服务器上一套税务征管数据用于查询。

首先进行数据上收到省中心,上收的目的在于:

l  提供数据备份:将11个市局和省直属局的业务数据同步到省局,作为各市局本地备份的补充,当市局数据发生破坏时,可通过省中心的备份数据进行恢复;

l  提供业务接管:当市局的业务系统有灾难发生而不能在规定的时间内恢复的时候,可以通过省中心的备用系统暂时接管该市局的关键业务,以保证业务的连续性为目的。

l  数据利用:11个市局和省直属局同步到省局的数据,将作为省中心的数据仓库系统的数据源。

同时,在市局本地再复制产生一套税收征管数据,用于本地数据查询和报表业务。

 

  解决方案 

每个市局由两台IBM服务器组成高可用性架构。系统各自运行一套ORACLE9i数据库。

 澳门新萄京官方网站 8

数据上收系统是将11个地市征管数据库上的数据实时复制到省中心的集中数据库上,集中数据库起到备份、业务接管和数据利用三个目的。

 

2.6  长江证券集中交易系统灾备应用

  1、业务需求:

长将证券从2004年开始着手全公司大集中交易系统建设工作。集中交易系统的目的是实现所属所有网点数据大集中,涵盖长江证券目前现有业务(AB股,基金、债券、三板、集合理财、银证通、多币种等),整合并兼容长江证券即将开展的保险、期货等可预见金融业务的集中交易系统。是一套集金融产品研发、销售、管理为一体的信息系统。

随着证券集中交易系统的建设,对系统的安全性、可靠性和业务连续性方面提出了很高的要求。因为该系统是长江证券的业务得以正常运转的前提和保证。

而大量的意外事件,如不可抗自然灾难(地震、洪水)、意外灾难(火灾)、战争、恐怖事件(如911)、外界因素电网、通讯等处界因素、运营中心容错措施失效等原因都将会导致集中交易系统的数据丢失、业务中断,势必造成巨大的经济损失。

为此,长江证券提出了建设一套高效、可靠、投资回收比高的灾难备份系统。确保系统的数据安全和灾难发生时的快速恢复。

  2、解决方案

DSG作为数据管理平台解决方案的提供商,推出了包括数据安全、数据共享和数据生命周期管理等在内的全套数据管理解决方案。

该解决方案中的数据库复制技术realsync正是为数据复制和备份提供了最佳的解决方案。该软件在工作组和企业级的关键应用的容灾支持上,能够提供比竞争对手更低成本、更高投资回报、结构更灵活、更容易实施和维护的容灾解决方案,提供对主流Linux和Unix等跨平台的Oracle数据库系统的复制和备份支持。

在大型企业和数据中心级的关键应用上,RealSync是完全满足数据中心级每秒数千条交易量的实时复制支持、减少数据丢失。同事通过处于打开(open)状态的备份数据库提供数据查询、统计报表等支持企业应用模块的重新部署。

为此,长江证券选择了DSGRealSYnc作为其交易系统的复制和备份解决方案:

 

 澳门新萄京官方网站 9

  系统结构:

如图所示,长江证券集中交易系统容灾备份实现如下目的:

(1) 本地复制:

将集中交易系统复制到局域网内部的系统上用于查询和本地业务接管功能;

(2) 远程异地复制:

将位于武汉的集中交易系统远程复制到上海证通灾备中心,广域网链路2M.

(3) 满足业务备份和恢复指标

要求灾难发生时数据丢量控制在最小范围之内,业务恢复事件缩短,减少对证券用户的交易影响。

  支持平台:

数据库:oracle 9.2.0.4 RAC

操作系统:HP-UX

  应用效果和特点:

总的说来,采用DSGRealSync数据复制和备份解决方案,非常适合长江证券的业务需求:

(1)  支持1:2的复制模式,满足一个数据源复制到多个目标数据库的业务需求

(2)  备份数据库出于打开状态,通过该打开数据库可用于分担集中交易系统的查询和统计等业务功能

(3)  支持异构模式的数据复制,支持数据源、目标数据库之间采用灵活的软件和硬件平台,而无需要求相同的操作系统和数据库版本

(4)  减少带宽占用,满足2M带宽的广域网复制需求

(5)  数据复制实时性好,数据复制频率可调整,复制周期可减少到秒级以内,减少数据丢失。

 

2.7  西北证券灾备一体化方案

西北某证券股份有限公司是经中国证券监督管理委员会批准设立,于2001年元月正式注册开业的证券经营机构,注册资本金壹拾亿元人民币,注册地为陕西省西安市,公司在上海设有投资管理、客户资产管理、投资银行、研发中心等业务部门,并在陕西、北京、上海、深圳、山东设立了22家证券营业部和14家证券服务部。 

  业务需求

     西北某证券集中交易系统在2005年实现交易集中并升级到Linux Oracle平台,系统稳定运行。2006年以来,随着中国股市转牛,交易活跃,系统所承受的压力越来越大。一旦集中交易系统出现故障,将导致严重的后果。因此,西北某证券考虑升级以往的应用级容灾系统,采用专业的灾备软件对集中交易系统进行完善的保护,包括:

1)     实现灾、备一体化的数据保护 

对集中交易系统实现灾、备一体化保护,即在出现地震、火灾、存储故障、大面积电力中断、网络中断等情况下使用容灾系统实现业务快速接管;在出现诸如表数据丢失、数据逻辑错误、软件BUG等情况下可以通过备份系统快速在线修复系统。同时整合两种灾备模式,做到全方位保护。

2)     实现本、异地结合,查询、容灾结合的数据同步 

在中心机房和异地机房之间各保留一份同步数据。中心机房的同步数据用于历史查询、数据分析等,作为“温备”数据。异地同步数据用于容灾切换,作为“灾备”数据。

3)     强调应急处理及演习体制的建设,实现灾备制度保证 

在关键时刻容灾切换是否能够成功,不但取决于灾备软件,而且和平时的灾备演练、系统维护以及应急体制息息相关。因此,西北某证券要求灾备系统的建设同时应建设应急处理制度、演习制度并形成规范文档和应急指导手册,切实提高容灾系统的应用效果。

  解决方案

根据西北某证券的实际情况,DSG采用RealSync SnapAssure的灾备一体化方案来满足客户的需求。解决方案示意图如下:

 澳门新萄京官方网站 10

      如上图所示:

1)    配置两套DSGRealSync软件,分别实现从本地交易服务器组同步数据到中心机房的查询服务器以及异地机房的灾备服务器,实现本地和异地的数据同步;

2)    同步到中心机房的数据,用于历史查询、数据统计分析使用;同步到异地机房的数据,基本上不使用,作为容灾数据;数据同步实时进行,保持和交易系统一致。

3)    配置1套DSG SnapAssure软件,实现从交易服务器组到灾备服务器的异地备份。两地之间的网络为千兆单模光纤。

4)    备份到异地的集中交易系统数据,可以用来快速恢复或者在线修复系统。数据备份每个交易日执行一次,每次备份包括数据文件、日志文件、控制文件以及参数配置文件等。

5)    在项目实施中,分析系统可能遭遇的各种故障,根据故障情况判断故障等级和危害程度;分析两种灾备方式对不同故障的处理的优缺点,选择最优的处理方案,并写明详细的操作步骤,汇总成为应急手册。根据以上应急处理手册,进行日常的演习,通过平时的演练来促进系统故障时反应能力和故障处理能力。

  应用效果

西北某证券的灾备一体化系统是我国证券行业内采用先进的灾备软件构建关键业务系统全方位数据保护的首例。该系统建成后,可以实现:

1)  大幅提高集中交易系统在各种故障情况下的安全性。解决方案针对系统可能遭遇到的存储故障、主机故障、数据库故障、文件丢失、日志文件丢失、表丢失、数据异常、大面积停电、网络中断、地震等灾难都制定了相应的处理措施,从而为可能发生的故障准备好了处理预案。和其他的容灾解决方案相比,本方案的措施更全面和具体,更有针对性,覆盖了单纯的容灾技术无法解决的逻辑故障问题这个技术死角,并且提供了更多的在线修复的手段,从而令客户在面对各种灾难是能够选择最合适的方案进行快速处理,把对系统的影响减小到最少。

2)  应急处理措施与技术手段融为一体。在本项目中,除了软硬件系统的安装配置,更多的精力被投入到针对具体故障情况下的切换、恢复以及修复等的处理和演练,从而将技术手段和处理故障的流程、机制等结合起来,从而为今后的系统维护、管理和应急处理铺平了道路。

3)  达到了更高的技术指标。测试表明,在通常的交易复制中,数据延迟时间为1-2秒;数据库的首次数据同步时间不超过20分钟,切换时间不超过5分钟;数据全库备份时间不超过半小时,增量备份时间数分钟,全库恢复时间11分钟。以上技术指标既表明了灾备软件平时运行的高效,也表明了故障情况下能够达到的处理能力。

 

2.8  湖北联通的复制应用

  项目需求

湖北联通的综合营帐系统组成情况为:

主机设备: 采用4台IBM P690 小型机,每台小型机22CPU,18 GB内存,安装IBM AIX 5.2操作系统, 配置为集群。

存储设备: 采用EMC DMX 2000。

数据库  : 采用Oracle9i数据库,分别为营业、帐务和入库,3个数据库每库容量约800-1400GB。

  解决方案

系统采用DSGRealSync软件将综合营帐等系统的数据分流一份到专门的系统,从该系统上实现地市查询、历史查询、数据抽取以及统计分析等功能。

 澳门新萄京官方网站 11

系统采用一台IBM S85小型机和EMC Symmetrix 880磁盘阵列用作查询平台。

查询平台上采用Oracle 9i数据库,分别创建三个数据库实例,为营业、帐务和入库系统同步数据。

采用DSG RealSync系统以后,复制目标端系统处于正常的可用状态(称为“Active”),此时可以将一些只读业务,如地市查询、报表统计、历史数据查询、抽取数据、新系统测试等从主生产系统中迁移到查询系统上进行。这样,既能提高查询系统的利用率,又能减轻主生产系统的压力。

 

2.9  江苏联通业务复制应用

  项目需求

江苏联通为满足其全省1200多万用户的业务量,实现话音和Internet业务的综合管理,建设了全省的综合营帐系统。该系统在经过了较长一段实践的运行后,需要进一步优化系统结构以满足其进一步的业务发展,主要包括:

(1)  如何提高综合营帐系统的运行性能,减少综合营帐运行负荷;

(2)  如何提高系统查询和统计分析性能;如何满足地市个性化业务需求和业务二次开发

(3)  如何提高综合营帐与外部系统之间的数据接口效率

(4)  如何进一步利用综合营帐数据进行数据挖掘、分析业务发展规律、发现业务问题、进行业务二次开发等;

(5)  如何为联通统一经营分析平台提供整合后的数据来源;

为此,江苏联通需要优化其企业信息系统平台。通过该架构,形成江苏联通“第二数据中心”,该数据中心主要承担了以下几类业务:

(1)  提供VIP客户的快速业务管理功能,提供VIP客户的业务发展情况实时监控和VIP客户的优质客户服务;

(2)  提供江苏联通帐务统计报表业务;

(3)  提供江苏联通系统接口平台;

在建设了该架构后,江苏联通的营帐和计费系统的压力得到了合理的分担、提高了系统运行效率,减轻了不断对营帐和计费系统升级带来的投资负担,提高了江苏联通的系统部署灵活性。

 

  解决方案

DSG RealSync为江苏联通的需求提供了最佳的解决方案。

 澳门新萄京官方网站 12

如图所示,系统采用DSGRealSync从计费系统、帐务系统中的指定表的数据复制到一个独立的复制系统上。在独立的复制系统上用于数据查询、统计分析等。

  应用效果

DSG RealSync在满足江苏联通业务需求具有明显的特点:

  1. 1.  降低查询系统存储空间

提供选择性复制功能,所以对于查询系统而言,无需复制生产系统上的所有数据,从而减少查询系统的存储空间。

源系统上的数据库容量总共达到有几个TB,而需要复制到查询系统上的数据只有其中的10多张表,数据量约为几十GB。这是采用磁盘镜像技术所不能达到的。

  1. 2.  满足性能指标

在能够提供逻辑复制功能的工具中,RealSync针对电信级大业务量数据所设计的,因此在性能上完全满足业务系统的需求。

  1. 3.  可提供优化的查询系统

源数据库系统和目的数据库系统的可异构,主要包括索引规则和存储参数(如数据块大小、回滚段等)。因此可以在查询数据库上根据业务特点进行调整和优化,完全不受源系统的限制。

 

2.10 辽宁网通数据复制应用案例

  客户背景

辽宁省通信公司是秉承辽宁通信业一百多年发展历史的大型通信企业,是辽宁地区实力雄厚、品牌强劲的基础电信运营商。主要经营国际、国内各类固定电信网络与设施(含本地无线环路),经营基于电信网络的话音、数据、图像及多媒体通信与信息服务业务,以及与通信及信息业务相关的系统集成、技术开发、技术服务、信息咨询、广告、通信设备销售、设计施工等业务。

  项目需求

辽宁省通信公司为了适应业务发展及日益激烈的市场竞争的需要,决定开发新一代电信运营支撑系统。整个系统建设分别围绕利润,服务,管理三个主题分阶段分步骤的开展。

在项目实施的第一个阶段建设综合服务提供平台,联机采集系统,综合业务计费帐务系统,综合结算系统,资源管理系统,交换网网管系统等系统,在以客户为中心的总体企业经营理念的指导下,为解决快速、有效和可控的服务提供与保障方面的问题,综合服务提供平台成为第一阶段建设的系统当中的重点。

其中统计分析业务在辽宁网通的重要性显得非常突出,因为在当实现了省业务支撑系统的集中建设后,大量的统计分析应用对系统提出了很高的要求。因此辽宁网通在省业务支撑中心决定建设一个集中的统计分析平台,该平台独立于各生产系统服务器,建设专用的统计分析系统,该系统拥有独立的数据、服务器、大容量存储和统计应用程序。并且统计分析系统逐渐可发展为经营决策分析系统,

  系统环境

澳门新萄京官方网站 13

如上图所示,需要DSG RealSync进行复制的业务系统包括6大类组成:

ü  计费系统:有两台IBM服务器组成HA架构,运行ORACLE 9I数据库;

ü  营收系统:有两台服务器组成HA架构作为oracle数据库服务器,另外两台作为应用服务器(应用服务器不在复制范围之内)

ü  综和服务平台:有两台IBM服务器组成,运行ORACLE 9I数据库;

ü  资源管理系统:有两台IBM服务器组成,运行ORACLE 9I数据;

ü  网间结算系统:有两台IBM服务器组成,运行ORACLE 9I数据;

ü  网管系统:有两台IBM服务器组成,运行ORACLE 9I数据;

 

各系统的容量大小为:

业务模块

有效容量(TB)

营收+计费系统

13.00

网间结算系统

12.10

综合服务平台

4.80

交换网网管

3.60

资源管理

0.80

 

  解决方案

统计分析系统的独立,从根本上解决了统计分析与生产系统的资源争用问题,大量的统计分析应用并不会影响到生产系统的处理性能。这样一方面可以提高统计分析的处理性能,提高统计分析的运行效率,也提高了生产系统的运行效率和健康程度。

由于当生产系统与统计分析系统相互独立,关键问题就在于如何实现统计分析系统上的数据更新,如何保证统计系统数据实时反映生产系统的业务变化。

DSG推出的实时数据库复制技术RealSync为这个问题提供了很好的解决方案,该技术对选定的数据对象进行复制,将这些选定对象的变化复制到另外一个数据库实例作为报表、查询以及使用,系统异构,对生产系统的低干扰性,适合高速、准确要求。

 

DSG RealSync为辽宁网通解决了此问题,通过RealSync产品从生产系统上将需要提供统计分析功能的数据实时提取到统计分析平台上来,保存到统计分析的专用磁盘阵列,用于统计分析工作。统计分析系统要求数据库在线,且分析数据要保存2年以上的应用数据。

这样通过RealSync将生产系统上产生的数据实时复制到统计分析系统上,保证了统计分析数据的及时更新。解决了独立的6大业务系统的数据集中整合问题,建设了集中的统计分析系统,并为发展成为统一数据仓库系统奠定了基础。

DSG RealSync在满足该系统需求上,存在以下几个特点:

ü  灵活的复制结构: 

支持N:1的复制,实现辽宁网通6大分散业务系统的数据集中和整合。

ü  按需复制: 

RealSync系统支持对指定信息的按需复制,在方案中只需要复制指定系统中的关键业务数据,而对那些中间结果和临时数据则无需复制,减少统计平台需要的存储容量。

ü  系统异构,可提供更多的优化空间: 

目标系统与源系统可采用不同的服务器和磁盘阵列,并且源数据库系统和目的数据库系统的可异构,主要包括索引规则等。

 

2.11 上海松江财政容灾系统应用案例

  业务需求

随着计算机应用系统的爆炸式发展,业务量迅速增加,业务种类日益复杂,系统必须管理不断增长的信息流量;随着信息量的急剧增大,核心数据的管理变得日益困难。如何安全、可靠地存储业务数据及满足未来业务数据高速增长的需要;如何有效管理日益增长的业务数据;如何实现业务数据的共享并在现有业务数据之上建立新兴的增值应用,如数据仓库、客户关系管理(CRM)等,成为了各企业建立信息系统的关键所在。

因次上海松江财政局计划建设一个集中的数据中心,将其所下属的相关单位的财政数据集中收集到数据中心。通过收集过来的数据实现两类目的:

(1)     作为各单位重要数据的灾备中心;

通过实时复制的方式将各下属单位的重要财政数据上收到数据中心,当各系统能够因为灾难造成业务停止或数据丢失时,能够在灾备中心进行业务接管和数据恢复。

(2)     建立数据仓库平台;

通过实时复制的方式将各下属单位的重要财政数据上收到数据中心,再从集中数据库中通过ETL工具抽取关心的业务数据进入数据仓库中,进行财政数据的分析、汇总和数据挖掘。

  方案设计

1、一期建设范围 

一期将其下属的三个重要的数据库进行上收。

ü  上收的数据包含3个oracle数据库;

ü  共计约400个user下的数据;

ü  数据量总共为几十GB。

2、系统结构 

根据财政核心业务系统的需求及其业务特点,我们建议的系统结构图如下所示:

 澳门新萄京官方网站 14

 

  解决方案特点

1、主备系统数据库处于双活状态 

上海财政系统数据同业务要求在复制链路中的各个数据库都处在活动状态,其中容灾数据库承担了数据容灾备份,在任何一个生产数据库发生灾难时需要及时提供业务的接管和及时的数据恢复,同时,灾备数据库一直处于open状态,可以对灾备数据库进行实时访问,系统保持生产中心和灾备中心的数据库处于双激活状态;

推荐解决方案采用了DSG RealSync实现生产数据库源系统到容灾系统的复制工作。可以从技术上保障目标数据库在线可用,容灾数据库的数据实时可读取,复制过程和数据读取不产生矛盾。RealSync的复制延迟很小,从容灾数据库读取到的数据是实时最新数据,不需要为了读取到最新数据而进行一些切换工作。

2、N:1的容灾架构,适合于集中容灾的方式 

DSG的容灾解决方案可实现异构系统下的N:1容灾体系结构,可实现一套容灾系统对多套生产系统提供容灾服务,减少为每套生产系统建设一套容灾系统模式下的高投入。

 

3、异构环境的容灾方式 

RealSync的容灾解决方案为用户提供的是基于逻辑的数据复制解决方案,因此对于本地系统和容灾系统来说,其硬件平台可以属于不同的厂商、不同的型号,可采用不同的操作系统等。基于逻辑的数据复制屏蔽了底层物理数据的差异。

正如此案例,需要上收的系统分别采用了不同的硬件设备,包括HP-UX,AIX,Linux等有使用。这些系统所采用的硬件平台各不相同。系统采用RealSync提供的异构容灾解决方案时可以选择不同的异构存储平台作为容灾系统的存储平台。

 

 

2.12 山东联通计费系统容灾及查询平台应用

  1、项目需求

本工程需要对GSM计费系统上的数据提供数据复制支持,提供容灾和计费数据查询功能。计费系统在线系统保存5 1的数据,容灾系统上只要求保存2月(上月+当前月)的数据用于容灾和查询。

为了满足该要求,如果采用常用的磁盘镜像技术的话,那么将有几个问题是无法有效解决的,或者说如果解决该问题的成本是非常昂贵的:

n  不能实现按需复制:

磁盘镜像无法实现按需容灾技术,即在计费系统中只需要提供1 1月数据的容灾保护,而在生产系统上有5 1月数据。磁盘镜像技术只能对5 1数据提供容灾复制,这样必将提高存储容量3倍以上。

n  容灾数据无法实现有效的数据查询功能:

与其他任何保险策略一样,对容灾系统而言,没有灾难出现时,我们根本无法意识到容灾系统所起到的作用,无法回收容灾系统建设所需的大量投资。当未出现灾难时,我们的容灾端系统总是处于空闲状态,花费大量投资买来的系统根本无法有效利用。这个问题一直困扰着用户。

一些磁盘复制技术厂商推出了BCV等技术以解决该数据复用问题,而该方案需要用户购买1倍的磁盘空间,并且数据还不能实时访问。

因此,如果采用传统硬盘复制技术解决以上问题的话,但就硬盘容量投资上讲就将浪费6倍的硬盘。

 

  2、DSG解决方案

DSG公司推出的RealSync容灾解决方案为该需求提供了最佳的解决方案。

该技术与磁盘镜像技术的根本区别在于,RealSync是在逻辑级,通过传输和运行数据库事务(Transaction),来实现生产系统的数据实时复制到容灾系统上的。

这样该软件可提供该项目需求中的两个重点支持:

(1)按需选择复制:

由于该软件是在逻辑级别复制,所以生产系统和容灾系统在数据管理方面可以采用不同的策略,如在生产系统上保存5+1月数据,而在容灾系统系统上只保存1 1数据。

RealSync可指定只对当前月和前一月的1+1数据进行复制。

(2)容灾数据库可提供数据实时访问,而不需要额外的存储投资

采用RealSync复制技术,容灾站数据库系统始终处于打开状态,不同于磁盘镜像技术中的容灾数据库系统在进行数据复制是不可用的。因此,在RealSync热容灾解决方案中,可以通过容灾系统为其它系统提供数据共享服务。如通过容灾系统为计费系统查询功能。

同时该功能还无需像BCV那样购买多一倍的存储空间。

采用DSG RealSync实现山东联通计费系统容灾方案结构如下:

 澳门新萄京官方网站 15

如上图所示:本次工程是采用DSGRealSync将GSM计费系统上的2个RP8400和2个HP N4000上的4个数据库复制到1个容灾系统上。

n  使用RealSync完成计费系统数据表复制功能;

n  实现选择性复制,只复制那些需要容灾的数据,在本方案中就是1 1月的数据;

n  实现容灾系统上的数据只保存1 1月数据的方案,在每月末,通过脚本定时执行的方式或人工操作的方式将前3个月的数据删除;

n  实现容灾系统的数据查询功能,当数据复制过程中,容灾端数据也可以提供外部查询功能。

 

2.13 SnapAssure在xinjiang移动BOSS系统备份的应用

  中国移动BOSS备份系统所面临的挑战

以xinjiang移动为例:

截止到2006年年底,xinjiang移动已经拥有超过200万的用户,xinjiang移动BOSS系统的主机以HP,IBM公司的产品为主,有少量的SUN公司的服务器。

xinjiang移动目前主要的业务支撑系统包括:CRM系统、帐务系统、计费系统、综合结算系统、统计分析系统和客服系统等等。数据库系统全部使用Oracle,为了节省主机资源,Oracle数据库全部运行在非归档(No Archive Log)模式下。

 

xinjiang移动原有的备份系统是以磁带库备份为主,其中存在严重的问题和挑战:

1)  BOSS系统的数据备份没有完整的备份策略

由于xinjiang移动BOSS系统中使用的Oracle数据库非归档模式,维护人员无法实现在线数据的热备份。目前,只能以将重要的数据库表倒出成文件再备份到磁带库的方式进行备份,这种方式需要进行大量的手工操作和人工干预。因此,在线数据以及本地备份数据的备份工作效率很可能不高,备份下来的文件也无法进行版本的管理和控制,xinjiang移动还不能做到自动备份和高效管理。

 

2)  BOSS系统的数据备份没有进行异地保存

BOSS系统的数据进行的备份都是本地的备份。即从生产主机上把重要数据备份到本地的磁带库进行存储,所有操作都在中心机房内执行。

由于xinjiang移动目前还没有建设远程的容灾系统,备份数据也没有做到异地的保存。那么一旦发生灾难性的事故,磁带的读写性能低,在恢复测试、介质访问管理方面都存在问题;更重要的是,非归档模式下的Oracle无法进行在线的热备份,这种状况对xinjiang移动业务数据的安全构成了很大的威胁。可见,xinjiang移动缺少一套备份数据的异地保护方案。

3)  BOSS系统的数据备份无法定期执行恢复性的测试

BOSS系统的数据备份无法定期执行恢复性的测试主要有以下三个原因:

l 没有足够的资源进行恢复测试,这个资源指的是足够的恢复测试空间和恢复测试用的主机。测试主机的操作系统需要与业务系统主机的操作系统保持一致、安装的数据库版本需要相同、同时物理卷和逻辑卷的结构也需要尽量保持的一致。

l 数据恢复测试时间过长,缺乏人员进行跟踪检验,对于数据量非常大的CRM、计费、经营分析等系统,进行一次恢复的测试需要很长的时间。大约需要十几个小时才能够恢复完成,一是由于现有的磁带速度太慢,即使目前最快的磁带机LTO2可以达到的实际环境备份速度也仅在13-15MB/s左右,备份恢复的性能明显过低。二是因为数据的恢复由多个恢复步骤组成,除了全恢复以外还要做若干个增量的恢复,恢复步骤烦琐也是恢复时间过长的重要原因之一。另外,对于一些数据库表的恢复也必须通过全恢复后才能对数据表进行提取,所以部分数据的恢复测试工作要耗时更长。这也是无法进行恢复测试的一个重要原因。

  DSG SnapAssure建设方案:

DSG SnapAssure为xinjiang移动提供了整体的、有效的备份升级解决方案,BOSS系统中的重要模块都实现了在线、集中、热备份的方式,如图:

 澳门新萄京官方网站 16

  方案特点如下:

  1. 1.      支持Oracle数据库非归档状态下的备份 

对xinjiang移动的所有重要数据库,在其Oracle的非归档模式下,实现了全球首创的在线自动热备份,并实现了集中统一备份管理和集中统一恢复管理。

  1. 2.      完整的备份策略 

BOSS系统数据是非常关键的,同时考虑到业务的连续性,这些数据都需要在不停机的情况下进行在线数据备份。

备份策略设定如下:

l 以一周为备份周期,每周日进行一次数据库数据全量备份,其余每天进行数据增量备份;

l 业务数据库增量数据备份启动时间设定在每天的夜间进行,避开业务繁忙的时段;

l 备份数据在磁盘上保留两周的版本,即两个全备和12个增量备份。

  1. 3.      快速的恢复 

系统支持1TB数据库的完全恢复时间在2-4小时左右。

  1. 4.      支持单表直接恢复 

当生产系统因人为误操作而造成表数据丢失时,可从DSG SnapAssure备份系统上直接恢复指定表的记录。

  1. 5.      实现备份数据的可靠性验证,应对赛班斯法案的要求 

定期进行备份数据的恢复测试验证,赛班斯法案要求每半年进行一次。采用DSGSnapAssure后,可通过DSG的备份验证产品DSG SnapShare,将备份数据直接快速打开,进行有效性验证。这避免了在传统方案中进行校验需要的全恢复,避开了人力物理资源的大量消耗,包括恢复测试的主机消耗、恢复空间的消耗、系统管理员大量工作时间的消耗等等。

 

 

3     容灾异构平台的经验

券商名称 

RealSync上线时间 

生产端主机 

容灾端主机 

交易系统名称 

版本号 

民族证券

2007-2

IBM P570 AIX5.3

Oracle10g RAC

HP DS580 LINUXAS4

ORACLE10g RAC

恒生集中交易系统3.0版

中原证券

2007-3

IBM P570 AIX5.3

Oracle10g RAC

HP DS580 LINUXAS4

ORACLE10g RAC

恒生集中交易系统3.0版

国联证券

2006-7

IBM P570 AIX5.3

Oracle9i RAC

HP RX4640 HP 11.23A

Oracle9i RAC

恒生集中交易系统3.0版

华泰证券

2006-3

IBM S80 AIX5.2

Oracle9I RAC

IBM S80 AIX5.2

Oracle9I

恒生集中交易系统3.0版

金通证券

2006-10

HP DS570

Oracle10g RAC

HP DS570

Oracle10g

恒生集中交易系统3.0版

银河证券

2006-11

IBM M80 AIX5.2

Oracle9I RAC

IBM M80 AIX5.2

Oracle9I

金证开放基金系统

长江证券

2007-1

IBM P570 AIX5.3

Oracle10g RAC

IBM P570 AIX5.3

Oracle10g

恒生集中交易系统2006版

4     性能指标占用参考

1、某电信集中计费系统异构平台成功案例:

生产端是两台HP的superdemo oracle9i rac 使用emc的dmx系列阵列

容灾端一台IBM P690用作关键业务容灾接管,以及平时的查询和报表统计

项目

结果

生产端表空间容量

约2.7T

实际数据量

约1.5T

RealSync压缩传输量

约350G

首次同步导出时间

约5小时

首次同步过程中源端CPU占用

40%-50%

首次同步过程中源端内存占用

400M-600M

首次同步过程中目标端CPU占用

12%

首次同步过程中目标端内存占用

250M-300M

增量同步过程中源端CPU占用

3%-5%

增量同步过程中源端内存占用

500M左右

增量同步过程中目标端CPU占用

5%-7%

增量同步过程中目标端内存占用

300M左右

 

2、某政府行业集中数据管理同台异构平台成功案例:

生产系统2台hp安腾rx8640 oracle9i rac

容灾端两台solaris oracle9i rac用作容灾以及平时供数据仓库抽取数据使用。

项目

结果

生产端表空间容量

约900G

实际数据量

400G

RealSync压缩传输量

约100G

首次同步导出时间

约3小时

首次同步过程中源端CPU占用

约30%

首次同步过程中源端内存占用

300M-400M

首次同步过程中目标端CPU占用

17%

首次同步过程中目标端内存占用

250M-300M

增量同步过程中源端CPU占用

3%-5%

增量同步过程中源端内存占用

400M左右

增量同步过程中目标端CPU占用

5%-7%

增量同步过程中目标端内存占用

300M左右

 

3、某证券集中交易系统异构平台成功案例

源端两台IBM 570 oracle10g rac

容灾端本地一台以前用作生产系统的HP小型机 oracle10g供客户进行数据的查询,同时检验检验复制数据的准确性。异地容灾端另一台以前用作生产系统的HP小型机oracle10g进行异地容灾。

项目

结果

生产端表空间容量

约200G

实际数据量

约80G

RealSync压缩传输量

约55G

首次同步导出时间

约40分钟

首次同步过程中源端CPU占用

约15%

首次同步过程中源端内存占用

200M左右

首次同步过程中目标端CPU占用

7%

首次同步过程中目标端内存占用

150M左右

增量同步过程中源端CPU占用

3%-5%

增量同步过程中源端内存占用

200M左右

增量同步过程中目标端CPU占用

5%-7%

增量同步过程中目标端内存占用

150M左右

本文由澳门新萄京官方网站发布于服务器运维,转载请注明出处:Linux下的高可用性方案研究,高可用与最佳实践

关键词: