Big Head DBA

Mysql管理必备工具Maatkit详解之十五(mk-slave-restart)

大头刚 — Tue, 09 Mar 2010 07:52:59 +0000

mk-slave-restart - 对slave进行监控，以及在slave报错后，重启slave。安装方法查看这里。

其实可以理解成在slave执行了如下命令：

stop slave;
set global sql_slave_skip_counter=1;
start slave;

下面举例说明：
先模拟一个slave报错，在主库建表，然后在从库删除，再去主库删除。报错如下：

Last_SQL_Errno: 1051
Last_SQL_Error: Error 'Unknown table 'test_sg'' on query. Default database: 'test'. Query: 'drop table test_sg'

在利用mk-slave-restart去重启这个slave;

[root@mysql2 ~]# mk-slave-restart -u xxx -p xxx -h xxx --run-time 3 --skip-count 1
2010-03-09T14:01:57 h=xxx,p=...,u=xxx slave-relay-bin.000215    74173942 1051

解释下参数：
run-time:指监控slave的时间，单位是秒；
skip-count:指跳过log的数量；

解释下输出：
1、time
2、slave IP
3、user
4、passwd
5、MASTER_LOG_FILE
6、MASTER_LOG_POS
7、Last_SQL_Errno

很显然mk-slave-restart是一个很不错的slave监控工具，当salve出错后能及时报警，并直接重启slave。同时输出了报错的相关信息，方便后面查询在哪出错，是什么错。下面给出它的帮助:

[root@mysql2 ~]# mk-slave-restart --help
mk-slave-restart watches one or more MySQL replication slaves for errors, and
tries to restart replication if it stops.  For more details, please use the
--help option, or try 'perldoc /usr/bin/mk-slave-restart' for complete
documentation.
 
Usage: /usr/bin/mk-slave-restart 
 
Options:
  --always            Start slaves even when there is no error
  --ask-pass          Prompt for a password when connecting to MySQL
  --charset       -A  Default character set
  --config            Read this comma-separated list of config files; if
                      specified, this must be the first option on the command
                      line
  --daemonize         Fork to background and detach (POSIX only)
  --database      -D  Database to use
  --defaults-file -F  Only read mysql options from the given file
  --error-length      Max length of error message to print
  --error-numbers     Only restart this comma-separated list of errors
  --error-text        Only restart errors that match this pattern
  --help              Show help and exit
  --host          -h  Connect to host
  --log               Print all output to this file when daemonized
  --max-sleep         Maximum sleep seconds (default 64)
  --min-sleep         The minimum time mk-slave-restart will sleep before
                      polling the slave again (default 0.015625)
  --monitor           Whether to monitor the slave (default)
  --password      -p  Password to use when connecting
  --pid               Create the given PID file when daemonized
  --port          -P  Port number to use for connection
  --quiet         -q  Suppresses normal output (disables --verbose)
  --recurse           Watch slaves of the specified server, up to the specified
                      number of servers deep in the hierarchy
  --run-time          Time to run before exiting.  Optional suffix s=seconds,
                      m=minutes, h=hours, d=days; if no suffix, s is used.
  --sentinel          Exit if this file exists (default
                      /tmp/mk-slave-restart-sentinel)
  --set-vars          Set these MySQL variables (default wait_timeout=10000)
  --skip-count        Number of statements to skip when restarting the slave
                      (default 1)
  --sleep             Initial sleep seconds between checking the slave (default
                      1)
  --socket        -S  Socket file to use for connection
  --stop              Stop running instances by creating the sentinel file
  --until-master      Run until this master log file and position
  --until-relay       Run until this relay log file and position
  --user          -u  User for login if not current user
  --verbose       -v  Be verbose; can specify multiple times (default 1)
  --version           Show version and exit
 
Options and values after processing arguments:
  --always            FALSE
  --ask-pass          FALSE
  --charset           (No value)
  --config            /etc/maatkit/maatkit.conf,/etc/maatkit/mk-slave-restart.conf,/root/.maatkit.conf,/root/.mk-slave-
 
restart.conf
  --daemonize         FALSE
  --database          (No value)
  --defaults-file     (No value)
  --error-length      (No value)
  --error-numbers     (No value)
  --error-text        (No value)
  --help              TRUE
  --host              (No value)
  --log               (No value)
  --max-sleep         64
  --min-sleep         0.015625
  --monitor           TRUE
  --password          (No value)
  --pid               (No value)
  --port              (No value)
  --quiet             FALSE
  --recurse           (No value)
  --run-time          (No value)
  --sentinel          /tmp/mk-slave-restart-sentinel
  --set-vars          wait_timeout=10000
  --skip-count        1
  --sleep             1
  --socket            (No value)
  --stop              FALSE
  --until-master      (No value)
  --until-relay       (No value)
  --user              (No value)
  --verbose           1
  --version           FALSE

利用RMAN的DUPLICATE创建STANDBY将单实例数据库升级为RAC环境

大头刚 — Fri, 05 Mar 2010 09:51:19 +0000

利用RMAN的DUPLICATE创建STANDBY,可以在不停机的情况下将单实例数据库迁移到RAC数据库。当然这种不停机是指相对的，在DG进行切换的时候，停机时间可以保证在5分钟之内完成。

首先确保目标服务器上的RAC环境已经建立，由于RMAN的DUPLICATE创建STANDBY，没有办法将数据文件放到远端的ASM磁盘组中，本次测试使用OCFS2做为RAC的共享存储文件系统。如果使用ASM作为存储机制，无法实现不停机迁移。
测试环境：

primary sid         : test
primary ip          : 192.168.1.200
 
standby sid         : testrac01,testrac03,testrac03
standby Public  ip  : 192.168.1.101,192.168.1.102,192.168.1.103
standby Virtual ip  : 192.168.1.201,192.168.1.202,192.168.1.203
standby Private ip  : 10.0.0.1,10.0.0.2,10.0.0.3

RAC数据库环境如下：

SYS@test_rac01>select * FROM v$version;
BANNER
----------------------------------------------------------------
Oracle DATABASE 10g Enterprise Edition Release 10.2.0.3.0 - 64bi
PL/SQL Release 10.2.0.3.0 - Production
CORE	10.2.0.3.0	Production
TNS FOR Linux: Version 10.2.0.3.0 - Production
NLSRTL Version 10.2.0.3.0 - Production
 
SYS@test_rac01>select instance_name, STATUS FROM gv$instance;
 
INSTANCE_NAME	 STATUS
---------------- ------------
testrac01	 OPEN
testrac02	 OPEN
testrac03	 OPEN

RAC的数据文件路径和primary的路径一直，共享磁盘挂载到对应的路径

df -Th
Filesystem    Type    Size  Used Avail Use% Mounted on
/dev/sda     ocfs2    1.4T  202G  1.2T  15% /u01/app/oracle/oradata

一、由于要进行将目标数据库升级为RAC环境，因此需要添加UNDOTBS和THREAD对应的日志,因为我们是3个节点，需要UNDOTBS2、UNDOTBS3和THREAD2、THREAD3

 
SQL> CREATE UNDO TABLESPACE UNDOTBS2 DATAFILE '/u01/app/oracle/oradata/test/undotbs02.dbf' SIZE 4096M;
SQL> CREATE UNDO TABLESPACE UNDOTBS3 DATAFILE '/u01/app/oracle/oradata/test/undotbs03.dbf' SIZE 4096M;
 
SQL> ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 11 '/u01/app/oracle/oradata/test/redo11.log' SIZE 300M;
SQL> ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 12 '/u01/app/oracle/oradata/test/redo12.log' SIZE 300M;
SQL> ALTER DATABASE ADD LOGFILE THREAD 2 GROUP 13 '/u01/app/oracle/oradata/test/redo13.log' SIZE 300M;
 
SQL> ALTER DATABASE ADD LOGFILE THREAD 3 GROUP 14 '/u01/app/oracle/oradata/test/redo14.log' SIZE 300M;
SQL> ALTER DATABASE ADD LOGFILE THREAD 3 GROUP 15 '/u01/app/oracle/oradata/test/redo15.log' SIZE 300M;
SQL> ALTER DATABASE ADD LOGFILE THREAD 3 GROUP 16 '/u01/app/oracle/oradata/test/redo16.log' SIZE 300M;
 
SQL> ALTER DATABASE ENABLE THREAD 2;
SQL> ALTER DATABASE ENABLE THREAD 3;

二、下面可以在主库修改初始化参数文件：
修改primary的监听。

testrac  =
  (DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.201)(PORT = 1521))
    )
    (CONNECT_DATA =
      (SERVICE_NAME = testrac01)
    )
  )

修改primary的DG参数

ALTER SYSTEM SET log_archive_config='DG_CONFIG=(test,testrac)' scope=both;
ALTER SYSTEM SET LOG_ARCHIVE_DEST_2='SERVICE=testrac LGWR ASYNC VALID_FOR=(ONLINE_LOGFILES,PRIMARY_ROLE)' scope=both;
ALTER SYSTEM SET LOG_ARCHIVE_DEST_STATE_2=ENABLE scope=both;

在primary执行，利用当前的初始化参数，创建PFILE，修改后用于STANBY数据库的启动，同时生成STANDBY CONTROLFILE，与修改后的PFILE文件一起放到目标服务器上：

SQL> CREATE PFILE='/u01/app/oracle/inittestrac.ora' FROM SPFILE;
SQL> ALTER DATABASE CREATE STANDBY CONTROLFILE AS '/u01/app/oracle/stb_control01.ctl';

修改参数，添加RAC参数

*.audit_file_dest='/u01/app/oracle/admin/test/adump'
*.background_dump_dest='/u01/app/oracle/admin/test/bdump'
*.compatible='10.2.0.1.0'
*.control_files='/u01/app/oracle/oradata/test/trol.ctl'   （到共享磁盘）
*.core_dump_dest='/u01/app/oracle/admin/test/cdump'
*.db_block_size=8192
*.db_domain=''
*.db_file_multiblock_read_count=16
*.db_name='testcent'
*.job_queue_processes=10
*.FAL_CLIENT='testcent'
*.FAL_SERVER='testcenter'
*.log_archive_config='DG_CONFIG=(test,testrac)'
*.LOG_ARCHIVE_DEST_1='LOCATION=/u01/app/oracle/oradata/flash_recovery_area VALID_FOR=(ALL_LOGFILES,ALL_ROLES) DB_UNIQUE_NAME=testrac'  (归档目录放到共享磁盘)
*.log_archive_dest_2='SERVICE=test LGWR ASYNC VALID_FOR=(ONLINE_LOGFILES,PRIMARY_ROLE) DB_UNIQUE_NAME=test'
*.log_archive_dest_state_1='ENABLE'
*.log_archive_dest_state_2='ENABLE'
*.job_queue_processes=10
*.log_archive_format='%t_%s_%r.dbf'
*.open_cursors=300
*.pga_aggregate_target=1349151744
*.processes=2500
*.remote_login_passwordfile='EXCLUSIVE'
*.sessions=2755
*.sga_max_size=1589934592
*.sga_target=1589934592
*.undo_management='AUTO'
*.user_dump_dest='/u01/app/oracle/admin/test/udump'
*.cluster_database=true
*.cluster_database_instances=3
*.db_unique_name='testrac'
testcent1.undo_tablespace='UNDOTBS1'
testcent2.undo_tablespace='UNDOTBS2'
testcent3.undo_tablespace='UNDOTBS3'
testcent1.instance_number=1
testcent2.instance_number=2
testcent3.instance_number=3
testcent1.thread=1
testcent2.thread=2
testcent3.thread=3
testcent1.local_listener='(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.201)(PORT=1521))'
testcent2.local_listener='(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.202)(PORT=1521))'
testcent3.local_listener='(ADDRESS=(PROTOCOL=TCP)(HOST=192.168.1.203)(PORT=1521))'
 
#有BUG，切换完毕在改回来。
*.db_recovery_file_dest='/u01/app/oracle/flash_recovery_area'
*.db_recovery_file_dest_size=100G
 
#如果数据文件路径没变就不用设置，改变了需要设置这2个参数
*.log_file_name_convert=('', '')
*.db_file_name_convert=('', '')

在STANDBY的RAC环境的3个节点上分别拷贝密码文件,在节点1,2,3上，密码文件应该重命名为orapwtestrac01,orapwtestrac02,orapwtestrac03。

三、确保两个节点上的对应目录都已经建立。

/u01/app/oracle/admin/test/bdump
/u01/app/oracle/admin/test/adump
/u01/app/oracle/admin/test/cdump
/u01/app/oracle/admin/test/bdump
/u01/app/oracle/oradata/test
/u01/app/oracle/oradata/flash_recovery_area/

四、在主库创建数据全备

rman target /
sql 'ALTER SYSTEM ARCHIVE LOG CURRENT';
backup AS COMPRESSED BACKUPSET DATABASE format '/u01/backup/rman_backup/data/test_full_%U_$DATE.dbf' ;

在备库把备份拷贝过来,放到相同的目录。

五、确保STANDBY数据库可以通过服务名访问主库，每个节点都设置。

[oracle@test-rac01 admin]$ tnsping test
TNS Ping Utility for Linux: Version 10.2.0.3.0 - Production on 25-JAN-2010 17:37:42
Copyright (c) 1997, 2006, Oracle.  All rights reserved.
Used parameter files:
Used TNSNAMES adapter to resolve the alias
Attempting to contact (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.200)(PORT = 1521)))
(CONNECT_DATA = (SERVICE_NAME = test))
OK (10 msec)

六、利用RMAN的DUPLICATE创建STANDBY,把节点2、3先关闭，只开启节点1。

SQL> conn /AS sysdba
Connected TO an idle instance.
SQsql> startup nomount pfile='xxxxxxxxx/orapwtestrac01'

必须是nomount状态，否则无法进行duplicate操作
登陆RMAN并且登陆到备库

[oracle@test-rac01 ~]$ rman target sys/XXXX@test auxiliary /
RMAN>connect auxiliary sys/XXX@testrac01
connected TO auxiliary DATABASE: testrac01(NOT mounted)
 
RMAN>duplicate target DATABASE FOR standby nofilenamecheck;

然后从库即可启动进行恢复:

SQL> ALTER DATABASE mount standby DATABASE;
ALTER DATABASE mount standby DATABASE
*
ERROR at line 1:
ORA-01100: DATABASE already mounted
 
SQL> ALTER DATABASE recover managed standby DATABASE disconnect FROM session;
DATABASE altered.

在共享磁盘上创建共享的SPFILE文件：

SQL> create spfile =  from pfile;
建议把参数文件放共享磁盘，每个节点去调用，例如:
[root@boss-rac01 dbs]# cat inittestrac01.ora
spfile=/u01/app/oracle/oradata/spfiletestrac.ora

下面关闭恢复归档状态，并已只读方式打开数据库：

SQL> ALTER DATABASE recover managed standby DATABASE cancel;
SQL> ALTER DATABASE open READ only;
 
在实例2，3对应的节点上，尝试只读方式打开数据库：
[oracle@test-rac02 dbs]$ cat inittestrac02.ora
spfile=/u01/app/oracle/oradata/spfiletestrac02.ora
 
SQsql> startup;
SQsql> SELECT instance_name, STATUS FROM gv$instance;
 
INSTANCE_NAME	 STATUS
---------------- ------------
testrac02	 OPEN
testrac01	 OPEN
testrac03	 OPEN

七、执行SWITCHOVER

下面为了执行SWITCHOVER操作，可以先关闭实例2、3，确认主库和备库归档应用已经同步。由于RAC环境STANDBY在SWITCHOVER时，很容易由于设置DB_RECOVERY_FILE_DEST导致bug的出现,因此在STANDBY数据库建立初始化参数文件的时候就没有加载DB_RECOVERY_FILE_DEST等参数，这里将主库的相应参数也去掉：

SQL> SHOW parameter db_recovery_file_dest
NAME TYPE VALUE
------------------------------------ ---------------------- ------------------------------
db_recovery_file_dest string
db_recovery_file_dest_size big integer 4G
 
SYS@testcenter>alter system SET db_recovery_file_dest='' scope=spfile;
System altered.

在主库执行SWITCHOVER操作：

SQL> ALTER DATABASE commit TO switchover TO physical standby;
SQL> shutdown immediate
SQL> startup mount
 
SQL> SELECT name, db_unique_name, database_role, switchover_status FROM v$database;
 
NAME	  DB_UNIQUE_NAME		 DATABASE_ROLE	  SWITCHOVER_STATUS
--------- ------------------------------ ---------------- --------------------
test      test			         PHYSICAL STANDBY SESSIONS ACTIVE

下面切换到RAC环境的STANDBY数据库，检查状态：

SQLSQsql> SELECT name, db_unique_name, database_role, switchover_status FROM v$database;

执行SWITCHOVER切换到主库，并打开数据库：

SQL> ALTER DATABASE commit TO switchover TO PRIMARY;
SQL> ALTER DATABASE open;
SQL> SELECT name, db_unique_name, database_role, switchover_status FROM v$database;
 
NAME	  DB_UNIQUE_NAME		 DATABASE_ROLE	  SWITCHOVER_STATUS
--------- ------------------------------ ---------------- --------------------
TESTRAC   testrac			 PRIMARY	  SESSIONS ACTIVE

切换成功。
在原主数据库，也就是切换完成后的STANDBY主库执行：

SQL> ALTER DATABASE recover managed standby DATABASE disconnect FROM session;

使得STANDBY数据库应用主库的归档。

在新的主数据库的节点2，3上，启动实例：

sqlplus "/ as sysdba"
SQL> startup;
SQL> SELECT instance_name, STATUS FROM gv$instance;
 
INSTANCE_NAME	 STATUS
---------------- ------------
testcent2	 OPEN
testcent1	 OPEN
testcent3	 OPEN

至此，单实例数据库到RAC环境STANDBY的SWITCHOVER操作完成。同时，单实例数据库升级到RAC环境数据库的操作也完成了。如果一旦升级后RAC环境出现问题，或者不适应系统的压力。可以通过SWITCHOVER的方法快速的切换为原始环境，且不会丢失任何的数据。

北京某大型互联网公司招聘DBA

大头刚 — Mon, 01 Mar 2010 03:24:10 +0000

北京某大型互联网公司招聘DBA一名，从事DBA一年以上，待遇面谈，肯定不会比同行业差。其实要求都不是硬性的，学习能力强、责任心强、能抗压才是最重要的。有意向的朋友可以联系我。联系方式：
MSN:shengang34(at)hotmail.com
Email:kys-sg(at)jiayuan.com

Oracle DBA
1、精通/熟悉Oracle数据库体系结构，基础扎实
2、精通/熟悉Data Guard/RAC等高可用技术，能顺利的配置和管理data Guard
3、精通/熟悉Oracle的备份与恢复技术
4、熟悉unix/linux操作系统的使用
5、熟悉shell&perl编程，能使用脚本编写工具提升工作效率
6、熟悉SQL和PL/SQL，能编写日常维护需要的脚本

MySQL DBA
1、精通/熟悉MySQL数据库的运行机制和体系架构
2、精通/熟悉MySQL数据库的管理，对于MySQL的参数有深入理解
3、精通/熟悉MySQL复制
4、精通/熟悉SQL
5、熟悉linux操作系统的使用
6、熟悉shell&perl编程

。。。

apple — Fri, 19 Feb 2010 06:58:02 +0000

同样的一瓶饮料，便利店里 2 块钱，五星饭店里 60 块，很多的时候，一个人的价值取决于所在的位置。

Mysql实现split函数

大头刚 — Thu, 14 Jan 2010 08:18:44 +0000

一个朋友遇到点问题，想在mysql里把一段用固定符号分隔的字符串，按分隔符分别列出来。就是一个典型的split应用，但是mysql却没有自带这个函数，在网上搜了一把。可以通过自建函数来解决，以下的函数来自互联网。

DELIMITER $$
CREATE FUNCTION `func_get_split_string_total`(
f_string varchar(1000),f_delimiter varchar(5)
) RETURNS int(11)
BEGIN
  return 1+(length(f_string) - length(replace(f_string,f_delimiter,'')));
END$$
DELIMITER ;
 
 
DELIMITER $$
CREATE FUNCTION `func_get_split_string`(
f_string varchar(1000),f_delimiter varchar(5),f_order int) RETURNS varchar(255) CHARSET utf8
BEGIN
  declare result varchar(255) default '';
  set result = reverse(substring_index(reverse(substring_index(f_string,f_delimiter,f_order)),f_delimiter,1));
  return result;
END$$
DELIMITER ;

需要设置下参数：

SET GLOBAL log_bin_trust_function_creators = 1;

下面我们来测试下：

 CREATE TABLE "t" (
    ->   "t1" varchar(100) DEFAULT NULL,
    ->   "t2" int(11) DEFAULT NULL
    -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8;
 
mysql> insert into t(t1,t2) values('a,b,c,d',1);
Query OK, 1 row affected (0.00 sec)
 
mysql> insert into t(t1,t2) values('a b c d',2);
Query OK, 1 row affected (0.00 sec)
 
mysql> select * from t;
+---------+------+
| t1      | t2   |
+---------+------+
| a,b,c,d |    1 | 
| a b c d |    2 | 
+---------+------+
2 rows in set (0.00 sec)

首先用func_get_split_string_total函数得到符合匹配的数量

mysql> select func_get_split_string_total(t1,',') from t where t2=1;
+-------------------------------------+
| func_get_split_string_total(t1,',') |
+-------------------------------------+
|                                   4 | 
+-------------------------------------+
1 row in set (0.00 sec)

然后用func_get_split_string得出你想要的字符串

mysql> select func_get_split_string(t1,',',1) from t where t2=1;
+---------------------------------+
| func_get_split_string(t1,',',1) |
+---------------------------------+
| a                               | 
+---------------------------------+
1 row in set (0.00 sec)
 
mysql> select func_get_split_string(t1,',',2) from t where t2=1;
+---------------------------------+
| func_get_split_string(t1,',',2) |
+---------------------------------+
| b                               | 
+---------------------------------+
1 row in set (0.00 sec)
 
mysql> select func_get_split_string(t1,',',3) from t where t2=1;
+---------------------------------+
| func_get_split_string(t1,',',3) |
+---------------------------------+
| c                               | 
+---------------------------------+
1 row in set (0.00 sec)
 
mysql> select func_get_split_string(t1,',',4) from t where t2=1;
+---------------------------------+
| func_get_split_string(t1,',',4) |
+---------------------------------+
| d                               | 
+---------------------------------+
1 row in set (0.00 sec)

当然，这只是个思路，如果你想把所有字符串都列出来，可以写个过程，在里面循环一下。

希望能对这位朋友有帮助。