第二篇文章测试说明
开发测试中,难免会存在一些重复行数据,因此常常会造成一些测试异常.
下面简单测试mysql表删除重复数据行的相关操作.
主要通过一下三个大标题来测试说明:
02.尝试删除dept_name重复的列
03 尝试删除多个字段(dept_name和db_source)都重复的字段!
04 是否可以使用两重for循环来判断是否存在重复行并进行删除!
数据库的表不要随便删除,需要删除部分数据的话请事先备份成SQL,或者创建备份表.不然--
后端一时爽,运维火葬场.
01.建表
(随手找来一个现成的表,直接拷贝出sql语句)
CREATE DATABASE IF NOT EXISTS cloudDB01;
USE clouddb01;
CREATE TABLE IF NOT EXISTS `dept` (
`dept_no` BIGINT(20) NOT NULL AUTO_INCREMENT,
`dept_name` VARCHAR(60) DEFAULT NULL,
`db_source` VARCHAR(60) DEFAULT NULL,
PRIMARY KEY (`dept_no`)
) ENGINE=INNODB AUTO_INCREMENT=278 DEFAULT CHARSET=utf8;
/*插入dept表一系列数据*/
insert into `dept`(`dept_no`,`dept_name`,`db_source`) values
(1,'开发部','clouddb01'),
(2,'人事部','clouddb01'),
(3,'财务部','clouddb01'),
(4,'市场部','clouddb01'),
(5,'运维部','clouddb01'),
(6,'\'喝茶酱油部\'','clouddb01'),
(21,'开发部','clouddb01'),
(22,'人事部','clouddb01'),
(23,'财务部','clouddb01'),
(24,'市场部','clouddb01'),
(25,'运维部','clouddb01'),
(26,'\'喝茶酱油部\'','clouddb01');
02.尝试删除dept_name重复的列
也就是说,一个部门名只用占一行就可以了,多行的话岂不是浪费了!
- 02.1.1.查询存在dept_name存在重复的行
SELECT d.dept_name
FROM `dept` d
GROUP BY d.`dept_name`
HAVING COUNT(dept_name) > 1
-
02.1.2.结果
image.png - 02.2.1 把上面的表当做子表查出重复的整个行
SELECT *
FROM `dept`
WHERE `dept_name` IN
(
SELECT d.dept_name
FROM `dept` d
GROUP BY d.`dept_name`
HAVING COUNT(dept_name) > 1
);
-
02.2.2 结果 (其实这里恰好就是整个表了)
image.png - 02.3.1 上面的结果是不行的,删除时不能都删了,我们为了保留一个行,where条件需要再修改一下保留部门号(dept_no)最小的那行数据好了!
DELETE
FROM
`dept`
WHERE `dept_name` IN
(SELECT
dept_name
FROM
`dept`
GROUP BY `dept_name`
HAVING COUNT(dept_name) > 1)
AND `dept_no` NOT IN
(SELECT
MIN(dept_no)
FROM
`dept`
GROUP BY `dept_name`
HAVING COUNT(dept_name) > 1);
-
02.3.2 结果 : 执行出现问题;
image.png - 02.3.3 那是什么原因呢?原因:笔者的数据库安全模式较高,为REPEATABLE-READ(可重复读)级别,此模式下可以解决脏读 和 不可重复读 (mysql默认的);
错误代码:1093,意思就是mysql不允许在查询表的同时对这个表进行删除更新操作是不安全的.
image.png-
02.3.4 那可怎么办?除了降级以外还能怎么办?
Duang!!Duang!!Duang!!Duang!!
再来一个副本表"dept2",同时还可以起到备份的作用! 创建的sql在最上面,都在dept后面加个2即可!
dept2.png
-
-02.3.5 Show Time!是不是恍然大悟了!
DELETE
FROM
`dept`
WHERE `dept_name` IN
(SELECT
dept_name
FROM
`dept2`
GROUP BY `dept_name`
HAVING COUNT(dept_name) > 1)
AND `dept_no` NOT IN
(SELECT
MIN(dept_no)
FROM
`dept2`
GROUP BY `dept_name`
HAVING COUNT(dept_name) > 1);
-02.3.6 回头看,不曾走远,dept表中dept_name重复的行已经没了!!
image.png
03 尝试删除多个字段(dept_name和db_source)都重复的字段!
目的也就是一个部门实体用这两个字段就可以清楚地区分出来,如何任意两行数据中存在dept_name和db_source都重复的话,那么必定有一项为重复的没有意义的! 既然没有意义,那就删除了!
- 03.1.1 清空dept表和备份表dept2,dept表的sql如下,dept2的sql简单把下面的表名改一下即可
注意,人事部和喝茶酱油部这两个的db_source列是油变动的,不然跟上面的表就一模一样了!
/*清空dept表,以及重置自增的主键*/
TRUNCATE dept;
/*插入dept表一系列数据*/
INSERT INTO `dept`(`dept_no`,`dept_name`,`db_source`) VALUES
(1,'开发部','clouddb01'),
(2,'人事部','clouddb02'),
(3,'财务部','clouddb01'),
(4,'市场部','clouddb01'),
(5,'运维部','clouddb01'),
(6,'\'喝茶酱油部\'','clouddb02'),
(21,'开发部','clouddb01'),
(22,'人事部','clouddb01'),
(23,'财务部','clouddb01'),
(24,'市场部','clouddb01'),
(25,'运维部','clouddb01'),
(26,'\'喝茶酱油部\'','clouddb01');
-
03.1.2 现有dept/dept2表数据
image.png - 03.2.1 比葫芦画瓢,使用上面的方法试试!同样,如果存在两个列数据重复的行的话,只保留dept_no最小的哪行数据!
DELETE
FROM
`dept`
WHERE `dept_name` IN
/*筛选出存在多列重复的*/
(SELECT
dept_name
FROM
`dept2`
GROUP BY `dept_name`,db_source
HAVING COUNT(dept_name) > 1)
/**保留dept_no最小的那行数据*/
AND `dept_no` NOT IN
(SELECT
MIN(dept_no)
FROM
`dept2`
GROUP BY `dept_name`
HAVING COUNT(dept_name) > 1);
-
03.2.2 结果怎么样 : 符合预期结果
image.png- 03.3.1 单独执行第一个子表中的内容,发现正好筛选出了四个部门,没有人事部和喝茶酱油部这两个.
想想,GROUP BY X, Y意思是将所有具有相同X字段值和Y字段值的记录放到一个分组里。
这里的是 GROUP BYdept_name,db_source ,故只选出XY两个字段都相同的才可以放到一块来.
image.png
- 03.3.1 单独执行第一个子表中的内容,发现正好筛选出了四个部门,没有人事部和喝茶酱油部这两个.
04 是否可以使用两重for循环来判断是否存在重复行并进行删除!
- 就像一维数组一样,进行删除操作!
- mysql貌似也支持写for循环!不过.....用Java不更方便吧!
- 貌似还真可以, 先把所有mysql表中的数据取出来转换成List<Entity>,然后跑两重for循环遍历List ,如果判断出两个实体符合重复的条件,则一定有一个实体是多余的,则从数据库中移除对应的记录(行)即可!
- 暴力大法好! 时间上应该不分上下!
- 我都想好了实现步骤,
1>取数据: MybatisPlus的baseMapper.selectList() ;
2>for两重判断实体是否相等,
2> 如果存在则删除一个即可: baseMapper.deleteById(xxxx) / 同时移除一个实体 两个操作即可. - 其他方法也可以哟!
- 未完待续!!
