DB2死锁的解决过程全记录

5/9/2018 10:34:04 PM 人评论次

生产环境里使用的数据库是DB2。但是最近频繁出现一个奇怪的死锁现象：某一个select sql 语句总是会出现死锁。按照以往的经验，通常都是update/delete之类的更新sql语句会出现死锁的问题。而且这个 select sql 语句是一个很普通的sql，没有任何大数据量的处理。分析这个死…

生产环境里使用的数据库是DB2。但是最近频繁出现一个奇怪的死锁现象：某一个select sql 语句总是会出现死锁。

按照以往的经验，通常都是update/delete之类的更新sql语句会出现死锁的问题。而且这个 select sql 语句是一个很普通的sql，没有任何大数据量的处理。

分析这个死锁，有很多难以处理的地方。

1、因为生产环境数据量大，我们无法把生产环境中关联表的数据导入到测试环境。也就是说，无法模拟数据量。
2、没有任何log输出。因为生产环境的log输出级别是ERROR。
3、无法在生产环境进行测试，因为客户不允许。
4、生产环境的数据库无法开启快照等功能。因为会影响性能。

大家可以想象，在没有快照等功能下，分析死锁就只能靠分析代码了。但是这个处理非常复杂，单凭分析代码，没有任何头绪。

阶段1：我们怀疑是数据量的原因

由于生产环境的数据量特别大，这个处理还有很多其他表的处理。所以我们怀疑是不是大数据量导致系统负荷过高，导致了死锁？
于是我们取得了发生死锁时CPU，硬盘，网络等等负载信息。没有找到任何线索。

阶段2：做一个测试程序，在测试环境中用多线程模拟多用户去做这个处理。

为了能够在开发环境再现出这个死锁，我们做了一个多线程的测试程序，模拟多用户运行。可惜，还是没有再现出来。

阶段3：分析测试环境数据库和产品环境数据库的差异

此时我们怀疑还是数据量导致的问题。于是我们尽可能的将开发环境的数据弄得和产品环境一样多。
之后在运行测试，还是没有再现出来。

阶段4：分析用户的操作log

没有任何办法的情况下，我们只好分析用户的操作log，希望从中找到一点线索。功夫不负有心人，我们发现，当两个人同时
进行这个操作的时候，基本都会发生死锁。所以，我们判断还是两个人同时操作导致的问题。但是，为什么开发环境上模拟了
很多人的操作，却没有发生死锁呢？

阶段5：发现数据库设置的问题

我们又修改了测试程序，将模拟的用户数量提高，但是很不幸，仍然没有再现这个问题。此时我们注意到了：是不是开发环境的
数据库设置和产品环境的数据库设置不同？我们对比了一下两个数据库的设置：发现好多参数不同。但是我们仅仅关注了和锁有关
的设置，也就是包含 LOCK关键字的设置。

阶段6：将测试环境数据库和产品环境数据库的设置保持一致

我们将所有和lock有关的设置都改成了和产品环境一直。但是仍然没有再现这个死锁。终于，一个人发现，"cur_commit"这个设置
不同。于是查询文档，发现了 cur_commit的特点。
当 cur_commit = false的时候，下列情况会造成死锁：
线程1插入数据A，然后线程2插入数据B。
在线程2还没有提交事物之前，线程1查询数据A，就会造成死锁了。
开发环境中，cur_commit = true，所以我们一直也模拟不出来这个现象。
于是，我们把cur_commit也改成了 false。

阶段7：使用测试程序去模拟

我们修改了测试程序，模拟上面两个线程的操作，成功地再现了这个死锁。错误的log信息和产品环境上也是一致的。

阶段8：使用画面操作去模拟

然后我们修改了程序，使用画面去操作，也成功地再现了这个死锁。

解决方案：

解决方案很简单，就是把查询语句中的条件加为索引，就不会出现死锁了。
由于这个表数据量不大，所以性能几乎没有任何影响。