你碰到过的最难调试的 Bug 是什么样的？

刚看其他人的回答，又想起来一个。

现象：

很简单，有段时间学校宿舍电信的网络，经常大面积集体掉线，时间不固定，但发现最常掉线的时间是晚上10点多，各种投诉抱怨，问候学校网管家人的。（心塞呀，学校其实真的维护设备的都是我们这帮兼职的学生，那帮老师就管收钱和发钱，工资那么低，累成汪还被骂。。。）

调试：

白 天去看了下机房设备硬件一切正常，当时以为是认证服务器配置太low，晚上上线人太多就卡死，导致心跳包中断，集体被下线，后来发现发现虽然到5000多 人后会有部分心跳包没回应，但是客户端允许部分掉包，人再多也不至于丢包到集体下线，最后查log发现这台机架上的所有交换机到那个时候都会重启一下，于 是重点关注。

机房是5号宿舍楼1楼的一间宿舍改造的，加了空调，另外从配电箱里接了不限电的电源（宿舍的电嘛，晚上会断电，还有功率限制），联通电信移动每家一个宿舍做机房，于是我在机房里蹲守。

第一晚是周六，一晚无事。

第二晚，到10点多一点，咔嚓一下机架上所有交换机的灯一下全灭了，过了几秒后通电，重启。诶，我什么都没做呀，我就在机柜前坐着，也没人碰机柜呀！肿么就断电重启了，

然后又看了log，发现其他机柜切换到UPS电源供电了一小段时间，交换机的机柜是没UPS的，明显是断电了，但是我人在机房，没人碰设备呀

怀疑是插头接触不良，换了机柜里的排插。（其实想想就不太可能，接触不了还能定时发生？）

第三晚还这样，

第四夜还这样，

诶~神奇了，这是什么超自然现象？

难道是进户线有问题了？想起电线是从隔壁联通机房进来的。

于是跑联通的机房看看他们到点会有问题没？发现这边也是每到那个点，就自动切换到UPS供电。（联通给交换机也配置UPS了）怀疑是电路有问题，时不时断电。

于是，第五晚守在隔壁了。。。一夜无事！！！

诶？？！！！这是神马情况？

然后就再也没事了，断电情况再也不出现了。。

足足好了1个月。直到下个月的运行商派人来例行检查了以下设备后，又出现上述问题了。

额，这是神马情况嘛！！

我去两个机房看了一下，诶，又好了，电信不掉线了！

抓狂了都！！完全是玄学呀这。

只要我进过联通的机房一次，电信的掉线问题就能解决。。

我居然还有防掉线的功能？

最后只好挨个问机房隔壁的几个宿舍有没有发现在那个点机房有没有奇怪的现象。

他们有人说感觉会掉线的日子里，机房不是那么吵！！

然后在我努力研究调查下，终于知道事情的真相：

========真相的分隔线==========

机房的供电是这样的，红色的是电线，紫色的是一排插座

电线是后改造的从室外的桥架上引入的明线，隔壁是电信的机房，因为进门的墙是承重墙巨厚还有钢筋，布线的时候为了省力，就只从联通这屋进了线，电线到插座高度后，打洞到隔壁。

联通机房隔壁宿舍的嫌睡觉时机架散热风扇太吵，就用偷偷用卡把门捅开（那种A级锁，很好撬的），睡前就偷偷把机柜的风扇电源拔了，早上再偷偷插上。。因为机 房有空调，拔了也没导致设备过热。但是。。。插机柜风扇的那个插座是进户第一个插座，就是那个孔的位置，他拔插时插头会带动插座，导致里边没接好的电线在 连接处断开一下。

为什么周五周六有时没事，因为他们可能周末集体出去了，晚上不在宿舍没人拔插头！

为什么是10点多，因为快睡觉了，才去拔插头。

为什么其他时间不定时，因为他们不一定什么时候想起来插回去。

为什么我进去一次就没事，因为我出机房后，会用钥匙反锁门，他们捅不开了，而其他人出来不反锁，只是关门，他们能捅开。

其实现在回想，最诡异的就是，我第一次蹲在联通机房的那一晚（第五晚）他没来撬门拔插头，不然也不至于追查这么久。

又想起来一个：

【关于锐捷和交换机的事】

学校某一天开始，大量用户正常上网情况下突然掉线，再次拨号时认证停顿在“寻找认证服务器”，之后提示框显示“认证失败”。但是有人发现锐捷认证失败后，“禁用”、“启用”网卡后，多次尝试锐捷拨号能够成功认证，但是在上网几分钟后会再次掉线。

锐捷的认证过程就不写了，看这个个问题的估计都大概知道。

先考虑，锐捷认证服务器故障，看了下，CPU占用率60%左右波动，内存占用2G左右。（这渣渣服务器啊。。占用这么高也是醉了）ＲＧ－ＳＭＰ正常，加密狗也没问题。看来服务器没事。

那估计就是网络环境故障，看了下核心交换机到认证服务器之间的网，物理连接没问题，流量看起来也挺正常。

那估计就是核心交换机和用户终端交换机的问题。

然后发现，核心交换机到物理选课平台的服务器间最高峰时一秒快3万的封包。。。这肿么可能嘛，结果联系了那边，到服务器上一看，恩，服务器被人拿下了，被放了好几个成人和赌博网站在上边，还发现有挖流量矿的代码，还被拿来D别人，还被放了个SMTP服务器在发垃圾邮件。里边的学生个人信息被下载都不算事了。

断开与他们的链接后，CPU负载降低，但是认证还是失败。

继续查，发现另一个到行政楼的接口流量也很高，大约每秒1.5W的封包

show arp一下查看，发现一堆arp未完成报文，在Incomplete状态在ＩＰ地址无法找到其对应的ＭＡＣ地址时进行转发，占用了交换机内缓存表。于是猜，要么中毒，要么出现环线，然后就查呀查，发现基础交换机上WLAN102、103流量异常，那就继续查呗，最后发现，某逗比做了这么一件事。

这个基础交换机是直接给这层供网的，大办公室留两个口，小办公室一个口，他们自己用交换机再分。

学校机构调整，部分办公室从新分配了，本来有个大办公室是，两个部门同时用的，他们每个部门自己各占用了一个接口用。后来换给另一个大部门了，他们搬家时，看到有两个接口，于是把这两个同时插到自己的集线器（居然连交换机都不是）上。

始作俑者还特肯定的和我说，这样可以加快网速，可以有双倍的带宽。

我和他说这样不行，他还不行，非说我不懂电脑了，他是在XX之家看到的，还说之前办公室里就这么接，就没事，网速还快了。（后来发现，他原来办公室其中一个接口，交换机端的插头松了，插了等于没插，网速什么的，只能说是心理作用了）

什么时候集线器能当路由器用了。。

什么时候，带负载均衡的双WAN口路由器，只卖20块钱了。。

想多玩多播起码你也要设置下吧，直接插有个毛用。。

不怕遇到小白用户，就怕遇到半懂不懂还装懂的。。

以前做windows技术支持，一直调试crash dump。就我个人的体验，有关线程安全的dump是最难调试的，来无影去无踪，看到的就是一坨已经被破坏的现场（dump），然后你需要在大脑中还原案发经过。

有一天香港某大公司（名字不透露了）上了一个case，他们自己的一个应用在生产环境中会莫名奇妙地crash。当时我就想：你自己应用crash找我们干什么，肯定是你自己代码问题，而你还不给我看你的代码！

所以几个难点：

第一，没有客户代码。

第二：客户用的系统是NT4！NT4什么概念？就是没有pdb文件的，符号文件只能对应到函数入口，对应不到具体的源代码行号。你只能把整个函数的汇编都读懂才能知道crash的地点是在做什么事。

第三：只有dump，不可能设断点调式，因为根本不知道如何重现。

反正就这么读了几百上千行的汇编（此处省略两千字），最后定位crash的地点，能看到进到EnterCriticalSection的api之后发现这个CRITICAL_SECTION结构其实已经坏了，然后就挂了。从heap结构可以看出似乎那个heap block已经被用作它用了，所以有可能那个CRITICAL_SECTION已经被delete了。

然后看谁管理这个CRITICAL_SECTION的， 发现是msvcrt，还是VC5的。好吧去找代码，还好那个代码是找得到的。然后就把所以处理这个CRITICAL_SECTION的代码全部找出来，把所有代码在不同线程中的不同执行顺序都排列出来，最后发现在某一个特殊的执行次序下会有一个race condition，导致这个CRITICAL_SECTION会被过早delete掉。还好一开始就怀疑是线程安全问题，入手方向没错。

好吧，最后居然是vc runtime的bug。当初错怪客户了。

调完这个bug的副作用就是之后看到汇编就想吐。看看现在c#的调试那根本不是事。

**************************************************************************************

2016.8.29 咋最近这么多赞，莫非来了很多考古学家？

既然这样，顺便发一个刚刚发生的真实案例，绝对真实，有血有肉！！（Debug 案例2发在原答案下方）

================================================================

原答案：(Debug 案例1)

======================================================================

差不多10年前，我们做了一个ARM核的芯片，据说还是国内第一批用ARM7做的，还挺高端，带有很多安全功能，当然安全就意味着难以调试，整个系统全部打散，不能分块。俺负责前端设计，系统，硬件软件驱动等杂七杂八一堆工作。

然后芯片流出来了，封装回来，几天几夜的调试，功能都正常了，那个高兴呀，第一个芯片就成功，奖金有了！

不过做稳定性测试时候有一个问题一直困扰着，这系统总是莫名其妙的有时候启动不起来，概率有个百分之几左右。上电就是不LOAD。而一旦起来之后，就很容易了。

反正功能设计，硬件，驱动都是俺的，那就调呗，软件，硬件，电路，仿真，研究了好几天，抓狂，无解。又整个系统不能分块，我都开始怀疑是不是ARM核的问题。。

又做了一个不断重启的测试系统，不断啪啪响上电断电，针对上电的情况作了统计。得出结论就是，上午不启动的概率高，下午不启动的概率低，晚上不启动的概率高，深夜不启动的概率低。。。。。和饥饿程度快挂钩了。。。

那时候那个抓狂啊，怀疑是什么干扰的，连屏蔽房，隔离电源啥都整出来了。就是没头绪，而公司给客户演示的时间快到了，要是现场挂掉就丢脸了，心里那个急啊。那段时间，每个深夜，公司里就是我座位上啪啪啪的声音------继电器的啪啪声。

接下来一个周日测试，公司空调坏了，汗流浃背，脾气极坏，几乎就要摔板子了。不过发现这天运气非常好，成功概率很高。没头绪，直接抽上烟，看着板子发呆，不知那根神经搭错，直接把烟头对着芯片戳上去！咱第一个亲生芯片！！如果不行了就掐死它！！！结果发现怪了，戳了烟头，启动哗哗的，每次都OK。遂怀疑是尼古丁过敏或者是温度原因。拿着烙铁烫着它，每次必成。于是送进高低温箱，做温度曲线测试，发现环境温度40度以上，成功概率极高，刚好碰见今天加班没空调，平均温度高，所以表现良好。而启动起来因为系统一发热，所以后面启动就容易了，温度一凉下来表现惨不忍睹，敢情这芯片是非洲来的。

有了方向就好说，先解决DEMO，给领导好看。遂做了一个电热丝发热电路，贴在芯片上，用单稳开关控制，一上电就加热，然后不断自动啪啪啪对芯片重启，一旦芯片重启成功了就断开发热电路和重启电路。进入正常运行情况。系统搭起来一测，效果杠杠的！！！基本都能保证几秒钟内就能启动，公司上下一片赞誉。 于是，领导拿着这套带着电炉丝的系统去做报告，销售拿着这个电炉丝Demo去给客户演示，取得极好成功，老板都在准备后续的销售计划了。俺心里急啊，总不能出货产品也带着电炉丝吧。。。。

静下心好好分析，和温度有关，又是随机故障，应该很可能是哪个地方悬空，存在不定态的问题，外面的电路是不可能了，前端模拟加入随机量也不能重现，那很大可能是后端的人搞的鬼，遂拉来后端人员(暂且称为C公司)，检查扫描链和测试电路，果然发现有一个寄存器没有初始化复位。于是后面的情况就简单了，往扫描链中灌入一串数据，把未知量洗出来。成功！！！

所以我们第一代的产品，主芯片旁有一个奇怪的芯片。据线人报告，有竞争对手和盗版者都认为这是安全反盗版电路，因为拆掉这一块，系统工作就时不时的异常，抓不到规律，可能包含短时间正版验证，长时间正版验证，随机正版验证等高精尖反盗版措施。反正无法破解。。。。

俺笑而不语。图样图森破。:)

---------------------------------------------------

至于说为什么寄存器没有初始化复位没检查出来，我也不知道，这是人家C公司做的后端，他们的软件自己加进去的电路。而据说这C公司虽然牛，但那时候后端服务还是新的，软件也是新的，刚进国内，给我们一个特惠价做白老鼠。。。

=====================================================--

=

=(Debug 案例2)

=

=====================================================--

最近把家里的台式机搬到了客厅，虽然台式机和电视机都很少用了，但本着发挥余热的原则，接了一根HDMI线到电视机，于是可以双屏显示了，用奇艺投放视频到电视机中，一家人一起看，效果杠杠的，俺还可以在边上显示器上一边刷知乎，各得其乐。

不过呢，原来用的是天威宽带，看大网站的视频速度还行，因为天威有CDN. 但看不热门的网站，或者720p的节目，就相当的卡顿了。于是说服老婆大人，改为电信光纤，在沙发的地方放光纤猫， 因不好拉网线跨过整个客厅，于是用了一个TPLINK的多频无线路由器，通过5G WIFI连接电脑。这下载速度相当的满意。看视频也是可以选择最高清晰度的。不过呢最近都是下载蓝光大片，不看在线了，原因无他，爽。

这两天，LP大人想看一些新片，于是俺用奇艺找到电影，然后打开电视机，拉到电视机中播放。LP大人很满意。 可是蹊跷的事情发生了。无论是什么电影，只要放上去几分钟，马上就卡住，然后就不能放了，网络全断，PING 路由器也出现大量的掉包率。。。。然后再也不行了，浏览器也上不了了，切换其他视频也不行了。 重启电脑偶尔能连上，也是断断续续。 但是平时上网或者在显示器看视频，又是从来不出问题。

又有一天，不死心，打开浏览器，开始播放，然后暂停，然后等LP回来了投到电视准备一起看，结果看几分钟后就断网。。。

又有一天，LP大人自己找了视频，看了一段，然后暂停，准备一起看，结果投到了电视，过几分钟又断网了。。。

不过只用显示器看视频貌似没问题。。。。

每次只要LP大人想要看视频就看不成，看着领导败兴的样子，亚历山大。。。

于是查硬件，查软件，挪天线位置，切换2.4G, 5G， 似乎都没有反应。

查了网络上的信息，据说这个INTEL AC-7260 无线网卡似乎确实有网络兼容性问题，貌似我还真的是MSI主板：

这下中彩了，按照网上的信息修改设置也没用！据说最好的方法是换个网卡。于是向LP申请了2万块换一台一体机，未遂。

于是作为一个技术宅，摆了一个亮骚的机器，却无法让LP舒服的坐在沙发上看电影，俺多年来修理水龙头遥控器电灯泡积攒的权威性日渐消失。地位一天不如一天。。。

今晚不死心，又折腾了好久，重启电脑，路由器，拔掉所有外设。故障照旧。。。

现象总结：

1.用网线没问题。

2.只用电脑上网看视频没问题。

3.上网的时候家人看电视没问题。

4.把电脑的视频投上电视机，刚开始几分钟没问题，接下来就几乎连不上网了。然后再怎么重启，也很难连上，连上也是断断续续的。

（感觉就像家里有个幽灵，一看到我献殷勤，或者看到电视机被电脑占用就耍脾气。。。。莫非是贞子？？）

突然，灵犀一动，仔细分析了坐着沙发看视频和趴在电脑前看网页的区别。发现这主要区别应该在于电视机的问题，于是开命令行一直PING路由器，同时切换电视机，发现只要电视机在显示PC内容，必然会断PING，关掉电视或者切换到别的源，就没有问题。看了应该是多屏或者输出的问题，试着修改HDMI分辨率，从720P60 改为1080P60，PING非常流畅！ 问题顺利解决！！！俺又可以在家里当大爷啦！！

问题分析：

HDMI线有干扰，影响到了WIFI信道，加上这个AC7260无线网卡本身设计不良，容易串入干扰。由于HDMI工作频率是根据视频信号码率决定的，通过修改分辨率，改变HDMI工作频率，使干扰谐波信号跳开了2.4G和5G信道。另外通过HDMI传输信号会有一个接口协商初始化过程，只有电视机切换到这个HDMI源，完成初始化，才会在HDMI线上有数据，这点和VGA,YPBPR等模拟信号不同。

之前分析问题没有往HDMI方面想，主要是视频播放会有一个缓冲，因此，刚开电视切换到HDMI的时候，一切看起来是正常的(但此时后台网络已断)，过了几分钟缓冲读完了才停顿。因此分析问题时很难和HDMI线联系上。

此问题其实做音视频类产品的项目经常遇见，由于HDMI频率高，传输长，因此很多输出源有意加重输出信号，导致EMI干扰严重，又由于很多HDMI线材质低劣，偷工减料，缺少屏蔽措施，因此HDMI接口往往成为电磁干扰的重灾区，也导致大量HDMI接口的兼容性问题(我这个破电视就挑信号源，有些1080P不显示)。因此能用YPBPR模拟线，或者能用DP接口，我都是躲开HDMI的。

****************************************************************************************

****************************************************************************************

****************************************************************************************

写一个热乎的，刚发生的：
写JS，自己手机没电了，拿同事老张的安卓机调试，很简单的获取用户微信昵称，结果死活获取不到，一直显示为null。应该是跨平台问题，因为之前在自己iPhone上是没有bug的，拼命看api文档，但是都没提到这方面。急死我了。

———————8.21更新—————————
刚刚老张告诉我他的昵称就是null。

答主的其他回答：

有哪些听起来高大上实际上很普通的东西？ - 条件状语从句

在网吧写代码是怎样一种体验？ - 条件状语从句

PPAP 为什么突然之间就火了？ - 条件状语从句

哪个瞬间让你突然觉得读书真有用？ - 条件状语从句

为什么乔布斯和扎克伯格都有传记式个人电影，而盖茨没有？ - 条件状语从句

为什么总觉得日本的很多地名比中国的听起来有味道？ - 条件状语从句