如果按这个趋势发展下去，吴瑞林可能会成为富甲一方的财主，却未必会成为以后功业辉煌的企业家。变局出现在1985年。那年初冬，一位长期合作的台商交了点定金，像往常一样下了订单。但与以往不同的是，这个订单很大。吴瑞林赶紧贷款购买了原材料，并督促工人们加班加点如期完成任务。但在交货的时候，台商却如人间蒸发、彻底消失了踪迹。望着堆满仓库的成衣，吴瑞林意识到了问题的极度严重。
服装厂被迫停产，吴瑞林欠下了20万元的银行贷款和10多万元的工人工资，这在当时是一笔“巨债”。几乎是一夜之间，平时笑脸相迎的乡邻变得形同陌路，吴瑞林的儿子也被老师调到最后一排去了……他彻底尝到了什么叫人情冷暖，而巨大的债务更让他感到了空前的压力。但也就在那时，不服输的他暗自暗自发誓，一定要东山再起，一定要让别人永远看得起！
那一年春节前的几天，讨债人踏破了吴瑞林家的门槛。不得已，吴瑞林作出了到深圳发展的决定。离开前，他特地到镇里和银行跟领导讲明，银行的利息他会想办法按月支付，最终会把所有债都还上。即使如此，为了避免意外，他仍选择了趁夜离开。那天晚上，妻子和儿子们九点钟就上床睡了，深夜十一点多的时候，前往深圳探路的吴瑞林回到家里，当夜叫醒家人，全家人趁深夜悄悄地离开了家乡……举家夜奔异乡，是吴瑞林心头的痛，却也是让他再次奋起的动力。

抢占通信业先机创大业，成为“中国电话大王”
到深圳后，吴瑞林在沙湾租了套二室一厅的房子，一家人安顿下来。他在老乡开的电子厂里找到了工作，由于当过厂长，他被委任为车间主任。不久，吴瑞林拿出仅有的2.5万元钱作为保证金，承包了车间，所得与厂里按比例分成。到年终结算时，工厂收获了大笔利润，而按照合同，吴瑞林的收入也达到了38万元。老板心疼了，把钱付给吴瑞林后，就撕毁了原定三年的承包合同。
用这笔钱还掉了故乡的银行贷款和工人工资后，吴瑞林手头又所剩无几了。但无债一身轻，向来注重信誉的他这时终于可以从容地开始新的事业。又过了一段苦日子后，吴瑞林的新事业开始了，全权代理浙江一家喇叭厂在深圳的业务。
他租了处平房，既做办公室，又做宿舍、仓库，一家人把所有的精力都投入到了喇叭销售中。吴瑞林负责推销，大儿子负责送货，妻子负责仓库保管，正在读书的两个儿子放学后也会帮手……凭着优质的售后服务和勤奋，吴瑞林迅速打开了深圳市场。辛苦两年后，1989年底，吴瑞林买了房子，还有一辆二手车。
到这个时候，重新好起来的生活，让吴瑞林有些自满。由于有过一次失败的沉痛教训，他对是安守现状，还是冒风险继续求发展，有所犹疑。