其实当时李世民的顾虑,主要还不在“骨肉相残”问题上,而在于当时的力量对比上。其时秦王府在京师的兵力远不如太子和齐王,而且太子、齐王分居两宫,一旦交兵,秦王府两面受敌,必然陷入险境。但事已如此,也只有冒险行动。想到这次风险太大,胜负难以预料,李世民心里很不踏实,于是命取龟占卜,以决凶吉。正在这时,幕僚张公谨从外面进来,见状大声反对道: “今大事已定,不能再犹疑,有什么可卜的?假如卜而不吉,那又怎么办?”说完取龟掷到地下。由于秦府的文武臣僚态度坚决,李世民终于打定了主意。
当然,事情非同小可,以弱势而制强敌,必须有一个严密、周到的行动方案。于是,秦王遣长孙无忌密召房玄龄、杜如晦入王府商议决策。房玄龄、杜如晦以前曾建议过李世民诛杀李建成、李元吉,但没有被采纳。现被贬在家,深恐秦王仍然疑而不决,半途变卦,便想用激将法再激他一下。
他们对长孙无忌说: “敕旨不听复事王,今若私谒,必坐死,不敢奉教!”长孙无忌如实向李世民报告,秦王听了果然大怒,说: “玄龄、如晦岂叛我邪!”接着取下佩刀授尉迟敬德说:“公往观之,若无来心,可断其首以来。”尉迟敬德与长孙无忌一起重新找到房、杜说: “王已决计,公宜速入共谋之。”这时,房玄龄、杜如晦才穿上道士服,化装后与长孙无忌潜入秦王府内,尉迟敬德则由另一条道进入。经过一夜商议,大计终定,于是分头布置行动。这一天是武德九年六月二日。