果然，在立完太子不久，宣宗皇帝就召见了张辅、蹇义、杨荣、夏原吉、杨士奇，并且见面之后便开门见山地说自己打算废掉胡皇后，立孙贵妃为皇后，其所列出的理由也是胡皇后有病，不能生育。并且为了增加自己行为的合理性，宣宗皇帝还专门强调自己找了相师来为胡皇后算过命，说她这一生都不会生孩子，所以自己才会打算废掉她皇后位的。本来这事只是走个过场，朱瞻基以为很好办，毕竟没有涉及各方的利益，可是结果让人出乎意料。当时，朱瞻基并没有说张太后已经同意此事，就想看看大臣们的意见，说是征求他们的同意。杨荣一下明白了宣宗皇帝的意思，立马做出反馈，表示可以废后。宣宗皇帝又问之前有没有先例，蹇义则回答道当年宋仁宗废郭皇后为仙妃就是先例。朱瞻基觉得既然有先例，那就意味着事情可以按照自己想的那样子办。可是，当蹇义说完后，又没有人说话了。
朱瞻基见状，觉得只能一个个点名来说。当时杨士奇一直没有说话，而朱瞻基比较器重他，就让他说下意见，结果杨士奇来了一句：“臣侍奉皇帝和皇后，就像儿子对待父母一样，从来没听说过儿子跟父亲商量废了母亲的。”朱瞻基听完也是一愣，杨士奇是摆明不赞同改立的，局面再次陷入僵持。一番话说得直接把宣宗给顶了回去，宣宗直接给噎得说不上话来了，于是又转过头问张辅和夏原吉，结果两人也支持杨士奇并且还要求朝廷上所有的大臣都要参与进来进行讨论。朱瞻基无奈之下，只好又问：“如果发生废后的事情，外界会不会议论？”蹇义听后，说这是宫中事，外界是不能议论的。杨士奇听了蹇义的话，说：“怎么会没有人议论？当年宋仁宗废掉皇后后，范仲淹等人上书反对，后来都被贬官，现在史书还记着。”