身体不好，眼看进谏无果，心中悲凉，便故意托病不出。
杨广听说以后，认为庾质是心怀怨怼，故意跟他作对，更加的不满。
当初因为庾质的儿子庾俭担任齐王掾属的原因，在齐王出事之后，杨广便曾责备庾质“汝不能一心事我，乃使儿事齐王。”将庾质贬为合水令（今甘肃省庆阳市合水县），直到杨广二征高句丽的时候才将庾质复职。后来庾质又多次劝杨广不要征辽东，屡屡触怒杨广，这次新仇旧恨的，杨广一怒之下，便下令将庾质关进监狱，论罪处置。
庾质年纪大了，竟然死在监狱里。
众人见到庾质忠心进谏竟然落到这样的下场，更没人敢进谏了。于是杨广令宇文述、虞世基等人整理车驾，准备北巡。