贺若弼做了大将军，常为自己官位低而怨声不断。一些话传到了隋文帝耳朵里，贺若弼被逮捕下狱。隋文帝责备他说：“你这个人有三太猛：嫉妒心太猛；看不起别人的心太猛；目无长官的心太猛。”因为他有功，不久也就放了。他不吸取教训，又对其他人夸耀他和皇太子之间的关系。隋文帝把他召来说：“我用高、杨素为宰相，你多次在众人面前放肆地说他们什么也不会干，言外之意我也是废物不成？”贺回答说：“高是我的老友，杨素是我舅舅的儿子。我了解他们，我说过他们不适合担当宰相的话。”隋文帝说：“大臣对你十分厌烦，要求严格执行法度。”贺若弼辩解说：“我曾率八千兵渡长江活捉了陈叔宝，希望能看在过去的功劳的分上，给我留条活命。”贺若弼言语不慎，得罪了不少人。朝中一些大臣怕受株连，都揭发他过去说的那些对朝廷不满的话，并声称他罪当处死。隋文帝念他劳苦功高，只把他的官职撤了。
