宇文邕听了来和的话，心里还是有些不安，便又偷偷请了相士(3)赵昭暗地里观察杨坚的面相。赵昭和杨坚友谊深厚，竟对宇文邕撒谎道：“皇上无须在意，杨坚的外貌十分普通，根本没有什么富贵命，顶多只能当个大将军。”赵昭的话给宇文邕吃了定心丸，让宇文邕彻底放下了戒心。
此后，内史王轨向宇文邕进谏，说杨坚看上去有不臣之心，希望宇文邕能及时将他除去。可是此时的宇文邕早已信了赵昭的话，对王轨的劝谏不但不以为然，甚至还有些恼怒。
公元578年，宇文邕因病去世，皇长子宇文赟即位。杨坚接连被升为柱国大将军、大司马，女儿杨丽华也被封了皇后。然而，实际上宇文赟对杨坚却更不信任，有一次甚至还对杨皇后说：“我一定要灭你满门。”并在皇宫内设下埋伏，命杀手暗中观察杨坚态度，只要杨坚有一丝无礼就直接诛杀。随后宇文赟将杨坚召进宫议政，所幸杨坚早有防范，无论宇文赟怎么挑衅，杨坚都不露破绽，自然也就躲过了杀身之祸。
后来，杨坚为求自保，便通过内史上大夫郑译向宇文赟透露出自己有意出蕃的消息。宇文赟那时也正想找机会把杨坚调离京城，便顺势将杨坚封为亳州总管。
杨坚任亳州总管期间，庞晃曾向杨坚提议兴兵造反。当时杨坚虽然以“时机尚未成熟”拒绝了，但他心中确确实实种下了“反周”的种子。