在矛盾激烈的关头，亨利首先发难，召集德国境内各教区的主教们开了一个宗教会议，宣布废除格里高利的教皇职位。而格里高利则针锋相对，在罗马的拉特兰诺宫召开了一个全基督教会的会议，宣布驱逐亨利出教，不仅要德国人反对亨利，也在其他国家掀起了反亨利的浪潮。
教皇的号召力非常之大，一时间德国内外反亨利力量声势震天，特别是德国国境内的大大小小的封建主都兴兵造反，向亨利的王位发起了挑战。
亨利面对危局，被迫妥协，于1077年1月身穿破衣，只带着两个随从，骑着毛驴，冒着严寒，翻山越岭，千里迢迢前往罗马，向教皇认罪忏悔。
但格里高利故意不予理睬，在亨利到达之前躲到了远离罗马的卡诺莎行宫。亨利没有办法，只好又前往卡诺莎去拜见教皇。
到了卡诺莎后，教皇紧闭城堡大门，不让亨利进来。为了保住皇帝宝座，亨利忍辱跪在城堡门前求饶。
当时大雪纷纷，天寒地冻，身为帝王之尊的亨利屈膝脱帽，一直在雪地上跪了三天三夜，教皇才开门相迎，饶恕了他。
亨利恢复了教籍，保住王位返回德国后，集中精力整治内部，然后派兵把封建主逐个击破，并剥夺了他们的爵位和封邑，把曾一度危及他王位的内部反抗势力逐一消灭。在阵脚稳固之后，他立即发兵进攻罗马，以报跪求之辱。在亨利的强兵面前，格里高利弃城逃跑，最后客死他乡。