霍光是当时朝廷中的元老之一，虽然他曾支持汉武帝执掌大权，但他并没有像卫青一样干扰国家稳定，据说他还保护朝廷和百姓的利益。此外，他还说服汉武帝将皇位传给了汉宣帝，并开始支持新皇帝进行改革。综上所述，霍光为了国家的稳定和民生福祉做出了贡献，所以没有受到惩罚也是情理之中。