公务员一般不会被无故降职，除非存在法定事由或经过法定程序。根据《公务员法》的规定，公务员非因法定事由、非经法定程序，不被免职、降职、辞退或者处分。这意味着，除非公务员违反了法律或政策规定，例如严重失职、违纪违规等，否则不会仅仅因为未参加考试而被降职。
此外，《新录用公务员试用期管理办法（试行）》也明确了取消录用的8种情形，其中包括在参加公务员录用考试的报名、考试、体检、考察等环节有严重违纪违规行为，或在参加国家法定考试中有严重违纪违规行为。这些规定进一步强调了公务员必须遵守考试纪律，否则可能面临取消录用或其他纪律处分。
因此，公务员不参加考试本身通常不会导致降职，除非涉及到其他违法或违规行为。建议公务员严格遵守考试和录用规定，以免影响自己的职业生涯。