当行政机关作出违法行政行为时，追责的方式主要包括：
提起行政诉讼：
当事人可以向人民法院提起行政诉讼，请求法院对违法行政行为进行审查，并追究行政机关的法律责任，同时维护自己的合法权益。
行政复议：
当事人也可以选择申请行政复议，请求上级行政机关对下级行政机关的违法行政行为进行复查，并作出相应的处理决定。
上级机关监督：
如果行政机关发现自己的具体行政行为违法或不当，可以自行撤销原具体行政行为。上级行政机关发现下级行政机关的具体行政行为有误时，可通知其撤销，若下级机关不予撤销，上级机关可依职权撤销。
责任追究：
根据《中华人民共和国行政处罚法》，如果行政机关或其工作人员的行政处罚决定违法，上级行政机关或有关机关可责令其改正，并依法对直接负责的主管人员和其他直接责任人员给予处分。
追责时，还需考虑行政违法的事实、情节、行为人的主观恶性程度等因素。行政责任主体可能包括公务人员、行政机关及其领导者。