要罢免业委会主任，需要遵循以下步骤：
提议罢免
罢免业主委员会主任可以由业主委员会或者20%以上业主提议。
提议需要以书面形式在物业管理区域内公告。
召开业主大会
罢免业主委员会主任需要召开业主大会，由全体业主投票表决。
表决需要达到三分之二以上的业主同意。
书面征询意见
可以采用书面征询意见的方式，如果同意罢免业主委员会主任的数量达到参加征询的业主半数以上，则罢免成功。
参加征询的业主需要达到业主总人数半数以上。
公布表决结果
业主大会应该公布表决结果，并向主管部门备案。
报备和选举新主任
罢免案通过后，需到当地社区或者居民委员会报备，并选举产生新的业主委员会主任。
审计和公告
被罢免的业主委员会主任应该主动接受和配合业主大会或者业主大会聘请的中介机构的审计，对任期内的经济问题给予鉴定。
即使没有被罢免，业主委员会主任也应该主动公布账务，履行职责，同时表明自己的清白。
总结：
要罢免业委会主任，首先需要由业主委员会或者20%以上业主提议，并通过书面征询意见的方式收集业主的意见。如果同意罢免的业主数量达到半数以上，且参加征询的业主也达到半数以上，则罢免成功。随后，需要召开业主大会进行投票表决，并公布表决结果，最终选举产生新的业主委员会主任，并进行报备和必要的审计。