回避决定的作出主体根据不同的诉讼阶段和人员类型而有所不同：
审判人员的回避
由人民法院院长决定。
院长担任审判长时，由审判委员会决定。
检察人员的回避
由人民检察院检察长决定。
检察长自行回避时，由检察委员会讨论决定。
其他检察人员的回避，由检察长决定。
侦查人员的回避
由公安机关负责人决定。
公安机关负责人自行回避时，由上一级公安机关决定。
书记员、翻译人员、鉴定人、勘验人的回避
由院长决定。
辩护人、诉讼代理人的回避
可以依照刑事诉讼法及有关规定要求回避。
总结：
审判人员的回避由院长决定，院长担任审判长时，由审判委员会决定。
检察人员的回避由检察长决定，检察长自行回避时，由检察委员会讨论决定。
侦查人员的回避由公安机关负责人决定，公安机关负责人自行回避时，由上一级公安机关决定。
书记员、翻译人员、鉴定人、勘验人的回避由院长决定。
辩护人、诉讼代理人可以依照刑事诉讼法及有关规定要求回避。