不同情况下，解除收养关系需要去不同的地方办理。
1、如果是双方协议解除收养关系的，要到民政部门办理解除收养关系登记。
2、就解除收养关系不能达成协议的，可以向人民法院提起诉讼。
法律依据：
《中华人民共和国民法典》第一千一百一十五条
养父母与成年养子女关系恶化、无法共同生活的，可以协议解除收养关系。不能达成协议的，可以向人民法院提起诉讼。
第一千一百一十六条
当事人协议解除收养关系的，应当到民政部门办理解除收养关系登记。