没有办理结婚登记不存在离婚的问题，无需通过民政部门或者法院解除关系，自行解除即可。如果想协议离婚需要双方补办结婚登记后再离婚，否则只能到人民法院起诉离婚。
对于男女双方非法同居期间所生子女由哪一方抚养的问题，最好由双方协商解决。在无法协商或者协商不成的情况下，可以到法院起诉，法院会根据子女的利益及双方的具体情况予以判决。