交通事故责任认定书下来以后调解不成的，可以直接起诉。交通事故责任认定书下来以后，如果不服事故责任认定，在收到认定书的三日内，可以申请复核。
根据道路交通事故处理程序规定五十一条，当事人对道路交通事故认定有异议的，可以自道路交通事故认定书送达之日起三日内，向上一级公安机关交通管理部门提出书面复核申请。复核申请应当载明复核请求及其理由和主要证据。简易程序处理的道路交通事故复核不会受理，普通程序处理的送达3日内可以提出复核。
法律依据：《道路交通事故处理程序规定》 第七十一条
当事人对道路交通事故认定或者出具道路交通事故证明有异议的，可以自道路交通事故认定书或者道路交通事故证明送达之日起三日内提出书面复核申请。当事人逾期提交复核申请的，不予受理，并书面通知申请人。
复核申请应当载明复核请求及其理由和主要证据。同一事故的复核以一次为限。