可以约定离婚协议的违约责任，但是签订的离婚协议中关于违约的约定必须是合法、有效的，应该得到法院的支持。
当任何一方履行存在瑕疵或者不履行时，另一方除了要求继续履行外，还可以同时主张高额的违约金。
不过需要注意的是，对于约定违约金的需要注意金额要控制在合理范围内，否则是得不到法律支持的。
【法律依据】
《民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。