有合同的从合同约定，对于违约金的数额确定，通常是以合同约定的数额为准来由违约方向守约方支付，所以你当时在贷款时肯定签订有贷款合同，合同中的违约责任条款下应当对违约金的支付数额有约定，你根据当时的贷款合同约定数额向对方支付违约金，承担违约责任即可。
法律规定违约金不得超过合同标的额的30，如果你贷款合同中约定的违约金数额没有超过贷款金额的30，也就是15万，那么你有违约行为时应当如约支付，如果违约金数额超过了15万，那么超过的部分你无需支付，因为已经超过法定上限，超出部分的约定违法无效。