根据有关刑法理要求，诈骗罪要求具有非法占有目的，通过诈骗的方式把被诈骗的钱财要回来，并不具有非法占有目的，因为自己对自己的财产是合法占有的，你的合法占有优先于骗子对你的财产的非法占有。所以从骗子处骗回自己的钱不犯法。但是同时也要注意，不能超过骗子骗走你的钱的限度，否则你会非法占有骗子的钱，从而构成诈骗。
【法律依据】
《刑法》认为：诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。