元カレに繋げてしまう

今付き合って7ヶ月の彼氏がいるのですが、何かと元カレに繋げてしまう自分がいてその自分が嫌でどうしていいか分かりません。
元彼は私にとって初めての彼氏でした。

元カレは自分の言う通りにならないとすぐに怒り、大声で怒鳴ったり物をけったりしていました。
私も私で初めての恋愛で分からなかったこともあって私が謝ればいいんだと思い、デート中はずっと彼氏の顔色をうかがって謝ってばかりいました。
お前なんて俺じゃなかったらとっくに捨てられてんだよ、ほんとにお前見てるとイライラする、専門行ってるだけあるな、お前友達もアホなんだなと挙句の果てには友達までバカにしてきました。
過呼吸になったり体重も6キロくらい落ちました。
最終的には浮気され、最後には借りてもないお金を返せと言われてやらなかっただけありがたいと思えと言われました。

今は他の人と付き合っているのに、彼氏と喧嘩して彼氏が怒ったり、イライラしているのを感じると元彼のことを思い出して不安定になってしまいます。
彼氏が部活で飲み会などに行くと言ってもやはり浮気された時のことを思い出してまたおなじことをされるのかなと考えてしまいます。
彼氏には元彼のことも話してあり、分かってくれてはいるのですが、あまりにも今でも繋げてしまって不安定になる自分がとても嫌です。
彼氏と元彼が違う人間で彼氏が元彼のようなことをしないことはわかっているのにどうにもできなくてどうしたらいいのか分かりません。

どうしたらいいのでしょうか、アドバイスいただけたら嬉しいです。