Einladungen absagen?

Ein befreundetes Ehepaar lädt gerne und oft zu Abendessen ein. Wenn
ich und mein Mann eingeladen sind, schimpfen die beiden ständig
über die anderen Ehepaare, die gerade nicht eingeladen sind. Wir
haben das Gefühl, sie reden auch über uns schlecht, wenn wir nicht
da sind. Wir überlegen jetzt, die Einladungen einfach nicht mehr
anzunehmen. Wäre das übertrieben?