Wie du das beschreibst, ist wahrscheinlich die Visco-Einheit des Mitteldifferentials kaputt (abgenutzt). Überfliege mal diesen Thread, ob das deinem Problem entspricht:
Mitteldiff / Viscosperre gibt den Geist auf (gibt noch viele mehr, aber dieser enthält eigentlich alle wichtigen Infos)
Da alle Subaru Handschalter seit 1998 bis zum Ende der Schalterära das gleiche Mitteldiff haben, ist das auch auf deinen 2012 XV Diesel übertragbar (Automatik nicht, hat anderes Allradsystem).