Congés payés

Bonjour, mon employeur a dénoncé un usage en juin 2020.

Cet usage nous permettait de prendre la totalité de nos congés payés même si notre compteur n'était pas plein (avons le droit à 54 jours par an).

Cet usage a été dénoncé en juin 2020.

Mon compteur CP est aujourd'hui de 50 jours.

Les 4 jours manquants, sont dus à des AT sur la période 2018-2019.

Mon employeur a t il le droit de me réclamer ces 4 jours manquants (du fait de cette dénomination d'usage), sachant qu'ils ont été cumulés avant le dit usage ?

Merci infiniment.