In einem letzten Versuch bin ich jetzt doch noch ein Stück weiter gekommen.
Nachdem eine Kollegin Zugriff auf zwei Kalender hat und es aber nur bei einem funktioniert, habe ich weiter nachgeforscht.
Es ist aktuell so, wenn jemand auch den Postfach Vollzugriff hat, dann geht es auch mit dem Löschen. Wenn er nur die vollen Rechte auf den Kalender hat, geht das Löschen nicht.