Abzocke? Nein, definitiv nicht. Normalerweise kann sich da nicht "jeder User" anmelden sondern muss angelegt werden, aber sobald ich das SSO aktiviere bin ich als SSO-Betreiber dafür verantwortlich, das auf die User die ich möchte zu beschränken...
Zum Thema:
Habe es nun selbst rausgefunden und hinterasse die Lösung mal für zukünftige Google-Gäste:
Im ADFS Verwaltungstool auf Trust Relationsships -> Relying Party Trusts -> Rechte Maustaste auf den entsprechenden Trust -> Edit Claim Rules -> Reiter Issuance Authorization Rules -> "All" Regel Löschen -> Add Rule
"Permit or Deny User Based on an Incoming Claim" -> Incoming Claim Type: Group SID -> Bei "Incoming claim vaule" auf "Browse" und die ensprechende AD-Gruppe auswählen -> das wars schon