L'agrément peut être retiré sans préavis ni indemnité par un arrêté motivé du ou des ministres compétents, le responsable de l'organisme ayant été préalablement entendu. Cet arrêté précise les conditions dans lesquelles les dossiers détenus par l'organisme doivent être mis à la disposition du ou des ministres compétents. Le retrait de l'agrément ne met pas fin à l'obligation de secret professionnel.