La probabilité ne connaît pas de garde-fous

On ne garantira jamais la sécurité d’un système d’IA générative par des prompts, rappelle le développeur canadien Graeme Fawcett. 

« Le prompt n’est qu’une série de jetons supplémentaires noyés dans la même soupe probabiliste que le reste. Il n’existe aucun canal privilégié, aucun mode noyau ni aucune couche de contrôle s’interposant entre vos règles et le jeton suivant pour garantir l’alignement. On ne peut pas renforcer une distribution de probabilités en y ajoutant simplement du texte. Si la sécurité repose uniquement sur le fait que le modèle a « lu » les règles, vous vous assurez simplement d’une chose : le jour où il supprimera l’environnement de production, vous recevrez un rapport post-mortem très soigné, dans lequel le modèle listera méticuleusement toutes les « règles » qu’il a enfreintes en chemin. »