Inventez une raison à ce refus. Par exemple, « je ne sors pas avec mes collègues », ou bien « j'ai un copain ». Si vous ne trouvez aucune raison autre que le fait que cet homme ne vous plaît pas, dites simplement : « Merci mais je ne peux pas accepter ton invitation ».
Le refus doit être bref, sinon vous pourriez dire quelque chose qu'il comprendra mal. Ne dites pas de phrases genre « peut-être une autre fois » ou « je suis désolée ». L'homme peut penser qu'il devra insister.
La situation est bien plus compliquée si cet homme est un ami de vos amis ou une personne que vous allez croiser de temps en temps en sortant ou au travail. Dans ce cas, le refus doit être extrêmement poli. Dites par exemple qu'il est très sympa mais à cause de certaines circonstances vous ne pouvez pas accepter son invitation. Essayez d'éviter les explications des circonstances dont il s'agit.