bonjour à tous, je souhaite créer une messagerie un peu comme Hotmail qui fonctionnerai avec la fonction mail()

Mais je ne vois pas comment faire, car je veux créer une adresse @mondomaine.fr et communiquer avec hotmail, etc..

En bref, je voudrais récupérer les messages envoyés par hotmail via mail() directement sur mon site.

La fonction mail() c'est juste de l'envoi.
Si tu veux récupérer le contenu d'une boite mail il faut voir du côté de la librairie pour dialoguer avec un serveur smtp : http://fr2.php.net/manual/fr/book.imap.php

Sinon il existe des solutions déjà codées :
http://roundcube.net/
http://www.zimbra.com/community/downloads.html
http://www.xuheki.com/
http://www.squirrelmail.org/
ect

Mais comment créer une adresse à partir d'une page d'inscription ?

Ah oui d'accord... Là c'est pas la même chose, cela dépend de ton hébergement...
S'il ne le permet pas, faudra passer sur un dédié.