Bonjour,
Je suis tombé par hasard sur une offre de serveur virtuel qui ma semblé peu cher (6 € TTC) : http://www.kimsufi.com/fr/vks/
Ca me semble intéressant pour un petit site avec une trafic pas trop important. Je vous laisse vous faire une opinion personnel, les défauts potentiel sont des possibilités réduites de configuration initiale et un support à minima.
J'ai essayé une debian 6, il n'y a qu'une partition pour tout mettre (pas de paramétrage) et la langue est obligatoirement l'anglais. Pour les partitions ca ne doit pas pouvoir être modifié après, par contre pour la langue, pas de problème pour changer.