Hola, quizás no estas iniciando el servidor. Lo primero es ir a: Todos los Programas > Libertya > Servidor > Iniciar Servidor Libertya. Veras que se abre una consola DOS donde comienza los procesos del servidor hasta que te anuncia que esta listo con la linea “Started in XXs:XXXms”; no cierres esta ventana! Si te molesta dejala minimizada. Ahora puedes ejecutar el Cliente Libertya y conectarte.
Yo estoy usando Libertya 11.10 en un Win 7 y anda sin problemas.

Saludos!