Hola,
no me queda claro si tenés problemas con los puertos TCP/IP en la configuración de Libertya o si no podés conectar con el servidor Postgres en la pantalla de parámetros de acceso.
En caso que no puedas pasar la comprobación en la configuración del ServidorOXP por problemas en los puertos, simplemente cambialos por algunos que sepas no están ocupados en el servidor en cuestión.
Si el problema lo tenés con Postgres, comenzá comprobando la configuración del servidor según se indica en los manuales y tutoriales (en particular, los cambios en el archivo pg_hba.conf y postgresql.conf)
Luego podés verificar si podés conectarte al servidor vía línea de comandos o PgadminIII.
Recordá que Libertya necesita Oracle Java 1.6 y PostgreSQL 8.4
Saludos,
Juan Manuel.