Buenas, si no necesitás utilizar el servidor de aplicaciones LY, tener 2 bases de datos en un mismo servidor simplemente implica crear una nueva base de datos (con un nombre distinto claro) y restaurar allí un dump de Libertya que coincida con la versión de binarios a utilizar. Luego al iniciar el cliente de escritorio Libertya, se puede especificar el nombre de la base de datos en la configuración de conexión.
Por el contrario, si necesitás que cada instancia tenga su propio servidor de aplicaciones Libertya, deberás tener 2 directorios con los binarios, por ejemplo ServidorOXP1 y ServidorOXP2. Luego deberás configurar para cada caso el nombre de la base de datos, los puertos acordemente, dado que cada servidor LY debe escuchar en puertos distintos, etc. desde Configurar.sh / Configurar.bat. No es una actividad muy trivial a realizar.
Una alternativa adicional es que virtualizes las instancias, por ejemplo con VirtualBox; en donde en un mismo server físico tengas dos Máquinas Virtuales, cada una corriendo su propia instancia de Libertya.
Slds!