Estimado:
Para cambiar el tamaño de la hoja del reporte tienes que ir al menú Edit -> Report Properties en el iReport (yo tengo la versión en inglés). Al entrar en esa ventana vas a ver una serie de tamaños preconfigurados y además puedes indicar el ancho y alto de forma manual si es necesario.
Una vez importado el reporte en Libertya, habría que ver si al ejecutar el informe y abrir el diálogo de impresión, el mismo respeta la configuración de hoja que has indicado en el jrxml. Dejo en tus manos esta prueba y luego nos comentas como te fue.