A ver, voy a intentar explicarlo de la manera más sencilla posible, "Internal GPU Resolution" es la resolución interna de la consola emulada, no tiene nada que ver con tu tarjeta gráfica. Esta opción está presente en otros emuladores como bien dices epsxe, o emuladores de otras consolas como pcsx2 o dolphin.
El problema es que a diferencia de EPSXE, estás emulando la psx por software, o sea, que toda la emulación se hace por CPU, y cuanto mas aumentes el multipicador de la resolución interna, más procesador necesitarás. (Con EPSXE también puedes emular solo por software).
Retroarch no funciona sólo con el CPU, depende de qué core utilices y como esté configurado. Algunos cores solo permiten emulación por software, otros utilizan el hardware (GPU), y otros permiten ambos.
Para este caso en concreto, el de PSX, supongo que estás usando el core mednafen PSX, desde el mismo retroarch puedes descargar el core mednafen PSX HW, que ese sí utiliza emulación por hardware (GPU), y con tu gráfica vas a notar la velocidad en seguida, aunque yo no lo recomiendo, es una versión experimental y produce muchos errores gráficos en muchos juegos. En cuestión de compatibilidad el core mednafen "estandar" (por software) es el mejor.
Personalmente yo creo que a resolución x2 ya se ve bastante bien y aumentarla más hace que pierda un poco la esencia original.
Debo añadir que mednafen hace bastante uso de la CPU pero porque la emulación de PSX es muy buena, si es que no es la mejor.
Espero haber aclarado tus dudas.