¿No tiras directo de la salida VGA de la RPI?
Sobre tu duda, el frontend emulationstation tira de comandos para llamar a los emuladores, por lo menos en la versión 2 de RPI, en vez de llamar directo al emulador, el front-end llama a un SH, que viene a ser lo mismo que los famosos .BAT de windows.
Cuando llama al .SH, lo llama con un argumento que es el modo gráfico, para saber el argumento debes revisar el archivo de configuración de emulationstation que está en:
/etc/emulationstation/es_systems.cfg
Ahí, la línea que yo tengo es:
<fullname>MAME</fullname>
<command>/opt/retropie/supplementary/runcommand/runcommand.sh 1 "/opt/retropie/emulators/mame4all-pi/mame %BASENAME%"</command>
Yo lo tengo en el modo "1" y el SH dice:
# starttype==1: set video mode to VGA ONLY IF tvservice is in HDMI mode, and run command
# starttype==2: keep existing video mode and run command
# starttype==3: set video mode to VGA and run command
# starttype==4: set video mode to 720p60 ONLY IF tvservice is in HDMI mode and run command
# starttype==5: set video mode to 576p50 ONLY IF tvservice is in HDMI mode and run command
# starttype==6: set video mode to 720p50 ONLY IF tvservice is in HDMI mode and run command
# starttype==7: set video mode to sdtv PAL and run command
# starttype==8: set video mode to sdtv NTSC and run command
Prueba con los diferentes modos, en mi caso, tanto con pantalla HDMI como VGA (pero conectado mediante el cable VGA) me funciona a pantalla completa