En retropie select+start están configurados para cerrar el emulador, no para hacer la tecla escape.
En retropie (lo que usa es retroarch) tienes dos botones, uno activa las hotkeys (select) y mientras mantienes pulsado ese botón cada botón extra que pulses hace una función, como savestate, loadstate, etc.
El botón start está configurado por defecto como quitar retroarch, por eso al pulsar select+start te devuelve al menú de emulationstation.
Retropie no es otra cosa que emulationstatio+retroarch, puedes tenerlo perfectamente en el pc sin necesidad de tener retropie.
Ambos botones, select (activar hotkeys) y start (salir de retroarch), puedes cambiarlos por los que tú quieras en el menú de retroarch, podría usar player1+player2 o la combinación que le venga mejor.
Espero que sirva.
Un saludo.