Evidemment, l'installeur graphique ne fournit aucune information, ni même un fichier de log pour savoir quel est le problème (bien que lancé en tant qu'administrateur). Toutefois, j'ai pu trouver comment lui faire générer un fichier de log:

mariadb-10.4.12-win64.msi /l* install.log

Suite à cela, en fouillant dans le fichier logs, on peut trouver qu'il n'arrive pas à créer la base de donnée initiale, sans pour autant fournir d'indication utile quant à l'erreur rencontrée.

Action 15:19:05: CreateDatabaseRollback. 
Action 15:19:05: CreateDatabase. Running mysql_install_db.exe
CAQuietExec:  Error 0xc0000135: Command line returned an error.
CAQuietExec:  Error 0xc0000135: QuietExec Failed
CAQuietExec:  Error 0xc0000135: Failed in ExecCommon method
CustomAction CreateDatabase returned actual error code 1603 (note this may not be 100% accurate if translation happened inside sandbox)
Action ended 15:19:05: InstallFinalize. Return value 3.
Action 15:19:05: Rollback. Rolling back action:
Rollback: Running mysql_install_db.exe
Rollback: CreateDatabaseRollback
CreateDatabaseRollback:  Initialized.
Rollback: Copying new files
Rollback: Creating folders
Rollback: Stopping services
Rollback: Updating component registration
Action ended 15:19:05: INSTALL. Return value 3.

Par contre, en fouillant un peu plus loin, il est possible de voir quelle commande est exécutée pour initialiser la base:

mysql_install_db.exe --service=MariaDB --port=3306 \
                                  --innodb-page-size=16K --password=1234 \
                                  --datadir=C:\progs\MariaDB\data\ \
                                  --verbose-bootstrap

Du coup, je suis passé par un moyen un peu détourné pour faire l'installation: j'ai simplement téléchargé les sources (fichier ZIP), puis via un terminal en administrateur, exécuté la commande ci-dessus. Il ne reste ensuite plus qu'à créer le service et tout fonctionne ! Il n'y a même pas besoin de redémarrer le serveur.

Visiblement, je ne suis pas le seul à avoir rencontré des problèmes sur Xen, mais je ne sais pas si ça a un rapport...