Удалять всю папку нельзя, поскольку программы, использующие эти msi и msp файлы не смогут нормально обновляться или удалиться из системы.
Некоторые из файлов, тем не менее, остаются там даже после удаления программ, к которым они были привязаны. И сама папка при этом может занимать вплоть до нескольких десятков Гигабайт.
В Windows есть список еще необходимых msi и msp файлов и утилита PatchCleaner занимается сравнением его содержимого и содержимого папки C:\Windows\Installer. Если в ней обнаружены устаревшие патчи или инсталляторы, то программа предложит их удалить, либо переместить в другую папку.
Перед использование утилиты рекомендуется создать точку восстановления, и в качестве дополнительной меры предосторожности, не удалять файлы, а сначала переместить их в другую папку, чтобы убедиться, что приложения в Windows будут и дальше работать без проблем.
Официальный сайт программы сейчас лежит, но утилиту можно также скачать с download.cnet.com