Принцип разархирования прост – при вводе пароля, из него 262144 раз вычисляется хеш по алгоритму SHA1, и полученным ключом WinRAR пытается расшифровать (по AES) и разархировать файлы (тут не проверяется правильный пароль или нет). После того как файлы расшифрованы и разархированны, из них вычисляется контрольная сумма по CRC32, и это сумма сравнивается с другой суммой, которая прописана в самом архиве. Если эти суммы совпадают – мы получает расшифрованные файлы, а если не совпадает, то получаем предупреждение что контрольная сумма или пароль неправильны. Нет в RAR других проверок правильности пароля — только вот эта проверка контрольный суммы «готового продукта».
Тут просто нечего ломать. Любые попытки сломать сам WinRAR или архив приведет к тому, что файлы будут открыты не правильно