ставим в настройках компилятора галочку "treat enum types as int" и наслаждаемся

Несколько советов:
1. параметр JPGHeight обязательно оставляем положительным,
а вот если нужно повернуть картинку меняем параметр DIBHeight.
Тогда никаких проблем не возникнет ни у кого

2. используем для компрессии параметры
JPGColor = IJL_YCBCR
JPGSubsampling = IJL_NONE
jquality = 95
После нескольких тестов убедился, что таким образом получаем почти максимальное качество, но еще при нормальных размерах. При использовании
JPGColor = IJL_RGB
качество остается прежним, а вот размер резко возрастает, практически аналогичная ситуация и при
jquality = 100
взято отсюда