сделать UI под такие настройки будет не столь бістро
В смысле не быстро придумать как все это разместить? Я тогда рискну предложить вариант (прошу строго не судить, поскольку я из лучших побуждений).
Надписи у чекбоксов можно немного сократить, чтобы выиграть место. Например, вместо Match case, просто Case – вполне понятно о чем речь. А дополнительное разъяснение, если нужно, поместить во всплывающую подсказку. Освободив место, можно добавить еще один чекбокс для выбора направления вывода Find all (Count only, Log panel, New File). Поскольку опции три, применить к чекбоксу стиль BS_3STATE – пустой квадратик, затемненный квадратик, галочка – в AkelPad этот стиль уже применяется в диалоге настройки Toolbar, у чекбокса Big icons (размер кнопок в 16, 24 и 32 пикселя). Может получиться примерно так:
Кажется наглядно: на картинке вывод в Log panel. Вроде логично получается: пустой квадратик = Count only (т.е. без вывода), затемненный квадратик = Log panel (т.е. вывод рядом в панель, «наполовину») и галочка = New File (т.е. вывод «по полной», аж в другой файл

). Тогда в контекстном меню кнопки можно разместить настройки: Auto Count only, Match only, Apply the color scheme. Активность Match only отображать на самой кнопке знаком равно «=». Тоже, вроде, логично: вся строка – это звездочка «*», а точно совпадение – это равно «=». Примерно так:
Русские надписи тоже могут быть краткими: Регистр, Слово, Вывод, Подсветка.
Пример использования сокращений на подобных панельках можно подсмотреть у
Яна Гойваретса в EditPad. Вот его панелька поиска и замены:
Только у него к чекбоксам применен еще стиль BS_PUSHLIKE, что дополнительно экономит место.