Сочетание «слышать запах» уместно именно в разговорной речи, а «чувствовать запах» - выражение стилистически нейтральное, уместное во всех стилях - и разговорном, и книжно-письменном. Таким образом, правильно: чувствовать запах цветов; Допустимо в разговорной речи: слышать запах выпечки.