לכתחילה כן אם לא מפריע כל כך. ובספרו של הרב וואזנר שבט הלוי (ח"ג סי' מ"ג) כתב שאם מפריע לו יוכל שלא לענות ולהמשיך בתפילתו. וראה בזה עוד ביביע אומר (ח"א סי' ה' אות ז', וח"ה סי' י"ג אות ו') שיש אומרים שפטור לגמרי מלענות כשמתפלל ע"ש.