Der 1611 zu Innsbruck (Tirol) geborene Pater Felix Pfeffer erlangt seine Profess am 25. März 1628 und studiert Theologie an der Universität zu Salzburg bis 1638, wo er wahrscheinlich zum Priester ordiniert wird. Aufgrund der Schwedeneinfälle in das Ottobeurische Gebiet kehrt Pfeffer erst Januar 1640 (zus. mit Pater Jakob Molitor) in das stark beschädigte Reichsstift Ottobeuren zurück. Im Herbst kommt er als Philosophieprofessor wieder zurück nach Salzburg. 1643 wird er nach Ottobeuren zurückberufen.

Pfeffer wird Kastner, Kellerer und Küchenmeister. Wegen Mangel an Weltgeistlichen versieht er die nahe gelegene Pfarrei Böhen. Beim erneuten Einfall der Schweden in das Ottobeurische Gebiet im Oktober 1646 wird er gefangengenommen, in das Lager vor Augsburg und von dort nach Ulm abgeführt. Dort hält er sich als Gefangener bzw. Exilant bis Mitte März 1647 auf, bevor er in das Ottobeurerhaus nach Memmingen zurückkehrt. Die Erlebnisse im schwedischen Lager und im Exil schildern seine Briefe.

Als 1650 nach mehrjähriger Unterbrechung im Zuge des Schwedenkrieges die Klosterschule wiedereröffnet wird, lehrt Felix an derselben Rhetorik und Philosophie, bis ihn am 6. April 1663 der Tod ereilt. Sein Nekrolog rühmt ihn als überaus gebildeten Mann, des Griechischen und Lateinischen mächtig („vir eruditissimus, graece et latine doctus [...]“).