Der Sohn eines Bäckers besucht das Benediktinerseminar bei Freising, entzieht sich aber schnell der theologischen Laufbahn. Nach Gelegenheitsarbeiten, u.a. als Land- und Fabrikarbeiter, wird Bauer 1927 Lokalredakteur im oberbayerischen Dorfen.

Mit seinem Roman Achtsiedel (1930), für den er den Jugendpreis deutscher Erzähler bekommt, tritt er erstmals an die literarische Öffentlichkeit. Er gibt seine journalistische Tätigkeit ganz auf und publiziert in regelmäßigen Abständen mehrere Romane, Erzählungen und Novellen, die allesamt den Blick in die Vergangenheit einzelner Schicksale der bäuerlichen Welt richten. Auch Hörspiele und ein Drama (Der Meier Helmbrecht, 1939), eine Bearbeitung des Helmbrecht-Stoffs von Wernher dem Gärtner, stammen aus seiner Feder.

Während des Zweiten Weltkrieges wird Josef Martin Bauer zum Kriegsdienst bei den bayerischen Gebirgsjägern im Russlandfeldzug eingezogen. Seine Eindrücke verarbeitet er im ukrainischen Erlebnisbericht Die Kraniche der Nogaia sowie in der Schilderung der – propagandistisch genutzten – Elbrus-Besteigung, die er im Kriegstagebuch Kaukasisches Abenteuer festhält (beide 1942).

In seinem berühmten Roman So weit die Füße tragen (1955) schildert er Flucht und Leidensgeschichte eines deutschen Oberleutnants aus sibirischen Bleibergwerken über den Kontinent bis nach Persien und seine Heimkehr nach Bayern nach dessen Berichten. Es ist die Geschichte eines persönlichen Schicksals, die von faktischen Ungereimtheiten abgesehen die kritische Auseinandersetzung mit dem Geschehen, seinen Ursachen und Folgen im Zuge der zeitgemäßen Verdrängungshaltung der 1950er-Jahre umgeht: der Protagonist sucht die „Gnade des Vergessens“. Das Buch wird in 11 Sprachen übersetzt, erscheint zudem als Hörspiel (1956), Fernseh- (1959) und Kinofilm (2001).

Darüber hinaus hat Bauer – neben zahlreichen Hörspielen – weitere Erzählwerke geschrieben: den Zeit- und Entwicklungsroman Der Kranich mit dem Stein (1958), dessen Titel sich aus der Naturgeschichte des Plinius herleitet und der den Münchner Kardinal Faulhaber zum Vorbild hat, den Familienroman Der Abhang (1960) sowie einen Sammelband von 18 novellistischen Prosastücken (Mensch an der Wand, 1962). Eines seiner letzten Bücher, das er als Fibel für die bairische Sprache herausgibt, trägt den schlichten Titel Auf gut bayerisch (1969). 1959 erhält Josef Martin Bauer den Bayerischen Verdienstorden.

Am 15. März 1970 stirbt der Autor an einem Gehirnschlag in seinem Heimatflecken Dorfen.