Noch während seiner Schulzeit in Lachen begann er daheim ohne Anleitung auf einem alten Klavier zu üben, das sein Vater - er spielte Handharmonika - an Zahlung genommen hatte. In kurzem war er im Klavierspielen so gewandt, dass man ihn von der Schulbank weg zu Hochzeitsanlässen in den nahe liegenden Gasthof «Schwanen» holte. Den eigentlichen Beginn seiner Laufbahn als Ländlerpianist, der nie Noten lesen lernte, bildeten einige Jahre darauf Wochenend-Engagements in Rapperswil. Dabei machte sich bereits bemerkbar, was später für ihn typisch war: die Vorliebe für das Solospiel und die Neigung, keine festen Bindungen zu Kapellen einzugehen. Seine Karriere, überschattet durch ein jahrzehntelanges körperliches Leiden, das er sich im Aktivdienst zugezogen hatte, verlief folglich auf zwei Ebenen: auf der eines Einzelpianisten und auf jener eines Klavierbegleiters in verschiedenen Ländlerkapellen (u.a. Bert Kistler, um 1940, sowie Huserbuebe, von 1962 bis 1973). Seit 1932 in Wädenswil lebend, nahm er mehrmals solistisch an Wettspielen teil und holte sich dabei 1. Preise, etwa 1933 in der damaligen Stadthalle in Zürich, wo Albert Hagen und Walter Wild als Preisrichter amteten. Wenig später machten Schallplatten der Marke «Kristall» den Stegreifspieler und dessen volkstümliche Klavierstücke weitherum bekannt. Mit der viele Jahre über das Radio verbreiteten Polka «Mit dem Rex ins Tessin» - 1940 gar das meistgesendete Werk - gelang ihm ein Dauererfolg.
1958 durfte er als Solist mit eigenen Kompositionen im Radio-Orchester von Cedric Dumont mitwirken. Von seinen rund 200 eigenen Melodien hat Jacques Huber etwa 25 für ihn aufgezeichnet und sie um 1940 durch den ehemaligen Claude-Verlag St. Gallen in vier Alben herausgeben lassen. Bei schlechter gesundheitlicher Verfassung wirkte Frey noch zwei Monate vor seinem Ableben in Schafthausen bei einem Ländlermusikkonzert in der Kapelle Huserbuebe mit. Beruflich als Reparateur und Stimmer von Pianos tätig, wies er sich über einen sehr persönlichen Klavier- und Kompositionsstil aus.