Als Sohn eines Deutschen und einer Schweizerin verbrachte er die zwei ersten Lebensjahre in Diemitz in Sachsen.
Nachdem sein Vater im Krieg gefallen war, kehrte seine Mutter um 1920 in die Schweiz zurück, wo sie mitsamt ihren Kindern das angestammte Bürgerrecht von Neuheim ZG zurückerhielt. Die Jugend verlebte Paul Weber hauptsächlich im Kanton Zug, so u. a. bei Pflegeeltern auf einem Bauernhof in der Nähe von Finstersee. Hier bekam er als Neunjähriger erstmals ein achtbässiges Schwyzerörgeli in die Hände. Inzwischen zu seiner Mutter nach Neuägeri gezogen, gelangte er ab 1928 von einem Langnauerli in den Besitz einer diatonischen Wiener Handharmonika, mit der er seinen Einstand als Tanzmusikant gab und die er 1935 gegen eine chromatische «Rogledi»-Handorgel eintauschte. In Luzern, wo er sich nach der Rekrutenschule aufhielt, nahm ihn die Ländlerkapelle «Zytglogge» mit Werner Kaufmann, Klarinette/Saxophon, Siegfried Meyer, Klavier/Gitarre, und Rudolf Minder, Bassgeige, zu sich auf. Mit ihr musizierte er täglich in Luzern («Gotthardloch»), Genf und Lausanne. Als zukunftsweisend sollte sich für ihn der Kontakt zu Siegfried «Sigi» Meyer, genannt «Bumm» (1896-1977), herausstellen, der von 1936 bis 1951 als Berufsmusiker und Humorist sowie als Autor volkstümlicher Schlager wirkte. 1937 vereinten sich die beiden zum Musik- und Gesangsduo «Alphüttli» in Gesellschaft von Jakob Strickler, Klarinette/Saxophon, und Hans Roth, Klavier/Trompete. Im Winter 1937/38 in Zermatt mit «Bumm» zusammen verpflichtet, hatte Paul Weber («Schrumm») Bobby Zaugg kennengelernt, der ihm zwischendurch Unterricht erteilte und so zu seinem Vorbild wurde. Aber auch Hans Roth stand ihm auf dem Weg vom Gehörspieler zum ausgebildeten Musiker tatkräftig bei. Solchermassen mit dem nötigen musikalischen Rüstzeug versehen, gelang es Paul Weber, auf den Text von Sigi Meyer eine Melodie zu schreiben, die Polka «s'Guggerzytli» (Uraufführung il. September 1940, Hotel «Rose», Zürich), die zu einem der grössten Dauererfolge der Schweizer Volksmusik wurde. In rascher Folge erschienen dann auf Schallplatten und auf Noten in Verlagen wie «Hablaton», «Bumm» usw. weitere ähnliche volkstümliche Schlager aus seiner Feder. Alles in allem schuf er an die 170 Eigenkompositionen und bespielte etwa 120 Schallplatten. Mit Berufsmusik war er bis 1950 beschäftigt, indem er innerhalb der Kapelle «Alphüttli» unter zeitweiliger Mitwirkung von Fredy Lischer u. a. oft im «Schweizerhof», Zermatt, im «Metropole», Lausanne, usw. konzertierte.
Nach seinem Rücktritt übte er in Hedingen die Tätigkeit eines Versicherungsbeamten aus. Nebenher sorgte er noch manche Jahre im Duo bei Hochzeiten und anderen kleineren Anlässen für musikalische Unterhaltung.