Rojen je bil v vasi Dragovšek, št. 42, Štanga pri Litiji. V rojstni hiši je živel kot nezakonski sin z materjo Ano Gorše in ostalimi sorodniki.
V Štangi je tudi obiskoval osnovno šolo. Poučeval ga je domači župnik Mihael Saje.Oče je bil Urh Arh, ki je ob njegovem rojstvu živel v sosednji hiši. Tri leta je bil pri vojakih in ko je prišel domov, se je želel oženiti z njegovo materjo. Bil je bajtar, toda po poklicu izučen pek in je delal v Litiji. Starši njegove matere niso dovolili poroke, ker so trdili, da je prereven. Tako je odšel v Trst, kjer se je poročil. Kasneje je tam odprl pekarno. Umrl je julija leta 1903.
Njegova mama se ni nikoli poročila in je živela na svojem domu. Njen oče je kmetijo izročil najmlajšemu sinu, Valentinu. Umrla je 25. februarja 1929 in je pokopana na pokopališču v Štangi.
Erazem je imel dva strica. Anton je več let živel v Ameriki, Valentin je prevzel očetovo kmetijo. Sam je v Ameriko odšel 20. aprila 1910. V New York je prispel 4. maja 1910 s parnikom »Finland« od Red Star Line. Vozni listek mu je poslala teta Franca (Frančiška, drugič omožena z Jakobom Okornom, ki je odšla v Ameriko z možem Antonom, leta 1903).
Erazem je vodil prodajalno šivalnih strojev Singer (13 let), do avgusta 1937 in bil poslovodja oddelka za popravljanje šivalnih strojev pri Singer družbi (19 let).
Bil je napreden mož, ki se je sam izobraževal. V večernih šolah (Denver, Chicago, Cleveland) se je učil angleškega jezika. Nekaj časa je bil zaposlen v uredništvu slovenskih listov in je pisal za slovenske časopise v domovini.
Bil je ustanovitelj in pozneje skrbnik Slovenskega narodnega muzeja v Slovenskem narodnem domu, Cleveland. V njem so bili shranjeni spominki iz prve dobe slovenske zgodovine v Ameriki. Veliko eksponatov mu je podaril Matija Pogorelc, arhivar in zgodovinar.
Leta 1905 se je v Clevelandu ustanovila Slovenska narodna čitalnica. Čitalnica je imela velik pomen in vlogo, saj so se v njej shajali Slovenci iz Clevelanda, ki so hrepeneli po duševnem razvedrilu. Leta 1919 je bil izvoljen v odbor, kjer je opravljal nalogo knjižničarja, leta 1920 pa nalogo tajnika.
Ves čas bivanja v Ameriki se je udejstvoval v naprednih kulturnih društvih, Prosvetni šoli Narodnega doma in čitalnici. Po prihodu v Cleveland leta 1918 je bil soustanovitelj dramskega društva "Ivan Cankar" in v tem društvu nastopil v več kot 80 različnih igrah.
Poročen je bil s Frances Gorshe (Frančiško Gorše, Zagorc) iz Kočarije pri Kostanjevici na Dolenjskem. Imela sta dva otroka: hčerki Joyce (roj. 1918) in Vivian (roj. 1938).
Prirejal je učbenike za slovenske izseljenske šole po Ameriki. Sestavil je tudi slovensko angleški slovar.
Delo
1944 – Mala čitanka
1946 - Prvo berilo: posvečeno slovenski mladini v Zedinjenih državah Amerike za učenje slovenskega jezika, sestavil in spisal Erazem Gorshe.