Redan 1902 var rallarna igång och byggde järnvägen och om just rallarna finns det en hel del historier. Det finns nedtecknat att flera av dem bodde vid den gamla Särövägen i Hovås. På söndagarna kunde de visa sin nakna ”bakdel” för det folket som var på väg till Askims kyrka. Rallarlaget leddes Axel ”Smed-Olle” Sjöström från Hovås och ihop med hans bröder Robert och Ernst. Det fanns en hel del originella smeknamn på dessa rallare som byggde Säröbanan. Vad sägs om Hövdingen, Genomskinlig, Lilla Öland, Får ja lôv och Djurtämjar’n.
Det finns även en historia, där rallare tagit sig objudna till ett bröllop i Hagryd Dala. De hade varit onyktra och försökt ta sig in på själva bröllopsfesten. Det slutade att en svensk-amerikan som jobbat som sheriff, tog fram sin revolver och brände av ett skott. Skottet träffade en del av örat på en av rallarna. Det gick förövrigt bra, rallaren överlevde och blev hämtad av polis.
Loken på Säröbanan fick smeknamn som Grisen och Ormen Långe. Grisen var lok nr 5 och fick sitt namn för sin gälla visselpipas skull. Lok nr 5 var också impopulär bland lokförarna eftersom den var byggd för högertrafik. Förarna fick på så sätt manövrera med omvända handgrepp.
Den rikskända mästertjuven Bildsköne Bengtsson. Som på 1900-talets tre första decennier var helt i sin egen klass vad det gällde fräckhet och fantasi och antalet brott. Hans brottsliga karriär mycket lång och blev ett särskilt kapitel i Sveriges kriminalhistoria. Vid februari 1913 begav sig Bildsköne Bengtsson ut på en stöldturné där han gjorde nattliga räder i mot tågstationer norr och öster om Göteborg. Han begav sig sedan västerut till Särö. Vid återkomsten till Säröbanans station i Göteborg stod polisen som grep Bengtsson. Detta efter att han köpt sin returbiljett och endast betalat med 10-öringar. Kassören slog då larm. Han var då endast 19 år gammal och dömdes då för ”andra resan” till 1 år och 9 månaders straffarbete.