Fue influenciado por diferentes tipos de guitarristas, lo cual fue formando su particular estilo de tocarla. Antes de tocar con Ozzy, Randy integró el conocido grupo de rock Quiet Riot (con la típica canción "Cum On Feel The Noize"). Con ellos alcanzó a sacar dos discos, pero sólo lanzados en Japón.
Randy llegó a Ozzy por Dana Strum. En ese tiempo Ozzy Osbourne estaba cesante porque lo habían despedido de Black Sabbath, y su esposa Sharon Arden le había sugerido que iniciara una carrera como solista, porque ella encontraba que Ozzy tenía mucho talento. En la audición para la banda de Ozzy, Randy sólo tuvo que tocar 5 minutos... Ozzy quedó impresionado con la forma de tocar de Randy; ya estaba en la banda. El 19 de Marzo de 1982 Ozzy y su banda viajaban hacia Orlando. Durante el camino Randy le insinuó a Ozzy que quería dejarlo para aprender a tocar mejor guitarra clásica. Ozzy ahora piensa de que si Randy no se hubiera muerto, no estaría tocando con él.