Τον Δεκέμβριο του 1971, οι Deep Purple έφτασαν στην Ελβετία για να ηχογραφήσουν το πρωτοποριακό τους άλμπουμ Machine Head στο Montreux Casino, χρησιμοποιώντας το κινητό στούντιο των Rolling Stones.
Έχοντας παίξει εκεί νωρίτερα την ίδια χρονιά το συγκρότημα λάτρευε το χώρο και είχε καλές σχέσεις με τον ιδιοκτήτη του, Claude Nobs. Τη νύχτα πριν την ηχογράφηση στο Montreux Casino έγινε μια συναυλία του Frank Zappa και των Mothers of Invention.
Λίγο μετά την έναρξή της, η συναυλία διακόπηκε από μια φωτοβολίδα (από αυτές που χρησιμοποιούνται ως σήμα κινδύνου) που έριξε κάποιος από το κοινό στη στέγη, η οποία ήταν φτιαγμένη από μπαμπού.
Ξέσπασε αμέσως πυρκαγιά και παρόλο που κανείς δεν τραυματίστηκε σοβαρά η φωτιά εξαπλώθηκε καίγοντας ολόκληρο το συγκρότημα του καζίνο, τον εξοπλισμό του Frank Zappa και τα σχέδια ηχογράφησης των Deep Purple.
Στην συνέχεια το συγκρότημα αναγκάστηκε - μετά από παράπονα των κατοίκων στην αστυνομία για το θόρυβο - να μετακινηθεί από το θέατρο Pavilion στο εκτός εποχής Grand Hotel. Μέσα σε όλο αυτό το χάος, το πρώτο κομμάτι που ηχογραφήθηκε περιλαμβάνει τέσσερις ανάποδες συγχορδίες εμπνευσμένες εν μέρη από την εισαγωγή της Πέμπτης Συμφωνίας του Μπετόβεν.
Τον τίτλο Smoke On The Water σκέφτηκε ο μπασίστας του του συγκροτήματος Roger Glover όταν θυμήθηκε τον καπνό που συγκεντρώθηκε πάνω από τη λίμνη της Γενεύης όταν ξέσπασε η φωτιά στο καζίνο.
Ο Glover και ο τραγουδιστής των Deep Purple δεν έχασαν χρόνο και άρχισαν να γράφουν τους στίχους που έλεγαν την ιστορία του χάους γύρω από την ηχογράφηση του κομματιού, δημιουργώντας έτσι ένα από τα πιο αγαπημένα και αξιομνημόνευτα τραγούδια στην ιστορία της Hard Rock.
Ο Τζον Λορντ έχει πει για το «Smoke On The Water»: «αν θέλετε να μάθετε την ιστορία δεν έχετε παρά να ακούσετε τους στίχους».