Γεννήθηκε στις 10 Μαΐου του 1905 στον συνοικισμό Σκαλί της Άνω Χώρας της Σύρου από οικογένεια Καθολικών. Οι γονείς του ήταν φτωχοί αγρότες και ήταν ο πρωτότοκος από έξι αδέλφια. Ο παππούς του έγραφε τραγούδια και ο πατέρας του έπαιζε "ζαμπούνα", ενώ από μικρή ηλικία τον συνόδευε παίζοντας τουμπί (νησιώτικο τύμπανο) σε διάφορα πανηγύρια. Λόγω της κακής οικονομικής κατάστασης της οικογένειάς του αναγκάστηκε να αφήσει το σχολείο και να εργαστεί ως λούστρος, εφημεριδοπώλης, εργάτης σε κλωστήρια, βοηθός σε οπωροπωλεία κ.ά. Για το θρήσκευμα του απέκτησε αργότερα και το παρατσούκλι "Φράγκος".
Σε ηλικία 12 ετών έφυγε από τη Σύρο και πήγε στον Πειραιά, όπου αργότερα τον ακολούθησε και η οικογένεια του. Εκεί ασχολήθηκε με διάφορα επαγγέλματα όπως φορτοεκφορτωτής, εργάτης σε ορυχείο γαιάνθρακα, λούστρος, εφημεριδοπώλης, εργάτης σε κλωστήρια, και από το 1925 μέχρι το 1935 στα δημοτικά σφαγεία Πειραιά και Αθηνών. Εκεί έμαθε μπουζούκι και άρχισε να γράφει τραγούδια, εντυπωσιάζοντας με την ταχύτητα που έμαθε το όργανο αυτό και με την ικανότητά του.
Παντρεύτηκε την Ελένη Μαυροειδή, τη Ζιγκοάλα όπως την αποκαλούσε. Εκείνη την εποχή άκουσε κατά τύχη το Νίκο Αϊβαλιώτη να παίζει μπουζούκι, γεγονός που τον συνεπήρε και άλλαξε τη ζωή του και άρχισε να μαθαίνει μπουζούκι και να γράφει τα πρώτα του τραγούδια. Αποδείχτηκε όμως ατυχέστατος στο γάμο του με τη Ζιγκοάλα, με το διαζύγιο να μην αργεί να εκδοθεί. Όμως και μετά το διαζύγιο, η Ζιγκοάλα εξακολουθούσε να έχει οικονομικές απαιτήσεις. Για να αποφύγει την περίπτωση κατάσχεσης των πνευματικών του δικαιωμάτων λόγω της δικαστικής αντιπαράθεσης, χρησιμοποίησε ως ψευδώνυμο το όνομα του παππού του (Ρόκος), ενώ αρκετά τραγούδια του έχουν καταχωρηθεί σε ονόματα φίλων του, όπως του Σπύρου Περιστέρη, του Γ. Φωτίδα, της Αθ. Παγκαλάκη, του Μίνωα Μάτσα και άλλων. Με αυτό τον τρόπο κατάφερε να μειώσει στο ελάχιστο το προσωπικό τεκμαρτό (κι όχι πραγματικό) εισόδημά του και η πρώτη σύζυγός του να μην του πάρει τίποτα. Για αυτήν την ιστορία έγραψε αυτοβιογραφικά τραγούδια όπως «Το διαζύγιο». «Κάποτε ήμουνα κι εγώ».
Συμμετείχε μαζί με το Γιώργο Μπάτη, το Στράτο Στράτο Παγιουμτζή. και Ανέστη Δελιά στο πρωτοποριακό για την εποχή μουσικό σχήμα που ονομάστηκε "Η Τετράς η ξακουστή του Πειραιώς". Το 1933 με την πιεστική παρότρυνση του Σπύρου Περιστέρη, κυκλοφόρησε την πρώτη ηχογράφηση με μπουζούκι στην Ελλάδα, το "Καραντουζένι" ("Να 'ρχόσουνα ρε μάγκα μου"). Μεταξύ άλλων το 1935 γράφει τη "Φραγκοσυριανή", το γνωστότερο ίσως τραγούδι του το οποίο όμως έγινε πολύ μεγάλη επιτυχία 25 χρόνια αργότερα με τη φωνή του Γρηγόρη Μπιθικώτση.
Ο ίδιος αφηγείται για τη δημιουργία του τραγουδιού:
«Όλος ο κόσμος της Σύρου μ' αγαπούσε πολύ, διότι κι εγώ ήμουν Συριανός και το είχαν καμάρι οι Συριανοί. Κάθε καλοκαιράκι με περίμεναν να πάω στη Σύρα να παίξω και να γλεντήσει όλη η Σύρα μαζί μου. Το 1935 πήρα μαζί μου τον Μπάτη, τον αδερφό μου τον μικρό και τον πιανίστα Ροβερτάκη και πήγα για πρώτη φορά στη Σύρο, σχεδόν είκοσι χρόνια αφ' ότου έφυγα από το νησί. Πρωτόπαιξα, λοιπόν, σ' ένα μαγαζί στην παραλία, μαζεύτηκε όλος ο κόσμος και κάθε βράδυ γέμιζε το μαγαζί κι έκατσα περίπου δύο μήνες. Εγώ, όταν έπαιζα και τραγουδούσα, κοίταζα πάντα κάτω, αδύνατο να κοιτάξω τον κόσμο, τα έχανα. Εκεί όμως που έπαιζα, σηκώνω μια στιγμή το κεφάλι και βλέπω μια ωραία κοπέλα. Τα μάτια της ήταν μαύρα. Δεν ξανασήκωσα το κεφάλι, μόνο το βράδυ την σκεφτόμουν, την σκεφτόμουν... Πήρα λοιπόν μολύβι κι έγραψα πρόχειρα:
Μία φούντωση, μια φλόγα
έχω μέσα στην καρδιά
Λες και μάγια μου 'χεις κάνει
Φραγκοσυριανή γλυκιά...
Ούτε και ξέρω πώς την λέγανε ούτε κι εκείνη ξέρει πως γι ' αυτήν μιλάει το τραγούδι. Όταν γύρισα στον Πειραιά, έγραψα τη Φραγκοσυριανή.»
Το 1937 συμβιβάζεται με τη λογοκρισία του καθεστώτος Μεταξά και προσαρμόζει τους στίχους του αφαιρώντας το βαρύ χασικλίδικο ύφος, κάτι που έπειτα από χρόνια αναγνωρίζει ο ίδιος πως ήταν μια δημιουργική μεταστροφή. Ήταν τόσο δημοφιλής που στη μια από τις τρεις φορές που επισκέφτηκε τη Θεσσαλονίκη και έδωσε συναυλία συγκεντρώθηκε για να τον ακούσει 50 000 κόσμος στην πλατεία του Λευκού Πύργου. Στο τραγούδι «Το 1912» υμνεί τη Θεσσαλονίκη, ενώ παραδόξως ως τότε δεν είχε κάνει ούτε μια αναφορά σε κάποιο τραγούδι του για τον Πειραιά, την πόλη όπου ζούσε και δημιουργούσε. Κατά τη διάρκεια του Ελληνοϊταλικού πολέμου ερμηνεύει δικά του τραγούδια, αλλά και του Σπύρου Περιστέρη, με στίχους προσαρμοσμένους στο ελληνοϊταλικό έπος («Γειά σας φανταράκια μας», «Το όνειρο του Μπενίτο» κ.ά.).
Κατά τη διάρκεια της γερμανικής κατοχής πέθαναν αρκετές προσωπικότητες της ελληνικής λαϊκής και ρεμπέτικης μουσικής (Παναγιώτης Τούντας, Κώστας Σκαρβέλης, Γιοβάν Τσαούς, Βαγγέλης Παπάζογλου, ο στενός συνεργάτης του Ανέστης Δελιάς κ.ά.). Ο Μάρκος παντρεύτηκε το 1942 για δεύτερη φορά την Ευαγγελία με την οποία απέκτησε 5 παιδιά (δύο εκ των οποίων πέθαναν και από τ' άλλα τρία, τον Βασίλη, τον Στέλιο και τον Δομένικο, οι δύο τελευταίοι έγιναν γνωστοί μουσικοί).
Μετά την απελευθέρωση και κατά την περίοδο 1948-1959, περνάει δύσκολες ώρες, καθώς η ελληνική μουσική βιομηχανία, τα ηνία της οποίας περνούν σε χέρια ανθρώπων που ο ίδιος είχε βοηθήσει να αναδειχτούν, φέρεται αχάριστα στον πρωτοπόρο του μπουζουκιού που θεωρείται πια «ξεπερασμένος». Γίνεται προσπάθεια να αλλάξει ο χαρακτήρας της Ελληνικής Λαϊκής Μουσικής εισάγοντας ρυθμούς από την Ινδία. Οι δισκογραφικές εταιρίες παύουν να τον καλούν για ηχογραφήσεις και τα μεγάλα νυχτερινά κέντρα τού αρνούνται τη συνεργασία. Περνά σοβαρές περιπέτειες με την υγεία (παραμορφωτική αρθρίτιδα στα δάχτυλα) και την οικονομική του κατάσταση, ενώ αφορίζεται από την Καθολική Εκκλησία γιατί παντρεύτηκε την δεύτερη φορά με ορθόδοξο γάμο (ο αφορισμός αυτός ωστόσο ήρθη το 1966). Ο Μάρκος Βαμβακάρης καταφέρνει να επιβιώσει αλλά και να αποκαταστήσει το πρόβλημα υγείας του πηγαίνοντας στα ιαματικά λουτρά της Ικαρίας. Το 1954 επισκέφτηκε τη Σύρο όπου έγινε δεκτός με ενθουσιασμό και παρέμεινε για έναν χρόνο. Αυτά μέχρι τα τέλη της δεκαετίας του '50, όταν μετά από πρωτοβουλία του Τσιτσάνη, η δισκογραφική εταιρία Columbia αποφασίζει να κυκλοφορήσει παλιά και καινούρια τραγούδια του Βαμβακάρη, τραγουδισμένα από τον ίδιο και από καλλιτέχνες όπως ο Γρηγόρης Μπιθικώτσης, η Καίτη Γκρέι, η Άντζελα Γκρέκα κ.ά. Το 1960 αρχίζει η «δεύτερη καριέρα» του, όπως χαρακτηρίζεται από τον ίδιο.
Θεωρείται ο «Πατριάρχης» του ρεμπέτικου τραγουδιού, καθώς έκανε γνωστό το είδος, λόγω της μεγάλης επιτυχίας που είχαν τα τραγούδια του. Καθιέρωσε την ορχήστρα με μπουζούκια και μπαγλαμάδες, η οποία παραμέρισε την προηγούμενη λαϊκή ορχήστρα των σαντουροβιολιών.
Απεβίωσε στις 8 Φεβρουαρίου του 1972 σε ηλικία 66 ετών, στο διαμέρισμα όπου κατοικούσε στη Νίκαια, συνεπεία νεφρικής ανεπάρκειας που του δημιούργησε ο σακχαρώδης διαβήτης. Την επόμενη μέρα του θανάτου του, κηδεύτηκε στο Γ' Νεκροταφείο Αθηνών στη Νίκαια, όπου ενταφιάστηκε κανονικά παρουσία καθολικών ιερέων. Όπως δήλωσε σε γνωστή τηλεοπτική εκπομπή ο γιος του Μάρκου Δομένικος, για την κηδεία του πατέρα του η οικογένειά του αναγκάστηκε να καταφύγει σε δάνειο προκειμένου να καλύψει τα έξοδά της.
