Nativo di Goizueta, in Navarra, proviene da una famiglia numerosa (undici fratelli). All’età di 12 e 13 anni fu campione di palla basca di Gipuzkoa, ma poco più tardi si dedicò alla pratica del calcio. Furono i fratelli maggiori Iñaki, Santi e José Javier ad aprire la strada del calcio al giovane José Mari, che a 15 anni entrò nel settore giovanile della Real Sociedad di San Sebastián. Inizialmente impiegato come attaccante e poi arretrato a centrocampo, ma conservando sempre una chiara vocazione offensiva, Bakero debuttò a 17 anni in Primera División e si distinse per le doti al centro del campo, come abile tiratore (sia di destro che di testa) e per il carisma e lo spirito combattivo. Dal 1980 al 1988 militò nella forte Real Sociedad che annoverava anche altri giocatori di valore quali Luis Arconada, Jesús María Zamora, Jesús María Satrústegui. Disputò 160 partite e vinse due titoli nazionali, nel 1980-1981 e nel 1981-1982.
Nel 1988 si trasferì al Barcellona, dove, insieme con molti altri giocatori baschi come Txiki Begiristain, Julio Salinas e Jon Andoni Goikoetxea, fece parte del leggendario Dream Team allenato da Johan Cruijff. Dal 1988 al 1996, in nove stagioni, giocò 329 partite con i blaugrana. Si ricordano, tra tutti i gol segnati, quello decisivo per il passaggio del turno realizzato contro il Kaiserslautern nel ritorno degli ottavi di finale della Coppa dei Campioni 1991-1992, poi vinta dai blaugrana. Bakero indossò per l'ultima volta la maglia del Barcellona il 18 novembre 1996 al Camp Nou, nella partita vinta per 6-1 contro il Real Valladolid, in cui segnò anche un gol.
Dopo aver lasciato il Barcellona, nell'estate del 1997 sostenne due provini con il Middlesbrough e con il Norwich City, senza successo. Prima del ritiro dall'attività agonistica vestì per sei mesi la maglia del Veracruz, in Messico.
Dopo il ritiro ha allenato il Puebla, una società messicana. Successivamente ha ricoperto il ruolo di vice di Llorenç Serra Ferrer e Louis van Gaal al Barcellona e poi ha allenato la seconda squadra del Málaga nel 2005.
Ingaggiato dalla Real Sociedad come direttore sportivo, nel marzo 2006 ha assunto l'incarico di allenatore e ha condotto la squadra alla salvezza. Tornato al Málaga dopo l'esonero dell'ottobre 2006, il 31 ottobre 2007 è stato nominato vice di Ronald Koeman al Valencia, dov'è rimasto fino al 21 aprile 2008, quando è giunto l'esonero suo e di Koeman.
Nel giugno 2008 è diventato l'allenatore dell'Otopeni, club rumeno, ma la sua esperienza è durata poco. Il 10 novembre 2009 ha firmato per il Polonia Varsavia, con cui ha evitato la retrocessione dopo che la squadra aveva stazionato all'ultimo posto. Nella stessa stagione ha guidato il club alla prima vittoria contro i rivali cittadini del Legia Varsavia dopo dieci anni. Il 13 settembre 2010 è stato esonerato dopo la prima sconfitta della nuova annata.
Il 3 novembre 2010 ha assunto la guida del Lech Poznań, altra squadra polacca, con cui ha debuttato vincendo per 3-1 in Europa League contro il Manchester City.
Il 24 febbraio 2012 la dirigenza del Lech Poznań decide di esonerarlo.