Legrottaglie incominciò con le giovanili del Bari nel 1994. Dopo i primi anni di esperienza in Serie C1 con la Pistoiese e il Prato tra il 1996 e il 1998, Legrottaglie fu acquistato dal Chievo nella stagione 1998/99. In seguito, il difensore passò in prestito alla Reggiana nel 1999/2000 e al Modena nel 2000/01 (dove vince il campionato di serie C1 con la squadra guidata da Gianni De Biasi), per poi ritornare con gli scaligeri l'anno successivo, quando la squadra veronese fece il suo storico ingresso in Serie A. Legrottaglie esordì nella massima serie il 14 ottobre 2001 contro il Brescia.
Nelle due stagioni di militanza al Chievo, Legrottaglie fu uno dei protagonisti della "favola" che accompagnò la squadra presieduta da Luca Campedelli, tanto da essere convocato da Giovanni Trapattoni in Nazionale, esordendovi il 20 novembre 2002 nella gara amichevole contro la Turchia.
Dopo aver segnato anche il primo (e finora unico) gol in Nazionale contro la Svizzera in amichevole il 30 aprile 2003, il difensore divenne l'oggetto del desiderio dei grandi club italiani, finché, nella stagione 2003/04, Legrottaglie fu acquistato dalla Juventus, che lo strappa alla Roma.
Una volta giunto a Torino, però, complice anche una fastidiosa pubalgia, il difensore non si espresse al meglio, vivendo una stagione avara di soddisfazioni. Le sue prestazioni come quelle di tutta la squadra nell'ultimo anno di Lippi non sono buone. Ragion per cui, nella stagione 2004/05, la società bianconera, che nel frattempo aveva acquistato un difensore di altissimo livello (Fabio Cannavaro), e aveva da poco ingaggiato un nuovo tecnico (Fabio Capello), decise di mandarlo in prestito, dapprima al Bologna (nel gennaio 2005) e poi al Siena (nella stagione 2005/06), riportandolo in sede solo nel luglio 2006.
Nella stagione 2006, il difensore ha disputato dignitosamente il campionato di Serie B con la Juventus, aiutandola nell'impresa di riconquistare immediatamente la massima serie, persa a causa delle note condanne emesse dal giudice sportivo, in seguito alla vicenda Calciopoli.
Nella stagione attuale (2007/2008), Legrottaglie sta disputando il campionato di Serie A ancora con la maglia bianconera. Ha iniziato la stagione partendo come riserva, ma, anche a causa di alcuni infortuni (Jorge Andrade) e squalifiche, si è ritagliato un posto fra i titolari, inanellando un' ottima serie di prestazioni e realizzando finora 2 gol.
Giovanili
1994-1996 Bari
Squadre professionistiche
1996-1997 Pistoiese 31 (3)
1997-1998 Prato 26 (0)
1998-1999 Chievo 17 (0)
1999-2000 Reggiana 4 (1)
2000-2001 Modena 32 (1)
2001-2003 Chievo 43 (6)
2003-2005 Juventus 21 (2)
gen. 2005 Bologna 9 (0)
2005-2006 Siena 28 (0)
2006- Juventus 26 (2)
Nazionale
2002-2004 Italia 7 (1)
Palmares
* Supercoppa Italiana: 1
Juventus: 2003