Karagounis es un jugador que puede jugar en cualquier posición del mediocampo.

Se formó en el Panathinaikos, club en el que ha despuntado desde las series menores, aunque no llegó a debutar en este equipo en la temporada 1995-96. Pasó al Apollon Smyrnis, donde jugó 55 partidos, antes de regresar al Panathinaikos.

Cuenta una anécdota que en la temporada 2000/01, cuando el conjunto griego disputaba la entonces segunda ronda de grupos de la Liga de Campeones, anotó un golazo de tiro libre ante el Manchester United, en el mismo Old Trafford, aunque el club de Atenas perdió ese duelo y posteriormente fue eliminado.

Jugó posteriormente en Italia, en el Inter de Milán, donde fue parte del plantel neroazzurro que ganó en 2005 la Copa Italia, pero Karagounisno estuvo presente. Después pasó por el Benfica.

Ha jugado con la selección griega en 72 ocasiones, marcando 6 goles. Con la escuadra helena ganó la Eurocopa celebrada en Portugal, el año 2004.