Κατά τους δύο αιώνες που ακολουθούν την καταστροφή της από τους Ερούλους, η Αθήνα, παρά τις δυσκολίες που αντιμετωπίζει και τις διάφορες επιδρομές, καταφέρνει σταδιακά να ανακάμψει και να βιώσει νέα άνθηση. Αυτό οφείλεται σε ένα μεγάλο βαθμό στην ύπαρξη και λειτουργία των φιλοσοφικών σχολών, στις οποίες φοιτούν άνδρες από όλη τη Μεσόγειο. Όμως, καθώς οι σχολές αυτές αποτελούν προπύργια της παλιάς ειδωλολατρικής θρησκείας, δεν αργούν να εκδηλωθούν έντονες αντιδράσεις από τους βυζαντινούς αυτοκράτορες.
Τελικά, το 529 μ.Χ., ένα διάταγμα του αυτοκράτορα Ιουστινιανού απαγορεύει οριστικά τη διδασκαλία της φιλοσοφίας και τη λειτουργία των σχολών, βάζοντας τέλος σε μια παράδοση περισσότερων από χιλίων ετών. Το οριστικό, ωστόσο, χτύπημα στην πόλη δίνεται με την εισβολή των Σλάβων το 582/3 μ.Χ., οι οποίοι την καταστρέφουν για άλλη μια φορά.
Ήδη από τα μέσα του 5ου αι. μ.Χ. αρχίζει η μετατροπή των περισσότερων αρχαίων ελληνικών ναών της Αθήνας σε εκκλησίες, παράλληλα με την οικοδόμηση και πολλών νέων χριστιανικών ναών. Ο ίδιος ο Παρθενώνας, μάλιστα, μετατρέπεται σε ναό, αρχικώς αφιερωμένο στην Παρθένο Μαρία και στη συνέχεια στην Παναγία την Αθηνιώτισσα. Λίγο πριν από τα μέσα του 8ου αιώνα, η πόλη προάγεται εκκλησιαστικά σε μητρόπολη και παρουσιάζει αξιόλογη ανάπτυξη.
Μεγάλος αριθμός ναών χτίζεται στην Αθήνα από τον 10ο έως τον 12ο αιώνα και το σύνολο των αθηναϊκών εκκλησιών υπολογίζεται ότι φτάνει τις σαράντα. Κάποιες από αυτές σώζονται μέχρι σήμερα στην αρχική τους μορφή ή με κάποιες μικρές παρεμβάσεις, μεταξύ αυτών ο Ναός Αγίων Ασωμάτων στο Θησείο και η Καπνικαρέα στην οδό Ερμού. Το τελευταίο τέταρτο του 12ου αιώνα η Αθήνα βιώνει άλλη μια μεγάλη καταστροφή από την επιδρομή των Σαρακηνών που καταλαμβάνουν την πόλη, ερειπώνεται και οι κάτοικοί της μαστίζονται από τον λοιμό και την πείνα. Αποτελεί λοιπόν μια εύκολη λεία το 1204 για τους Φράγκους, οι οποίοι την κατακτούν και ιδρύουν το Δουκάτο των Αθηνών.
Ακολουθούν δυόμιση αιώνες λατινικής κυριαρχίας (Φράγκοι, Καταλανοί και Φλωρεντίνοι), κατά τους οποίους η Αθήνα παρακμάζει και συρρικνώνεται. Τα μνημεία της πόλης δεν μένουν φυσικά αλώβητα από τις κατακτήσεις. Η δυτική πλευρά της Ακρόπολης, όπου βρίσκονται τα Προπύλαια, οχυρώνεται με προμαχώνες και μετατρέπεται σε Φράγκικο πύργο, αργότερα διοικητήριο και μετά ανάκτορο για τον Δούκα. Το Ερέχθειο γίνεται η κατοικία του καθολικού επισκόπου και ο Παρθενώνας μετατρέπεται σε καθολικό ναό.
