Έμπνευση του Μεγάλου Κωνσταντίνου, όραμα του Ιουστινιανού και σχέδιο των δύο σημαντικών αρχιτεκτόνων της αυτοκρατορίας, Ανθεμίου και Ισιδώρου, η Αγία Σοφία έκανε θυρανοίξια στις 27 Δεκεμβρίου 537 μ.Χ..
Ο ναός ξεκίνησε να ανεγείρεται το 532 και εγκαινιάσθηκε επί βασιλείας του Ιουστινιανού Α΄, από τους μηχανικούς Ανθέμιο από τις Τράλλεις (σημ. Αϊδίνιο) και Ισίδωρο από τη Μίλητο.
Στο σημείο υπήρχε ομώνυμος ναός κτισμένος επί Κωνσταντίνου Α΄ και Κωνσταντίνου Β΄, ο οποίος, όμως, κάηκε κατά τη Στάση του Νίκα το 532 μ.Χ. Τα θυρανοίξια του ιερού ναού έγιναν στις 27 Δεκεμβρίου 537 μ.Χ., ενώ λέγεται ότι χιλιάδες ζώα σφάχτηκαν και διανεμήθηκαν, μαζί με σιτάρι και ψωμί, στον κόσμο στο πλαίσιο των πολυήμερων εορτασμών.
Όταν ο Ιουστινιανός αντίκρισε τον ναό, φέρεται να αναφώνησε «Δόξα τω Θεώ τω καταξιώσαντί με τοιούτον έργον επιτελέσαι. Νενίκηκά σε, Σολομών!», εκφράζοντας τον θαυμασμό του για το μνημείο που ξεπερνούσε τον ξακουστό Ναό του Σολομώντα στα Ιεροσόλυμα. Στο προαύλιο του ναού λέγεται πως υπήρχε κρήνη, στην οποία ανεγράφετο η καρκινική φράση «ΝΙΨΟΝΑΝΟΜΗΜΑΤΑΜΗΜΟΝΑΝΟΨΙΝ» (νίψον ανομήματα μη μόναν όψιν, δηλ. ξέπλυνε τις αμαρτίες σου και όχι μόνο το πρόσωπό σου). Η φράση αυτή, αν αναγνωσθεί ανάποδα (από δεξιά προς τα αριστερά) αποδίδει τις ίδιες λέξεις και επομένως και το αυτό νόημα. Την εποχή του Ιουστινιανού, η Αγία Σοφία είχε χίλιους κληρικούς.
Σύμφωνα με τα στοιχεία από τη Βικιπαίδεια, η πρώτη Αγία Σοφία εγκαινιάστηκε το 360 επί της αυτοκρατορίας του Κωνστάντιου Β' και μαζί με τον ναό της Αγίας Ειρήνης αποτελούσε τον κύριο καθεδρικό ναό της πρωτεύουσας και έδρα του Πατριαρχείου της Κωνσταντινούπολης. Εικάζεται ότι επρόκειτο για ξυλόστεγη βασιλική, τρίκλιτη ή πεντάκλιτη. Καταστράφηκε από πυρκαγιά το 404 και χτίστηκε εξαρχής τα επόμενα χρόνια.
Ο νέος ναός εγκαινιάστηκε το 415 επί βασιλείας του Θεοδοσίου Β' και καταστράφηκε από τους οπαδούς του πατριάρχη επειδή ο Θεοδόσιος είχε μια διαμάχη με τον Πατριάρχη. Αν και λίγα συμπεράσματα μπορούν να εξαχθούν ως προς την αρχιτεκτονική αξία του οικοδομήματος, οι ιστορικές πηγές μαρτυρούν πως στο εσωτερικό του φυλάσσονταν ιερά κειμήλια μεγάλης αξίας, από χρυσό ή ασήμι. Σύμφωνα με τις πλέον πρόσφατες προσπάθειες αναπαράστασης του ναού, υποθέτουμε πως είχε εύρος 52 μ. αποτελούμενος από ένα κεντρικό κλίτος και τέσσερις διακριτούς διαδρόμους. Κατά τη Στάση του Νίκα το 532 μ.Χ. υπέστη μεγάλη φθορά.
Από το 537, ο ομώνυμος ναός του 360 που είχε ανεγερθεί στο ίδιο σημείο, απαλλοτριώθηκε προς θεμελίωση του υπάρχοντος, έως το 1453 λειτουργούσε ως ορθόδοξος καθεδρικός ναός της πόλης, με εξαίρεση την περίοδο 1204–1261, κατά την οποία ήταν ρωμαιοκαθολικός ναός.
