Yerebatan Sarayı denilen Bazalika Sarnıcı'ndan sonra İstanbul'un ikinci büyük su haznesi olan Binbirdirek Sarnıcı eski Bizans kaynaklarına göre 4. yüzyılda yapılmıştır. Bu kaynakların verdiği bilgilere göre İmparator I. Constantinus şehri yeniden kurduğunda Roma'dan bazı senato üyelerini buraya göçe zorlamıştı. Bunlardan Filoksenus (Philoxenus) Sarayı'nı, Hipodrom'un komşusu olarak yaptırmış ve sarayın su ihtiyacını karşılamak üzere de bu sarnıcı inşa ettirmiştir. Bizans döneminde şehrin topografyası hakkında bilgi veren kaynaklardan Patria Konstantinopoleos'a göre Filoksenus Sarnıcı, Constantinus Forumu'na komşu idi ve yanında Lausus Sarayı bulunuyordu. Bu forumun Çemberlitaş'ta olduğu hususunda şüphe yoktur. Lausus Sarayı'nın da aynı çevrede bulunduğu bilindiğine göre Binbirdirek Sarnıcı Filoksenus Sarayı'na en geniş ihtimalle de Lausus Sarayı'na ait olabilir. Türk dönemi başladığında bu sarnıçta su bulunmadığı tahmin edilmektedir.16. yüzyılda İstanbul'a gelen Alman seyyah R. Lubenau, sarnıçta ipek ipliği işleyenlerin çalıştıklarını bildirir. Halbuki 18. yüzyılda burada su olduğunu yazanlar da vardır. Osmanlı dönemi içinde Binbirdirek su haznesi üstünde bazı büyük konakların inşa edildikleri bilinir. Bunlardan biri Fazlı Paşa burada çok ihtişamlı bir saray inşa ettirmiş ve I. Ahmet'i burada misafir etmiştir. Saray 1660'ta Ayazmakapı yangınında yanmış, yerine yerine sonraları bir ahşap konak inşa edilmiş, defterdarlık konağı olarak da kullanılan bu bina da Hocapaşa yangınında yanmıştır. Bunlardan sonra Binbirdirek Sarnıcı üstü boş arsa olarak kalmış, yalnız üstündeki meydanda kurulan semt pazarının deposu olarak bir süre hizmet vermiştir.