Dětská knihovna sídlí v bývalé císařské knihovně z roku 1906, která byla na konci 20. let minulého století ještě rozšířena. Nově vzniklá instituce v tokijském parku Ueno je součástí Národní kongresové knihovny. První etapa Andovy rekonstrukce pochází z roku 2002. Skleněné hranoly uvozují nový vstup, pronikající skrze neo-renesanční budovu a utváří komunikační páteř v zadní části objektu. Přes odvážné zásahy a použití moderních materiálů se Ando pokusil zachovat co nejvíce architektonického dědictví. V současné době probíhá druhá etapa rozšiřování muzea, kdy Ando připojuje ve dvorní části zaoblené křídlo z betonu, oceli a skla, které zdvojnásobuje plochu dnešní knihovny.
Ando při rekonstrukci vsadil na jednoduché tvary, které jasně definují rozdíl mezi novým a starým. Transparentní skleněné části přitom stále umožňují jasně číst původní konstrukci ukrytou za novou přístavbou. Historická fasáda byla citlivě zrekonstruována a konstrukčně zajištěna proti zemětřesením. Nově přistavěná zadní celoskleněná stěna se obešla bez sloupů a vynáší ji pouze svislé ocelové podpory. Průsvitná a odhmotněná přístavba tak působí více jako součást venkovního nádvoří než jako nedílný prvek historického domu.
Kromě skleněných hranolů umístil Ando do muzea také dva dřevěné válce sloužící jako čítárna muzea dětských knih. Válcový tvar přitom vychází z ornamentů na původních historických stropech. Vložení nových objektů umožnilo navodit ve velkých sálech přívětivější atmosféru.