Ar un adeg, roedd Garreg Lydan yn cael ei defnyddio fel Ty Cerbyd. Yn y deunawfed canrif, roedd teithwyr yn gallu gorffwyso, a cael bwyd a dwr i eu ceffylau, cyn cario ymlaen ei taith hir i Caergybi. Am llawer o flynyddoedd, roedd o yn fferm, ond heddiw mae’n tai hardd yn edrych i lawer dros yr Afon Dyfrdwy.