هر بار که حرف تهران قدیم می شود بی شک نام محلات چاله میدان و عودلاجان در اول صف خودنمایی می کنند این محله ها در قلب پایتخت اند و عمارت های تاریخی فراوانی را در خود جای داده اند. یکی از آن قدیمی ها سرای کاظمی است. خانه ای که در مجاورت امامزاده یحیی قرار دارد و در روایت ها گفته شده متعلق به میرزا سید کاظم پسر سید میرزا هدایت اله تفرشی بود سید کاظم در سال 1226 قمری در اوایل پادشاهی محمد شاه قاجار وارد خدمات دولتی شد و در زمان ناصرالدین شاه از میرزاهای اصطبل شاهی بود.