خانه 130ساله و چشم‌نواز بروجردی‌ها به خواست بازرگانی به نام سید حسن نطنزی ساخته شده و از آنجا که وی از بروجرد مال التجاره وارد می‌کرده، به حسن بروجردی شهرت‌یافته و به همین علت بنایی که وی دستور ساخت آن را داده بود، خانه بروجردی‌ها نام گرفت، اما ماجرای ساخت این خانه همچون خودش زیباست و شنیدنی. ظاهرا مرحوم حاج‌آقا حسن بروجردی برای فرزندش سیدمهدی از دختر مرحوم حاج‌سید جعفر طباطبایی خواستگاری می‌کند و خانواده طباطبایی شرط موافقت با ازدواج را ساخت خانه‌ای آبرومند و درخور شأن عروس‌خانم قرار می‌دهند، از این رو حاج‌آقا حسن بروجردی از همان معماری که خانه طباطبایی را بنا کرده، درخواست می‌کند تا این خانه را نیز بنا نهد. خانه بروجردی‌ها در زمینی به وسعت 1700مترمربع ساخته‌شده و مساحت کل بنا 3000مترمربع و شامل بخش‌های اندرونی و بیرونی است. نقاشی‌های بی‌نظیر خانه بروجردی‌ها به شیوه‌های متنوع و با هنرمندی مرحوم میرزامحمدخان غفاری ملقب به کمال‌الملک طراحی و اجرا شده است. همچنین بام تالار نیز به نورگیرهای هلالی شکل و بادگیرهای قرینه فوق‌العاده زیبایی مزین شده که از نظر طرح و اجرا در زمره آثار بدیع معماری سنتی ایران قرار دارد.
ساخت این مجموعه بی‌نظیر تاریخی 18سال به طول انجامیده و در ساخت آن بالغ بر 150نفر بنا، گچ‌کار، آینه‌کار و بسیاری هنرمندان دیگر شرکت داشته‌اند.
این بنا شامل دو بخش اندرونی و بیرونی است. بخش بیرونی آن از سال 1353 هجری‌شمسی در اختیار سازمان میراث‌فرهنگی بوده و در فهرست آثار تاریخی کشور به ثبت رسیده و بخشی اندرونی آن که در شمال‌شرقی و شرق بنا قرار دارد کماکان تحت مالکیت خصوصی است.