زنده یاد آیت‌ا... حاج‌آقا حسین خادمی‌اصفهانی به‌رغم این‌كه در مظان مرجعیت بودند، هیچ‌گاه به این عرصه وارد نشدند. فرزند ایشان می‌گوید: به نظرم این از هوشیاری و زرنگی مرحوم ابوی بود كه نخواستند این مسؤولیت بزرگ را به عهده بگیرند. ایشان همواره از این كارها گریزان بودند، مثل خود امام كه هرگز تلاشی برای مرجع بودن نكردند. مرحوم ابوی غیر از نمایندگی مرحوم آیت‌ا... بروجردی، نماینده مراجع بزرگ دیگری چون مرحوم آیت‌ا... خوئی، مرحوم آیت‌ا... حكیم و مرحوم آیت‌ا... شاهرودی هم بودند و در دورانی كه مرحوم امام چندان در اصفهان شناخته شده نبودند، نمایندگی و وكالت ایشان را پذیرفتند و در اصفهان، به نام امام شهریه می‌دادند. ارتباط بین مرحوم ابوی و حضرت امام پس از تبعید ایشان هم به وسیله نامه‌ها و افراد ادامه پیدا كرد و نامه‌های فراوانی كه از پدر ما و امام به‌جا مانده، گواهی بر این مدعاست. ساواك هم می‌دانست كه ایشان از طرف امام شهریه را می‌دهند و به همین دلیل، بسیار روی ایشان و تحركاتشان حساس بود و مدام ایشان را تحت نظر داشت.