زمین این مسجد بعد از قبرستانی که در محل کنونی حسینیه اعظم واقع شده بود ، یکی دیگر از قبرستان های اهواز بوده است چون بعضی وقتها اشخاص لاابالی به این قبرستان جسارت می کردنند در سال ۱۳۲۴ ه . ش به پیشنهاد مرحوم مشهدی عبدالکریم تقی پور با اجازه مرجع تلقید آیت الله عظمی شیخ میرزا محمد جعفر انصاری دزفولی و اولین موسس حوزه علمیه اهواز در سال ۱۳۲۳ بود دستور تاسیس مسجد را صادر نموده اند ۰مرحوم حاج علی طالب زاده در سال ۱۳۲۴ ه. ش شروع به ساختن مسجد می کند و ساختمان مسجد در سال ۱۳۲۷ ه.ش تمام می شود و اهواز برای اولین بار دارای بزرگترین مسجد می شود . که آن به یاری خداوند متعال و به همت مرد بزرگواری چون مرحوم حاج علی طالب زاده و اخوان حاج سردار و حاج شعیب و حاج نبی طالب زاده و تشویق آیت عظمی شیخ میرزا محمد جعفر انصاری دزفولی ( ره) ساخته می شود ۰در همین سال آیت الله انصاری برای افتتاح مسجد نماز عیدفطر در این مسجد بزرگ که حدود دو هزار متر مربع می باشد .

سیل ۱۳۴۷ در اهواز سیل زدگان را از کوت عبدالله و عمیره و آبادهای دیگر حدود یک ماه در این مسجد اسکان داده شده بودند که از طرف تجار متدین لوازمات لازم برای زندگی و غذاهای گرم با همکار همسایگان برای آنها تهیه می شد.

این مسجد در سالهای پیش از انقلاب یکی از پایگاه های مهم بوده و در شکوفایی و دستیابی به اهداف والای انقلاب اسلامی ایران نقش بسزایی داشته است ۰که پس از سخنرانی تاریخی امام خمینی در سال ۱۳۴۲ آغاز شده بود ۰ اولین راهپیمایی مردم انقلابی و بزرگوار اهواز هم در عید فطر سال ۱۳۵۷ از همین مسجد آغاز شده

از سال ۱۳۴۳ به بعد هئیت عزاداران بوشهری به دلیل که مکانی برای عزاداری نداشتند به مدت ۴ سال مراسم عزاداری خود را در این مسجد بر پا می کردنند

برادران افغانی نیز از سال ۱۳۶۰ به مدت۳ سال در این مسجد جلسات متعددی برگزار می کردند

از سال ۱۳۷۰ ه ۰ ش به بعد از طرف ستاد اعتکاف شهر اهواز چند سالی در این مسجد بزرگ برنامه اعتکاف در ماه رجب برقرار بوده