Не знаю, помогу или нет. Но несколько раз сталкивался с тем, что сайт начинал долго грузиться из-за того, что картинки в статьях были с других сайтов. Т.е. я не сохранял их у себя на хостинге. В связи с этим уходило время на коннект к тому сайту и т.д. В технической подноготной не силён, но проблема была именно в том, что картинки использовались с других серверов

https://developers.google.com/speed/pagespeed/insights - проверьте сайт этим инструментом, возможно gzip не правильно работает или хостер тормозной.Если решитесь менять хостинг рекомендую http://order.hostlife.net/pl.php?17666 (рефка).  Работник сапорта есть всегда в он-лайн чате. И при желании бесплатно перенесут ваш сайт. Нужно было склеить сайты, так ребята мне сами настроили редиректы. Так же при покупке тарифа бейсик 5$ мес, вам бесплатно прогонят сайт по тематическим каталогам. Но я лично пока не воспользовался этой услугой.
По теме Джумлы, так я бы еще вам посоветовал выключать модули по 1 му и проверять загрузку, можно даже через сервис, указанный мной выше. Возможно вы установили какой то глючный модуль.