Тут дело не только в Яндексе, если кардинально сменил дизайн, то я к примеру как посетитель, который из закладок к примеру изредка захожу на твой сайт(на котором вдруг сменился дизайн), и вот я зашел на сайт и...... по-моему это не то сайт и ушел, вот такое бывает

Владимир, не знаю как на дле, но на юкозе при смене дизайна сбрасываются все тайтлы и т.д.

У меня, после смены на оптимизированный дизайн (без не нужной нагруженности) трафик наоборот пошел вверх.

На джумле много раз менял дизайн, позиции ни как не изменялись.

Изменение позиций из-за смены дизайна вполне возможно и случается достаточно часто. Яндексу не нужно "приспосабливаться" к вашему новому шаблону, он просто изменит позиции вашего сайта в выдаче, вот и все. Конечно, не за 1-2 дня.
Думаю, причины следует искать в другом месте. Может шаблон получился слишком тяжелым и многие пользователи покидают сайт до того, как загрузится счетчик. Это как вариант

Мне кажется рано паниковать , подождите пару выдач, если ситуация не измениться, тогда нужно будет что-то предпринимать

Сталкивался с такой проблемой и по этому теперь не меняю ни дизайн, ни делаю никаких изменений пока все хорошо. Смену дизайна и изменения делаю тогда, когда у поисковиков появляются новые алгоритмы поиска или фильтры которые затрагивают мой сайт и в связи с чем падает резко посещаемость или другим словом теряю позиции в поиске.