Клуб был основан под названием "Искра" в 1958 году, но засиял лишь спустя почти 50 лет после появления на свет. Команда никогда не выступала в высшей лиге СССР, зато в 2003 году вышла в российскую премьер-лигу и с первой же попытки заняла третье место.

Проведя с переменным успехом четыре сезона в высшем дивизионе, в год 50-летия клуба "Рубин" неожиданно выиграл чемпионат России-2008. Значительный вклад в победу внесли ветераны Саво Милошевич, Сергей Ребров и Сергей Семак. Казанцы начали сезон с семи побед и в дальнейшем никому не отдали первое место.

В 2009-м казанцы добрались до финала кубка России, где, уступили московскому ЦСКА со счетом 0:1.

Зато в том же году подопечные Курбана Бердыева отстояли звание чемпионов России, финишировав во главе турнирной таблицы с отрывом в восемь очков. Они опередили все остальные команды по количеству побед, поражений, забитых и пропущенных голов.

Два первых выступления в Европе "Рубина" завершились поражениями во втором отборочном раунде Кубка УЕФА. Зато дебютная кампания в Лиге чемпионов УЕФА-2009/10 запомнилась болельщикам надолго. На групповом этапе команда Бердыева взяла четыре очка из шести возможных в матчах с "Барселоной", победив действовавшего чемпиона на "Камп Ноу" со счетом 2:1, и заняла третье место в группе.