Стефан Караиванов е родственик на Васил Левски по линия на първия братовчед на Дякона - Васил Караиванов. Той е племенник на майката на Апостола Гина Караиванова – Кунчева. От години семейството на Стефан живее в Караивановата къща, която се намира..
