اصل عائله طرطور هو موضوع مثير للاهتمام ومحل جدل في التاريخ العربي. بعض المصادر تقول إن هذه العائلة تنحدر من قبيلة بني طرطور، وهي إحدى فروع قبيلة بني هلال التي انتقلت من الجزيرة العربية إلى شمال أفريقيا في القرن الحادي عشر الميلادي.
وبعض المصادر الأخرى تقول إن هذه العائلة تنتمي إلى أصول تركية أو كردية أو فارسية، وأنها جاءت مع الغزوات العثمانية في القرن السادس عشر الميلادي. ولا يوجد دليل قاطع على صحة أي من هذه الروايات، ولكن يمكن دراسة الأسماء والعادات والتقاليد والأنساب للوصول إلى بعض الاستنتاجات المحتملة.