وعانى رستم في أوائل الستينيات من ضعف السمع، وأعتقد في البداية أنه مجرد عارض سيزول مع الأيام، وأنه بحفظه جيدًا دوره وقراءته شفاه الممثلين أمامه قد يحل المشكلة. لكن هذا لم يحدث.

وفي آخر أفلامه إجازة صيف فقد حاسة السمع تمامًا، فكان ينسى جملًا في الحوار أو يرفع صوته بطريقة مسرحية، وكان يكره أن يستعين بسماعة من الاختراعات الإلكترونية، خصوصًا أن السماعات كانت ما زالت بأسلاكها وبطاريتها ظاهرة للعيان إلى جانب أنها تقيد من طريقته في الاندماج.

وأدى زكي رستم الدور على أحسن ما يكون. وعندما كان المخرج يوجهه أو يعطيه ملاحظاته كان لا يسمعها، ما أحزنه كثيرًا، حتى إنه في إحدى المرات بكى في الأستوديو من هذا الموقف.

وبسبب ما تعرض له فكر زكي رستم فى اعتزال التمثيل نهائيًا عام 1968، والابتعاد عن الناس بعد فقدانه حاسة السمع تدريجيًا، وكان يقضي معظم وقته في القراءة ولعب البلياردو، بعدما قدَّم أكثر من 240 فيلمًا، لكن الشهير منها والموجود 55 فيلمًا فقط.