W maju 1480 roku, Mehmed II wysłał wielką armię na wyspę Rodos w celu zniszczenia odwiecznego wroga islamu – zakonu joannitów. Po 89 dniach bitwy o Rodos muzułmanie wycofali się. Ich klęska przeszkodziła w planowanym podboju całej Italii. Wyspa Rodos pozostała w rękach joannitów do 1523 roku, kiedy po półrocznym oblężeniu podbiły je wojska osmańskie pod wodzą Sulejmana I.

W ostatnich latach Mehmed II Zdobywca cierpiał na podagrę i reumatyzm. Zmarł prawdopodobnie z powodu niedrożności jelit, gdy jego lekarz Hamideddin z Laru, podawał mu leki na kolkę. Istnieje możliwość, że niewłaściwe leki podano sułtanowi celowo. Śmierć nastąpiła 3 maja 1481 roku ok. godz. 16:00 w obozie wojskowym pod Gebze, w miejscu zwanym Cesarską Łąką (Hünkar Cayiri), podczas przygotowań do wyprawy mającej na celu podbić Egipt. Pochowany został w Stambule w meczecie Fatih, wzniesionym w latach 1463–1470 z rozkazu Mehmeda. Na grobowcu Mehmeda umieszczony został (z jego własnego rozkazu) napis: „Zamierzałem podbić Rodos i podporządkować sobie Italię”.

Po jego śmierci władzę nad Imperium Osmańskim przejął Bajazyd II, przeciwko któremu bezowocnie usiłował spiskować brat Cem.