Ahogyan telt az idő, a növények persze egyre terebélyesebbek lettek, és sajnos ez jelentette a vesztüket, a hatóságok ugyanis úgy ítélték meg, hogy a fák akadályozzák az autósokat abban, hogy jól lássák a forgalmat, ezért arra kötelezték a férfit, hogy távolítsa el azokat, ellenkező esetben 500 000 jen (több mint 1,1 millió forint) pénzbüntetést kell fizetnie, vagy akár egy évre börtönbe is kerülhet.
„Magányos vagyok… Magányosnak érzem magam a gyönyörű banánfáim nélkül” – nyilatkozta a férfi, miután kiszedték a helyükről a növényeket, amikről olyan sokáig gondoskodott.
A kurumei banánfák történetét egyébként az egész ország megismerhette, hiszen a sajtó is nagy figyelemmel követte az eseményeket, jelen voltak akkor is, amikor a fákat kiszedték a földből, illetve, amikor a férfi megpróbálta megenni a róluk szüretelt, kissé éretlen gyümölcsöket.
Miután kiemelték a banánfákat az eredeti helyükről, szerencsére nem a szemétben végezték, kettőt egy 80 éves férfi fogadott örökbe, és megígérte, hogy nagyon fog rájuk vigyázni, a harmadikat pedig a fákat ültető férfi odaajándékozta az egyik barátjának születésnapja alkalmából.