En Butler's Farm, Joe ordenó a dos constructores que derribaran el monumento a Holly Barton. Holly es la difunta hija de Moira, que murió como resultado de una adicción a las drogas. Después de su muerte se plantó un árbol, que era visitado regularmente por Moira y Matty Barton. Cuando los Dingles descubrieron que el monumento a Holly había sido destruido, todos asumieron naturalmente que Joe tenía algo que ver con eso, pero nadie obtuvo confirmación real debido a la falta de pruebas y, bueno, al hecho de que Joe prefería mentir a todos que decir la verdad y enfrentarse a la ira de los Dingles.
Esta acción impulsada por Joe ha generado una fuerte reacción en la comunidad de Emmerdale, poniendo en duda su permanencia en la serie.
La reacción de Dawn Taylor ante la tala del árbol de Holly fue la que más temor causó a Joe. Le dijo a Dawn que no tenía nada que ver con eso y, aunque ella dijo que le creía, también dijo que si lo hubiera hecho, no continuarían su relación.