事实经过：
在下有一块建地，几年前房子拆了，
一直没在用，大约一年回去看个一次，
因为这几天要开始整理加上围栏，
所以回去查看，
发现变成附近邻居停车的地方，这倒还好，
但是却有人在上面种一棵木瓜树，已经颇大，
这几天因为要整理，所以想把木瓜树移除，
但种的邻居出国去玩了，
不知要多久才会回来。
问题：
1.请问我可以迳行移除该树吗？会不会因此。
被告偷窃？
2. 如果能直接挖起来，事后还种的人行吗？
如果不能直接挖，该如何处理？
先感谢各位帮 小弟/小妹 解惑或提出建议，如内容尚有不足，盼请提出需补充之处。