事实经过：
上个星期日我与家母在后院整理废土及花草
突然隔隔壁早餐店的邻居就探头出来跟我们讲话
(我家附近都是整排的透天厝、后院地是我家的，但横跨到隔壁间)
然后就说这地不是你家的，你凭什么在这ooxx的
然后我们就解释这我有地权啊，为什么我们不能整理!?
还说要不然我拿地契给你看好了!
他就开始谩骂了，有很多不好听的话，说什么洨才是您们家的啦(以后请按台语)
你们家有钱又怎样、房子说什么装潢多好我看也很普通之类的话
你不要太过嚣张之类的!!
我们家一直很低调，我也不懂为什么他会这样子觉得!?也不是什么有钱人啊!?
就不理他继续做…他就愈骂愈过份，最后就骂了
“恁刀西朗”
“恁刀西朗啦!!”
我听到这句话就火了!!回呛他是在骂什么
他就说要出来输赢!!就跑到我们家来撞门!!
真的是很过份!!
后来想说以和为贵，邻居们也都是这样子劝说，就算了
没想到后来开始跟邻居们说我们家的不是，说我们侵占别人的地
还跟隔壁说我们偷偷去挖他们家的后墙!!叫他跟我们处理一下，他自己管不动了
我们后院的废土是隔壁装潢剩下倒的耶!!我们是受害者反而变加害人了!?
让我觉得不告他给他一点教训不行!!
问题：
1.关于他骂我“恁刀西朗”部份可以告他吗!?没有录音，现场只有我跟我妈两人听到
2.他在附近邻居中一直传播不实讯息，还煽动隔壁邻居对付我们，可以告吗!?
我们并不想要什么赔偿费，只想让他在邻居中跟我们道歉就好!!
由于小弟平时从未接触过司法事件，法律知识浅薄
还烦请各位大大告知我该如何处理、从哪边下手!!感谢~~
先感谢各位帮 小弟/小妹 解惑或提出建议，如内容尚有不足，盼请提出需补充之处。