我找到一个不算百分百有利的证据，给您参考看看，〈武帝纪〉：
"光和末，(184年)黄巾起。拜骑都尉，讨颍川贼...久之，征还为东郡太守；不就，
称疾归乡里。
魏书曰：于是权臣专朝，贵戚横恣。太祖不能违道取容。数数干忤，恐为家祸，
遂乞留宿衞。拜议郎，常托疾病，輙告归乡里；筑室城外.."
以上可由《魏武故事》载(曹)公十二月己亥令来旁证：
"..故在济南，始除残去秽，平心选举，违迕诸常侍。以为彊豪所忿，恐致家祸，
故以病还。去官之后，年纪尚少.."
表明曹操以疾去官，是在184年之后，然后重点来了，皇甫谧《逸士传》：
"汝南王儁，字子文，少为范滂、许章所识，与南阳岑晊善。公(指曹操)之为布衣，
特爱儁；儁亦称公有治世之具。及袁绍与弟术丧母，归葬汝南，儁与公会之，
会者三万人。公于外密语儁曰：“天下将乱，为乱魁者必此二人也。欲济天下，
为百姓请命，不先诛此二子，乱今作矣。”.."
案曹操早期为布衣的期间，我查到有3段，分别是：
1."举孝廉为郎"的20岁之前
2.178年"从妹夫隐强侯宋奇被诛，从坐免官"时
3.184年起，因违逆宦官而托病走人
为了确认是3段中的哪一段，就得找别的史实来匹配，《后汉书徐璆传》：
"中平元(184)年，与中郎将朱隽击黄巾贼于宛，破之。张忠怨璆，与诸阉官构造无端，
璆遂以罪征。有破贼功，得免官归家。后再征，迁汝南太守，转东海相.."
《后汉书许邵传》："许劭字子将，汝南平舆人也...初为郡功曹，太守徐璆甚敬之...
同郡袁绍，公族豪侠，去濮阳令归"
除非有别的史料指称，曹操其他两段为布衣的期间，袁绍也有回汝南归葬袁母
否则以此作为袁绍184年以后，才回汝南的旁证，还算合理？