中国思想中最早论女人与小人的文字，见于《论语》阳货篇。阳货篇里记孔子说："惟女子与小人为难养也！近之则不孙（逊），远之则怨。"钱穆在《论语新解》里做"白话试译"如下："先生说：只有家里的妾侍和仆人最难养。你若和他们近了，他将不知有逊让。你若和他们远了，他便会怨恨你。"钱穆又解释说："此章女子小人指家中仆妾言。妾视仆尤近，故女子在小人前。因其指仆妾，故称养。待之近，则狎而不逊。远，则怨恨必作。善御仆妾，亦齐家之一事也。"钱穆这些解说是不妥的、错误的。
因为，孔子指女子与小人，是泛指的，并没特别指为做"妾侍"的女子或是做"仆人"的小人，这种泛指，在《论语注疏解经》卷第十七里早就印出来了："正义曰：正章言女于与小人皆无正性，……此言女人，举其大率耳。"〔注一〕这里说"举其大率"，就是泛指的意思，而不是特指的意思，钱穆说"女子与小人"乃特指仆妾而言，是犯了没能了解孔子原义的错误。当然这种错误，是抄朱熹抄来的。
孔子在说这些话的时候，他的原义不是特指而是泛指的原因，乃在于他颇能体味出女子与小人基本性格的那一面。从这种体味里，孔子这段话的现代表达法该是："只有女人和小人才是最难同他们相处的：你对他们好，他们便不知天高地厚，试探你、冒犯你、搅你；你对他们板下脸来，他们便埋怨个不停，说你对不起他。"
孔子认为：在女人身上、在小人身上，显然是有这种"女人性格"与"小人性格"的，因此他发为感慨之言，做了泛指的论断。
孔子虽然离过婚，会过别人的小老婆，一生也命犯过不少小人，但我总觉得，他对女人小人的了解，是不够的，因为他所处的时代里，女人和小人还没今天这么复杂、这么刁钻鬼怪、这么欠缺做人的原则与规格。
孔子这段话的最大缺点，乃在他只能从一个被"不孙"、被"怨"的人的立场发为感慨，却不能从女人与小人的身上反过来看他们性格上的主动一面。实际上，女人与小人的性格是很主动的，他们并不因为你对他们"近之"或"远之"而那么被动，他们在个人利害的斟酌上，有极现实的考虑与行动，凡是有利于他们的，他们立刻能笑脸迎人、能下人、能取媚人；但是，凡是考虑之下，对他们无利或不再有利的时候，他们便会在一夜之间，采取行动，把人际关系既无情调又无趣味的戞然毁掉。这种行动，会令你非常倒胃。
男子汉同男子汉之间来往、高人与高人之间来往，你就不会有倒胃的感觉。可是当你认识了女人和小人，你就必须准备随时在一夜之间，领教他们的无情与无趣，不论这种来往有多深，不论这种来往有多久、不论这种来往当时有多罗曼蒂克、有多么令人怀念之处，只要他们是女人、是小人，你就不能高估、不能倚恃。女人和小人会在一夜之间毁掉这些，把你和交情丢掉，像丢掉一只不值一顾的破鞋。
孔子只看到当你占优势的时候，女人与小人的难相处一面；却没看到当女人与小人占优势的时候，或是在主观上判断你对他无利或不再有利的时候，他们那不跟你相处的一面。我认为，所有的男子汉、所有的高人，必须在内心深处，对这种"女人性格"和"小人性格"有悲剧性的准备和领悟。准备和领悟以后，他才会带着宽厚博大的心胸，面对一切或背对一切；对任何悲欢离合都不以为异。这就是人生，你无法避免不与女人和小人打交道，但你若在不可高估、不可倚恃的对象上过度动情，你就难免是狗娘养的了。