全书分为上下两部：出延津记，回延津记。共同的是，上下两部故事的主人公，都在找寻那个“说得着”的人。
出延津记主要围绕杨百顺的故事展开，他三度改名，第一次为了谋个活计，跟着牧师改名杨摩西，但内心并不信主，在大多数时间里，他们是”说不着“的，直到牧师弥留之际，他们才“说得着”；第二次改名为了生活，倒插门到了寡妇吴香香家，跟着老婆姓，变成了吴摩西，但吴香香和自己“说不着”，只和银匠老高说得着，老高带着吴香香私奔了，吴摩西并不情愿找，迫于外界的形势，只好假装外出找“说不着”的吴香香，结果却阴差阳错，把“说得着”的巧玲弄丢了；为找巧玲，吴摩西去了好多地方，出延津时，他改名为罗长礼—这个自己从一而终的偶像。
回延津记中的牛爱国，正是多年前被吴摩西弄丢的巧玲的儿子，牛爱国和自己的妻子庞丽娜“说不着”，所以妻子给他带了两顶绿帽子，只因那两个男人和妻子能“说得着”。牛爱国和开饭店兼贩皮毛的李昆的妻子章楚红“说得着”，所以他给了李昆一顶绿帽子。曾经由于害怕和章楚红的事情东窗事发，他选择了逃避，但章楚红还给他留了一句话，他想要去找寻，就像当年母亲留下的一句话一样，虽不知所以，但抵得上一万个人说的一万句话，因为，这些都是自己说得着的人。
