按照围棋规则，规定执黑一方先下第一手棋，比后下的白方要有利得多，所以一般情况下都是由水平较高的一方执白。但是，段祺瑞却使得那些具有专业水平的棋手不得不执白与他比赛。不过，段祺瑞的儿子段宏行倒是棋力真地不弱，应该有当时日本三段的实力。

"我要在你的花园里盖一个小房子。"

下棋的过程中，段祺瑞经常会这样挑衅对手。这是他向对方发出的宣言，他要强行攻进对方的领地，并在里面做活自己的地盘。尽管他雇请的那些棋客们都是准备好输给段祺瑞的，但是为了不让段祺瑞起疑，还不能大大方方地输，这就增加了他们与段祺瑞之间的比赛的难度。在背地里，大家都称段祺瑞是"常胜将军"，这多少带有一丝无奈和揶揄。

终于有一次，吴清源上了。之前，段祺瑞只是看他和其他棋手下棋，这次他忍不住好奇，要跟这位天才少年下上一局。吴清源讲述了这天早晨发生的事。

"我不清楚他的实力怎样，总之他下棋的速度很快。可能因为我还是个孩子，所以段祺瑞将军下得很强硬，很无理。我就反攻，结果就赢了。段将军输了棋，马上拉长了脸，一个人进了里屋，再也没有出来。弄得大家没吃上早饭。"

顾水如和汪云峰等棋手静观我们下棋，谁也不敢吭声。直到段祺瑞离开后，大家才七嘴八舌地责备起吴清源来。这件事情，吴家的其他人丝毫不知情，因为吴清源回去后，什么也没有说。直到几天后，北京的报纸《晨报》上，披露了这件事。

标题是"段祺瑞与吴清源下棋了"。

在这篇报道中，有这样一句话："段执政一日与吴清源弈，大败，愤然拂袖而起，进入内室。……"看了这则报道后，吴家人着实捏了一把汗，担心会有什么灾祸临头。而吴清源却很平静地回答了家人的问话，结果也确实没有发生任何事情。倒是吴清源的名字从此在北京的大街小巷传开了。

到了第二个星期，吴清源又来到段公馆。可能是对输给一个孩子这件事耿耿于怀，段祺瑞以后再也没有和吴清源下过第二局。

吴清源对段祺瑞说："请给我学费。"

"……"

这个少年非常清楚家里的困境。他认为既然段祺瑞说过提供给自己奖学金，那么每个月他都应该如约给自己一百元钱。就这样，吴清源每月领取奖学金，直到1926年4月段祺瑞下台。对于段祺瑞的口头禅似的那句话--"我要在你的花园里盖一个小房子"，吴清源与其他讽刺段祺瑞为"常胜将军"的棋手们有着完全不同的看法。

"将军最擅长的就是杀入对方的实空，并在对方的实空里做活一个小小的地盘。这就是他所谓的'我要在你的花园里盖一个小房子'。实际上，段将军的这种下法有他很深刻的思想根源。当时日本人是满洲军阀张作霖的后台，但是他们却把张作霖炸死了。段祺瑞虽然是亲日派，可他对日本在中国的这种行径心怀不满。他认为'你盖小房子可以，但绝不可以取走'。他是把自己的这种思想用到了下围棋上。这是我后来才明白的，我认为他很了不起。"

北京天安门西侧有一个中山公园。

漫步在公园里面，你会看到有一家中餐馆，叫来今雨轩。这是一家老字号餐厅，它记录了1915年以来的历史。可惜的是原址上的来今雨轩早已不复存在，后建的来今雨轩位于距离原址不远的地方。

失去了段祺瑞的资助后，吴清源开始去来今雨轩下棋。这里是当时有钱的围棋爱好者聚集的地方。他们经常拿着奖品，在餐厅里面举行围棋比赛。这里所说的奖品，无非是一些砚台、花瓶之类的东西。应该说它们只是获胜的一个标志而已。来这里参加比赛的棋手很多，而吴清源总是所向披靡，屡战屡胜。吴清源的名字再次上了北京的《晨报》，报上还配发了照片。从此被称作"天才少年"的吴清源在北京有了名气，成了名人。

二哥吴炎是这样回顾当时的情形的。

"我们兄弟三人经常去父亲生前带我们去过的海丰轩。老板总是热情地招呼我们，一到午饭时间，他就从附近饭馆叫来汤面和馒头等等款待我们。当然我们也不能白吃，于是弟弟清源就用下围棋赢来的钱付饭费了。"

就在这个时候，祖母桂氏去世了。享年63岁。

然而吴家根本拿不出钱来为祖母送葬。前途未卜的艰难生活仍在继续着。后来，还是和吴清源下过一次围棋的一位棋友送来了五百元钱。这位棋友很有地位，在当时北京政府的国务院任职。这样总算为祖母举行了葬礼，送她出了殡。葬礼一结束，母亲张舒文就辞退了家里仅有的雇工，并卖掉了所有家里的藏书以及其他值点钱的东西，最后离开西城大酱坊胡同的四合院，搬到西城石板房，住进了向福州同乡租借的房子里。

一天，一个叫林熊祥的人来访。

这个人曾经与吴家一起合作做过盐运生意。他应该是林则徐的后人。林则徐是在19世纪的前半叶力主取缔鸦片，从而引发鸦片战争的一位清朝官员。

林熊祥当时在台湾经商，这次因商务来北京，他特地抽时间拜访了吴家。

"在日本，只要是有名的棋手，收入都是很高的。"

他对吴家没落的家境非常惋惜，于是对母亲及三兄弟说：

"你们知道北京东城有一家日本人的围棋俱乐部吗？我很想看看吴清源的实力究竟有多高。"

林熊祥很快定下了日子，并通过在北京政府交通部担任顾问的中山龙次把吴清源带到了日本人俱乐部。俱乐部门口挂着"大和俱乐部"的牌子。因为大家听说天才少年吴清源要来，所以俱乐部里聚集了不少前来观棋的人，其中就有经营古玩生意的商人山崎有民。