在筹备北京强学会之时，康有为在1895年10月中旬曾到南京游说张之洞，成立上海强学会。康在南京二十多天，每天与张共进早餐，每隔一天就长谈一次，每次都从午后谈至深夜。对上海成立强学会的主张，张之洞大表支持，并答应捐银1500两作为经费。他甚至向康有为表示，中国如有维新党，自己愿当领头人；如果有维新领袖，自己愿意跟随。此会的成立宣言 “上海强学会序”虽由康有为撰写，但却由张之洞署名在报刊公开发表。因此，时人多以为张为上海强学会会长。1896年1月，上海强学会正式成立，不少入会者都与张关系密切，其中梁鼎芬、汪康年等数人不是他的幕僚就是他的属下，会务即由汪康年主持。同时，上海强学会还创办了《强学报》作为机关刊物。但是，张之洞虽然极力支持上海强学会，却婉拒了康有为将他列名之请：“群才荟集，不烦我，请除名，捐费必寄”。大力襄赞甚至要幕僚主持会务自己却坚不入会而在幕后指挥，实足表明他的谨慎老道，为自己留有余地。
果然，在朝内保守派的强大压力下，清廷不久就下令封闭北京强学会，查禁《中外纪闻》。张之洞闻迅立即解散了上海强学会，要他的幕僚致电上海各报，宣布上海强学会停办，《强学报》停刊。虽然如此，“洋务”与“维新”此时仍是共同点远大于分歧，维新派也理解张的无奈，所以双方继续合作，并将遗留资金转到新创刊的《时务报》，这笔资金为《时务报》所筹款项中最大一笔。