大约在公元前247年，李斯来到秦国，恰逢秦庄襄王寿终正寝，秦始皇刚刚即位。当时相国文信侯吕不韦主政。李斯投在吕不韦门下，担任舍人。吕不韦门客以千百计，而李斯一经展露才华，立即脱颖而出。经吕不韦举荐，李斯被任命为郎官，进入宫廷。
他借机与年轻的秦王纵论天下大事，分析政治格局，提出一套剪灭诸侯、并吞六国、创建帝业的谋略。秦始皇闻之大喜，晋升李斯为长史。李斯从此得以参议军国大政。按照李斯的谋划，秦国综合运用军事、外交、间谍等手段对付诸侯，收买其权臣，刺杀其名士，离间其君臣，一旦时机成熟便大军压境。由于出谋划策有功，秦始皇拜李斯为客卿。
有一篇名叫《谏逐客书》的政论文章，使李斯青史留名。这篇谏议奏章，议论纵横，声情并茂，洋洋洒洒，理据具足，不仅体现了李斯的见识与雄辩，也展示了他的博学与文采。
事情的起因是，大约在秦始皇即位之初，韩国派遣间谍郑国到秦国游说。郑国是一位著名的水工，他建议秦国兴修水利，于泾水、北洛水之间开凿一条三百余里灌渠。其目的是消耗秦国人力、物力，使之无暇东顾。