随后他和二哥东渡日本，进入东京成城学校学习。
他后来在《吴玉章回忆录》一书中说：“1903年2月9日(夏历正月十二)，那时还是元宵期内，到处锣鼓喧天，当人们正在兴高采烈、欢度春节的时候，我们一行九人，好象唐僧取经一样，怀着圣洁而严肃的心情，静静地离开故乡，挂帆而去。”
船过三峡，吴玉章望着两岸慢移的景色，以“东游述志”为题，写诗抒怀——
不辞艰险出夔门，
救国图强一片心。
莫谓东方皆落后，
亚洲崛起有黄人。
§血性男儿
吴玉章到日本后参加了一系列爱国学生运动，成为四川留日学生中的积极分子。
1904年元旦，因清朝末年中国的贫弱，日本看不起中国，悬挂万国旗时，故意不挂中国国旗。他挺身而出，代表留日学生向学校当局严正提出：“必须立刻向中国学生道歉并纠正毛病，否则，就要举办罢课和绝食以示抗议。”在强大压力下，学校当局只得认错道歉。
当时，革命文字盛行，如邹容的《革命军》，留日学生的《浙江潮》《江苏》等杂志，随着这些读物的影响，他的思想也随之变化，认为革命是对的。
当时，读书人多看不起孙中山，1905年孙中山到东京后，他和另外一些最激进的革命派，就和孙中山一起组织了革命同盟会。