决心既定，鉴真、荣睿、普照、道航等人经过商议，约定分头准备远行的用具、食品等。他们请扬州仓曹李凑出面帮助打造船只，在鱼米之乡的扬州筹办海粮也不是一件难事，只是为防官府怀疑，对外都称粮食是送往天台山国清寺的。正在一切准备工作顺利进行时，发生了一件意外的事情。

    原来，在商议东渡人选时，祥彦、道航和思托均认为高丽僧如海乃不学无术、行为不端之人，且为人狡诈，决不能让其参加东渡。不料此言正好被如海听到，他不禁怒火中烧，于是跑到扬州官府，向淮南采访使班景倩告发说：“有一个名叫道航的僧侣，他与海贼勾结，正在城内造船备粮。他们分别藏于既济寺、开元寺、大明寺内。与他们联系的五百海贼，也将潜入扬州城里。”当时的中国沿海盗贼蜂起，活动猖獗，朝廷早有诏书，要各地对海盗严加防范。因此班景倩听闻，不敢大意，立即吩咐衙役先将如海关进狱中，再行审讯，听候发落，同时又急派人马到东河口和有关寺院搜查，果然在东河口找到了新造的船只，又在大明寺、既济寺找到了大批粮食和物资。班景倩闻报大怒，派出衙役将所有僧人捉拿归案，严加审讯。幸好有李林宗的公文为证，他才释放了所有僧人并归还了物资，但船只和粮食由官府封存，几名日本僧人也暂时留在官府中，须禀告朝廷专门管理外国人员的鸿胪寺后再作处理。第一次东渡就这样夭折了。

    四个月后，荣睿、普照等人从狱中获释，玄朗、玄法二僧开始动摇，终于与荣睿、普照分道扬镳；道航也以家有老母为由，提出不去日本。但鉴真、荣睿等人决心已定，继续筹备东渡之事。他们用80贯正炉钱向领南道采访使刘世麟买入军用船只一艘，采办了必需的粮食、药品、用具和文物书籍，还雇了18名水手。鉴真考虑到日本建筑佛寺等方面的需要，还招募了85名工匠。

    他们一行人于天宝二年（日本天平十五年，公元743年）十二月出发，但出发不久，就在靠近长江入海口的狼沟浦（今江苏南通狼山）遇到飓风，船只破损，不能前行。船上人员只得暂时离船，登上浅滩，商议对策。当时天寒水冻，周围方圆数里又没有人烟，船只一两天也无法修复。众人只得先租船暂时存身，后来又借住在附近的寺庙。数日后，船只修复，大家立即重新登船，开始新的航程。

    在古代，中国和日本之间的交通往来有两条海路，一条是北路，一条是南路。北路是船从日本的壹岐和对马出发，经过朝鲜半岛的南端，横渡黄海，转渤海到中国的山东莱州等地登陆。这条路风浪袭击较少，比较安全。7世纪以前，日本派遣到中国的使节大多走的是这条路线。7世纪以后，朝鲜半岛上的新罗成了霸主，对不断到朝鲜半岛劫掠的日本怀有戒心，阻挠和袭击日本过往船只的事时有发生。于是，前来中国的日本使节不得不冒大风大浪的危险，改走南路，由日本的南岛或筑紫，横渡黄海，经舟山群岛从扬州、明州登陆。一般来讲，冬季海上风浪比较平静，危险也小，许多从中国回日本的船只都是选在冬季启航，所以鉴真也选在这个季节由南路渡海。

    但是，东海上的季风在春夏多为西南风，秋冬多为东北风，在冬季由西南的扬州、明州向东北的日本航行，经常会遇到逆风，风险极大。鉴真一行的船只出海不久，便遇上逆风，不得不在下屿岛停靠下来，等了约一个月才候到顺风，立即又扬帆东行。可是刚刚行至桑石山附近，船只不幸触到暗礁，损坏严重，最终沉入海底。船上人员虽幸免于难，但满船的粮食、淡水、经卷、佛像和药材等均散落海底。一百多人登上荒凉的无人小岛，在寒冷、饥饿、干渴中度过了二天三夜。直至第四日风平浪静，出海的渔民发现岛上有灾民，给他们留下了一些淡水和干粮，并回去禀告官府。不久，明州太守派船把鉴真等人救出，安置到明州东50里处的阿育王寺住下。

    鉴真一行到来，受到阿育王寺僧众的盛情款待。众人恢复健康后，僧徒、水手、工匠中有40多人不愿再参加东渡，先后离去。

    鉴真航海遇难、住到阿育王寺的消息，很快在浙东一带传开了，前来请他去宣讲律学、设坛授戒的僧侣与日俱增。有不少僧侣认为，鉴真是一位博学多才的大德高僧，应该留在中国，而不是冒险东渡日本，纷纷劝说鉴真灭了东渡的念头，请他留在阿育王寺。在这种情况下，鉴真感到更应该及早东渡。他与众弟子商议后，为防节外生枝，决定舍近求远，派两个弟子先期去福州购买船只和粮食，自己随后以巡回朝圣佛迹为名前往福州会合。

    当地僧侣发现鉴真仍在准备东渡，就到越州府告发说，两个日本留学僧人到扬州诱骗中国大德高僧鉴真欲往日本。越州府立刻派人前往捉拿，普照逃脱，荣睿被逮捕，后又被递解长安。途经杭州时，荣睿重病不能行，由杭州龙兴寺方丈保出就医。正好龙兴寺有一名僧人病故，方丈便禀报太守说日本僧人已病故，荣睿则乔装改扮回到阿育王寺。

    不久，鉴真率30余名徒弟辞别阿育王寺，开始向福州进发。当他们在浙东南山区艰辛跋涉的时候，又发生了意想不到的事，使东渡计划又一次落空，而惹起这次祸端的竟然是他的高足灵祐。原来灵祐等扬州各寺僧众不希望鉴真冒险东渡，出于对师父的爱护之心，决定联名申告官府，由官府出面劝阻。江南东道采访使接到扬州采访使转来的申告书，便下令所属州县追查鉴真踪迹，终于查到了在永嘉郡禅林寺刚刚落脚的鉴真一行，将其扣留，后又派大批兵卒防卫，把鉴真送回了扬州。

    鉴真回到扬州，江淮一带的僧侣非常高兴，鉴真却闷闷不乐。而扬州官府怕鉴真再次东渡，索性将他软禁在崇福寺。鉴真了解事情的真相后，对灵祐极为不满。灵祐为表示悔过，每夜从龙兴寺赶到崇福寺，在师父的门外从一更站到五更，一连站了60天，最后才得到师父的谅解，灵祐和另外五六个曾反对鉴真渡海的僧人也改变了态度，愿随鉴真东渡弘法。荣睿、普照怕为鉴真增添麻烦，决定暂离扬州，等待机会。

    一晃三年时间过去了，扬州官府对鉴真的监视渐渐放松了。天宝七年（748年）的春天，荣睿、普照再次来到扬州。鉴真此时已是61岁高龄的老人，但壮志却不减当年。他同荣睿等人经过商议，决定马上筹备船只，购买粮食和杂物，准备第四次东渡。经过联络，愿意随师前往的弟子共35人。六月二十七日，鉴真及其弟子由崇福寺出发，开始了第四次东渡。途中数次遇到风浪，船只一直漂流到海南岛。鉴真一行上岸后，受到当地官员的欢迎，先后在振州（今三亚）、桂州（今桂林）等地讲演、授戒、帮助修缮寺庙，耗费了数月时间。鉴真等考虑到广州临海，过往船只又多，可能会有到日本的便船，便考虑前往广州，如找到便船，就从那里出发前往日本。正准备动身时，荣睿突然病倒，途中病情日见加重，终于病故于端州。鉴真一行虽顺利到达广州，但逗留了数月也没有等到去日本的便船，终于断绝了从广州渡海赴日的念头，第五次东渡也夭折了。鉴真与普照、思托等人商量，决定离开广州，暂时回到江南，等待时机成熟再行东渡。

    自广州返回扬州的途中，普照眼看鉴真经受长年的颠簸，体质日衰，不忍师父晚年再因东渡而遭苦难，决定忍痛分离，独自前往明州等待回国的便船。送别了普照后，鉴真在北返途中患了眼疾，泪流不止，视力迅速减退，服药多时也不见好转，不久便双目失明。但沉重的打击并未改变他东渡的初衷。他继续率领僧众巡游各寺，并一如既往地应邀设坛授戒、度人，而后又一路北行。到江西虔州（今赣州）境内时，鉴真的得力助手祥彦又病倒了，他们一行所乘坐的船只还未出江西境，祥彦已经卧床不起，不久就病故了。唐天宝十年（751年）的金秋时节，在外漂泊三年、天南海北兜了个大圈子后，鉴真又回到了故乡扬州城，继续在龙兴寺、大明寺、崇福寺等寺庙讲律授戒，所不同的是，当年身体强壮的高僧，而今已是弓腰弯背、眼窝深陷、双目失明的老人了。

    一年过去了，又是金秋时节，日本第十次遣唐使船到达扬州，随后沿运河北上，前往长安。他们向唐玄宗上奏邀请鉴真等五位高僧去日本弘法传道。唐玄宗虽然也支持佛教，却是一个崇信道教的皇帝。他不反对日本邀请鉴真等佛教僧侣，可又提出，希望他们带几个道士去日本。而当时的日本朝野盛行佛教，若带道士回去，天皇必然会怪罪。为了不使问题复杂化，藤原清河留下四名随从在唐学习道法，而邀请鉴真之事也就不再正式提起，只是在使团内部商定，回国路过扬州时停留数日，私下去同鉴真商议，请他继续东渡日本，如他同意，就随遣唐使船一起赴日。

    天宝十二年（753年）十月，第十次遣唐使踏上了归途，抵扬州后径直前往参谒当时正在延光寺讲学的鉴真大师。交谈中，鉴真表示自己东渡之心未改，回到扬州后一直在准备渡海，已经筹集好大批所需物品。藤原清河等人喜出望外，相约为避人耳目，先将船开到黄泗浦，同鉴真等人在那里会合后出发。

    但日本遣唐使参拜鉴真之后，鉴真住过和活动过的大明寺、龙兴寺、崇福寺、延光寺等又被监视起来，防止大和尚再次东渡。日本使团内部也就能否带鉴真到日本去发生了争论。但鉴真一行，包括17名僧侣和21名工匠的僧团以及大量佛经、佛像、药材等物品，最终还是随遣唐使船队开赴日本。天宝十二年十二月二十日下午，鉴真所乘坐的第二船终于到达九州南部萨国阿多郡的秋妻屋浦（今鹿儿岛县川边郡坊津町字秋目）。自743年第一次东渡失败，经过了整整11年的岁月，已是66岁暮年的鉴真终于踏上了日本的国土。