行基は24歳で受戒し、ほぼ同時期に飛鳥寺に入りました。飛鳥寺は明日香村にあった寺で、594年に蘇我馬子が創建した日本最初の本格的寺院です。行基は、月の半分は山林修行を行い、半分は飛鳥寺で経典学習に励むという生活を、14年間も続けました。その後、故郷に戻って思索を深め、40歳代後半から民間布教や社会事業を行うようになります。

当時の仏教界においては、「僧侶は寺院の中にこもって、仏が国を護ってくれるように祈る」というスタイルが一般的でした。これに対して行基は、寺院から外へ出て、民衆に対する布教を積極的に行っていきました。また、貧しい人々に宿泊と食糧を提供するための布施屋を建設したり、橋や道路、新田開発などの土木工事にも携わりました。
こうした行基のやり方は異端であるとして、朝廷は弾圧に乗り出します。行基のことを「小僧」と呼んで軽蔑したこともあったようです。

行基の活動が民衆に支持されるようになると、朝廷も行基の活動を認めます。そして行基は、聖武天皇から大仏造立という国家の一大プロジェクトを任されます。聖武天皇は詔を出して、「一本の草、一握りの土でも差し出せる者は協力してほしい」と呼びかけました。

行基も全国を行脚して、勧進（寄付）をつのりました。この間、行基は78歳で僧侶の最高位である大僧正に任命されました。