賀僅有一家上忍：服部。伊賀流忍術，在當時是天下一流的。后來，由于種種原因，服部家另外設立了“分店”，正是藤林、百地兩家。這是伊賀三大上忍的由來。
    服部氏祖先原本是日本古代豪族之一秦氏的后裔，而秦氏則是自中國吳國渡海過來的移民。秦氏不但傳授紡織技術給日本人，更在日本各地展開“新樂”公演，令日本人大開眼界。所謂“新樂”，是3世紀末到4世紀初，在中國非常發達的一種大眾藝能，內容包含歌舞、雜技、力技、魔術、偶人劇、口技，以及訓練犬、猴子、鳥等小動物表演節目的大眾娛樂。據說是融合西藏藝能與中國藝能的新型技藝。秦氏集團當時主要在中國南部都市與寺廟巡回演出，日后組織逐漸膨脹，分散到中國各地。其中之二、三個樂團，為了尋求新天地，渡海到日本來。日本和服的傳統稱呼是“吳服”，語源正是取自秦氏出身的吳國。
    服部氏是秦氏集團分組之一。至于何時移居伊賀？年代不大清楚。服部氏一族如何將“新樂”技能鉆研演繹成兵法忍術？也沒有詳細史料可追本究源。總之，服部一族于15世紀上旬離開老家，歸依三河大名松平清康（德川家康祖父），世代成為松平家家臣。服部一族中最有名的后裔是德川家康護衛武將之一，服部半藏正成。