Predkovia Shiby sa pravdepodobne dostali do Japonska z juhovýchodnej Ázie dávno pred naším letopočtom. Už z doby kamennej sú známe nálezy kostier psov, podobných dnešným shibám. Aj primitívne kresby a ďalšie artefakty z doby bronzovej ukazujú malé psy s postavenými ušami a na chrbte stočeným chvostom.
Shiba je pravdepodobnej najstaršie zo šiestich príbuzných japonských plemien, nazývajúcich sa „Nippon-inu“, z ktorých je akita najväčšia a shiba najmenšia. Dnešná shiba je výsledok cieľavedomého chovateľského výberu z troch typov malých japonských psov – San´in, Shinsu, a Mino. San´in, škvrnitý čiernobiely pes, bol väčší ako dnešná shiba, Shinsu boli väčšinou červený a mali mäkkú vlnitú podsadu a hrubé ježaté pesíky. Mino bol súčasnej shibe najpodobnejší. Bol sýto červenej farby. Všetci mali postavené, malé uši, chvost stočený na chrbte a hlboko posadené trojuholníkové oči. Rovnako ako ďalší Nippon-inu bola shiba chovaná pre lov.
Meno shiba v preklade znamená “ malý pes z lesa plného kríkov“ a ukazuje na výbornú použiteľnosť tohto plemena na lov drobnej pernatej zveri v hustom poraste. Shiba bola často používaná aj k lovu veľkej zveri ako diviakov, jeleňov a medveďov.