Размышляя о происхождении правового государства, следует в самом общем виде определить сущность данного понятия. Под правовым государством следует понимать такой способ организации общества, при котором обеспечивается господство права, в полной мере реализуются права и свободы человека, соблюдается равенство всех перед законом, функционирует принцип разделения власти, а разрешение конфликтов происходит исключительно справедливым судом.

Впервые идея о правовом государстве возникла в эпоху античности. Древнегреческие мыслители Платон и Аристотель высказывали мысль о том, что государственность возможна только там, где господствуют справедливые законы. Однако в Древней Греции теория правового государства не могла быть реализована, так как господство права в то время еще не сложилось. Например, народное собрание греческого полиса могло принимать любые решения вплоть до казни гражданина по произвольным основаниям, несмотря на отсутствие указания на эти основания в существующих актах.

Впервые отдельные принципы правового государства получили реализацию в Древнем Риме. В период республики там была создана сильная и независимая судебная власть, законодательно обеспечивалось равенство граждан перед законом. В то же время правовые гарантии не распространялись на рабов и неграждан, реализация принятых судебных решений была малоэффективной, императоры не были связаны законом и стояли выше него, имея возможность самостоятельно принимать любые решения. Правовое государство (как институт) в Древнем Риме пришло в упадок в III веке н.э., однако идея верховенства права сохранялась.

В средневековой Европе идеи правового государства не развивались и проявлялись лишь в отголосках наследия Древнего Рима. Например, продолжали действовать многие правовые установления, которые правители были не вправе отменить. В странах Востока правовое государство так же не получило своего распространения.

Активное формирование идеи превосходства права в эпоху Возрождения было порождено конфликтом между начинающим формироваться гражданским обществом и абсолютистским феодальным государством с деспотической властью. Суть политико-правовых теорий, возникающих в период Нового времени, заключалась в создании системы положений, позволяющих оградить частную сферу от произвольного вмешательства в неё государства. Большую роль в разработке этих теорий сыграли труды Джона Локка и Шарля Луи Монтескьё.

У Локка идея господства права предстает в виде государства, в котором верховенствует закон, соответствующий естественному праву, признающий неотчуждаемые естественные права и свободы индивида, реализующий разделение властей. Закон, согласно Локку, будет правовым только в том случае, если он не ограничивает, а сохраняет и расширяет свободу.

Отдельные принципы правового государства, такие как разделение власти на законодательную, исполнительную, судебную, верховенство закона, получили своё закрепление в Статуте Великого княжества Литовского (1588 год). Один из авторов Статута канцлер Лев Сапега полагал, что господствовать в государстве должны не люди, а законы.

Впервые осознанно и целенаправленно принципы правового государства были воплощены в жизнь при образовании США. Наиболее полно теория правового государства была сформирована в XIX веке и отражена в работах немецких юристов Г. Еллинека и Л. Штейна. Термин Rechtsstaat (с немецкого языка - правовое государство) введён в научный оборот Кантом. В XX веке теорию правового государства разрабатывали Ганс Кельзен, Раймон Карре де Мальберг и другие.