Следуя принципу рациональности, хозяйствующие субъекты в ходе своей хозяйственной деятельности стремятся минимизировать трансакционные издержки. С этой целью они вырабатывают институты, которые трактуются в неоинституциональном анализе как «созданные человеком ограничения, которые структурируют политическое, экономическое и социальное взаимодействие» Критерием эффективности институтов является размер достигнутой благодаря им минимизации издержек.

В рамках анализа институтов выделяются два уровня: институциональные соглашения и институциональная среда. Институциональные соглашения (или организации) - это договоры между отдельными индивидами, направленные на снижение трансакционных издержек. Одним из примеров институциональных соглашений является фирма, которая трактуется как совокупность контрактных обязательств (а не как производственная функция, из чего исходит неоклассическая теория) ее участников, принятых для минимизации трансакционных издержек. Таким образом, оптимальный размер фирмы достигается тогда, когда трансакционные издержки совершения тех или иных действий внутри фирмы соответствуют трансакционных издержкам осуществления этих же действий через рыночный механизм. Иными словами, соотношение иерархических и рыночных типов координации (а также выживание тех или иных организационных форм) определяется на основании все того же критерия минимизации трансакционных издержек.

Институциональная среда (или институты в узком смысле слова) - это совокупность «правил игры», т.е. правила, нормы и санкции, образующие политические, социальные и юридические рамки взаимодействий между людьми. Иными словами, институциональная среда - это рамки, в которых заключаются институциональные соглашения. Данные рамки, в свою очередь, подразделяются на неформальные правила игры - обычаи, традиции - и формальные, воплощенные в виде конкретных законов и нормативных актов.

Сперва неоинституционалисты (Р. Коуз, О. Уильямсон и их последователи) концентрировали свое внимание на изучении институциональных соглашений, трактуя институциональную среду в качестве экзогенно заданной. Но в конце 1970-х годов в рамках неоинституционализма возникло возглавляемое Д. Нортом направление (иногда называемое «подходом Вашингтонского университета»), адепты которого стали делать основной акцент на исследовании эволюции институциональной среды во времени и влияния этой эволюции на экономический рост. Институциональные изменения могут возникать спонтанно, за счет стихийного взаимодействия действий отдельных хозяйствующих субъектов, - тогда меняются неформальные правила игры - и сознательно, под влиянием государства, изменяющего те или иные формальные правила игры. При этом формальные и неформальные правила должны соответствовать друг другу, а значит, должны соответствовать друг другу и их изменения (этот принцип получил название «конгруэнтности институтов»). Например, если государство заимствует формальные правила игры из-за границы, осуществляя «импорт институтов», но эти правила в корне не соответствуют обычаям и традициям, принятым в данном обществе (примером может служить импорт норм цивилизованного рыночного предпринимательства в мафиозное или традиционное общество), то такое заимствование не будет иметь успеха.