В чём заключалась его программа? «Монархия, — писал Иосиф, — должна состоять из совершенно сходных по своим учреждениям провинций, представлять собой единое целое, к которому следует применить одинаковую систему управления… Как скоро это будет достигнуто, прекратится всякое отчуждение, всякое соперничество между различными областями и народностями… Различия по происхождению и вероисповеданию должны исчезнуть, и тогда все граждане будут считаться братьями, стараясь посильно помогать друг другу». Уже на другой день по своём воцарении Иосиф издал закон о свободе вероисповедания. Несмотря на его умеренность, впечатление, произведённое этим декретом, было чрезвычайно сильно не только в Австрии, но и во всей Европе. Затем последовал целый ряд других законов, имевших целью ослабить влияние Рима и сделать австрийскую церковь более самостоятельной. Встревоженный папа Пий VI отправился в 1781 году в Вену, чтобы лично встретиться с Иосифом, но поездка эта не имела никакого результата — император не согласился пойти ни на какие уступки и объявил о своём твёрдом намерении отнять у духовенства значительную долю тех прав, которые с незапамятных времён оно присвоило себе в Австрии. «Я намерен, — писал он в одном из писем, — освободить народ от суеверий и от влияния саддукеев… необходимо изъять из церковной области всё, что не имеет к ней никакого отношения и следствием чего было порабощение человеческого разума». С особым нерасположением он относился к монашеским орденам, которые немедленно подчинил власти епископов. Затем началось упразднение монастырей: в первые шесть лет царствования Иосифа их было закрыто не менее 740. Это, по-видимому, нужное преобразование сопровождалось совершенно неоправданной горячностью и неразберихой. Монастыри были ограблены с беспощадным насилием, их имущество растрачено, их драгоценные библиотеки уничтожены или расхищены. В венском картезианском монастыре бальзамированное тело Альфреда Мудрого было выкинуто из своего свинцового гроба ради металла и в течение нескольких месяцев выставлено на всеобщее обозрение.

Одновременно шли преобразования в других областях государственного устройства. В 1782 году был издан закон, отменявший крепостное право в славянских владениях Австрии. Это была одна из самых благих и сравнительно удачных мер Иосифа. Однако земля осталась собственностью помещиков. Гораздо меньше успеха имела административная реформа. Держава Габсбургов представляла собой империю, состоявшую из самых разнородных элементов. Если в собственно Австрии австрийский монарх был неограниченным прирождённым государем среди преданного населения, то в Тироле он был властителем, на которого свысока смотрело независимое крестьянство; в Бельгии — политическим главой средневековых республик; в Чехии и Моравии он был чужеземным властелином, управляющим равнодушным и несчастным населением; в Венгрии он был феодальным сюзереном республики дворян, ревниво отстаивавших свои привилегии; наконец, в Галиции и Ломбардии он был завоевателем, управлявшим безусловно по праву меча. Править таким государством так, чтобы все оставались довольны, было делом нелёгким и даже едва ли возможным. Иосиф поставил себе задачу слить в однородное целое все свои владения, уничтожить все местные политические права, стереть границы между различными нациями и заменить их простым административным разделением всей империи, сделать немецкий язык господствующим, дать единообразный свод законов и уравнять перед законом массу крепостных крестьян с бывшими господами. Уже в 1782 году в Австрии были упразднены правительства 12 земель и вместо них созданы шесть губерний. Выборные управы при этом везде были заменены правительственными чиновниками. Затем то же самое стало проводиться в других частях Габсбургской державы. В 1787 году весь исторический строй Бельгии был вдруг радикально изменён, и правительство разом отменило все старинные учреждения страны. Было образовано министерство юстиции, а дворянство, духовенство, города лишились права иметь особые суды. В административном отношении Бельгия была разделена на округа. Сословные выборные собрания — штаты — утратили всякое значение. Об их праве утверждать налоги не было и речи. Однако бельгийцы были не теми людьми, которые готовы уступить без борьбы свои старинные вольности. Повсюду явились зловещие признаки неповиновения. Брабантские штаты заявили резкий протест против всех распоряжений Иосифа. Все сословия были готовы взяться за оружие. Сестра императора Мария Христина, которая вместе со своим мужем управляла Бельгией, писала императору: «Любезный брат, умоляю вас на коленях, не настаивайте на принятых вами мерах, иначе эти провинции, все без исключения, предадутся такому отчаянию, что сочтут себя вправе порвать узы, связующие их с династией». В ответ Иосиф назначил генерал-губернатором Бельгии графа Муррея. Но даже этот храбрый солдат, ознакомившись на месте с положением дел, счёл нужным пойти на важные уступки. Император сместил его и назначил графа Траутмансдорфа, объявив при этом: «Бельгийцы должны образумиться и покориться, иначе употреблена будет сила, и зло вырвано с корнем, каковы бы ни были последствия». Новый губернатор в самом деле вскоре должен был применять силу, так что в Брюсселе и Антверпене дело дошло до кровопролития. В октябре 1789 года началось восстание в Брабанте, перекинувшееся затем в Брюссель, Намюр и Гент. 27 октября австрийская армия потерпела поражение, а к концу года почти вся Бельгия была освобождена от австрийских войск. В январе 1790 года на собравшемся в Брюсселе Национальном конгрессе было провозглашено образование нового государства — Соединённых штатов Бельгии.

Сходным образом пошли дела в Венгрии. При вступлении на престол император не захотел короноваться венгерской короной. В его глазах Венгрия ничем не отличалась от всякой другой провинции, и её старинная конституция служила только помехой для задуманных преобразований. Всюду была водворена система строгой централизации. Государственным языком был объявлен немецкий. Всех, кто не владел им, предписывалось увольнять с государственной службы. Иосифа умоляли, чтобы он, по крайней мере, дал отсрочку тем лицам, которые желают выучиться немецкому, но и эта просьба не была уважена. В 1784 году в Венгрии было отменено крепостное право. Всё комитатское управление было преобразовано и передано в руки чиновников. Эти нововведения вызвали повсеместное возмущение. Дворянство уже готово было свергнуть «некоронованного» Иосифа и передать престол кому-нибудь из имперских князей. Но, наученный бельгийским опытом, Иосиф в январе 1790 года уступил венграм и аннулировал реформы, провозглашённые в 1780 году.

Все внешнеполитические начинания Иосифа были также безуспешны. Война за Баварское наследство в 1778–1779 годах завершилась унизительным отступлением, а Турецкая война 1788–1791 годов представляла собой непрерывный ряд неудач и поражений. Даже личное присутствие императора на фронте не изменило положения. Он отправился на войну уже тяжелобольной. Кампания 1788 года, проведённая в жаркой и болотистой местности, окончательно доконала его, и он возвратился из похода, жестоко истощённый болезнью. «Бог знает, что приходится выносить мне, — писал он брату Леопольду в конце 1789 года, — одышка в соединении с сильнейшим кашлем не даёт мне покоя, так что не могу я ни лежать, ни ходить, и целые ночи провожу сидя без сна, погружённый в тяжкое раздумье о судьбе государства». Он чувствовал, что дни его сочтены, но более чем смерть угнетали его беды, постигшие отечество. Он знал, что его повсеместно обвиняют в возмущении и развале страны, но не желал принимать на себя ответственность. «Я знаю своё сердце, — писал он незадолго до своей кончины, — я убеждён в глубине души в чистоте моих намерений, и я надеюсь, что когда меня не станет, потомство рассмотрит и рассудит внимательнее, справедливее и беспристрастнее, чем современники, то, что я делал для моего народа».

После смерти императора большинство его нововведений было отменено. Современники довольно сурово оценили его деятельность. Но с течением времени, особенно после Французской революции и начала Наполеоновских войн, когда ясно обозначился глубокий кризис государственной системы Австрии, о нём стали судить снисходительнее. Несомненно, он многое предвидел, в начинаниях его было много верного и полезного, но у него не было ни государственной прозорливости, ни такта, ни способностей истинного реформатора, поэтому неудача, постигшая его, была закономерна и естественна.