Po porażce pierwszego powstania z sierpnia 1919 r. na Śląsk przybyły wojska alianckie, które w miarę skutecznie ograniczyły skalę niemieckiego terroru wymierzonego w Polaków i tworzone przez nich organizacje. W październiku 1919 r. zostały wycofane ze Śląska regularne wojska niemieckie. Kolejny zryw, który wybuchł w przełomowych dla Polski dniach sierpnia 1920 r., był odpowiedzią polskich organizacji wojskowych i plebiscytowych na antypolskie działania niemieckie przed mającym tam się wkrótce odbyć plebiscytem. W efekcie walk 24 sierpnia Międzysojusznicza Komisja Plebiscytowa ogłosiła rozwiązanie niemieckiej policji i powołała Policję Górnego Śląska o polsko-niemieckim składzie. Powstańcy uzyskali również zapewnienie ukarania przywódców antypolskich ekscesów i usunięcie z obszaru objętego plebiscytem osób, które przybyły tu po 1 sierpnia 1919 r. Tym samym Polacy zyskali możliwość prowadzenia agitacji i działalności patriotycznej umacniającej dążenia miejscowych społeczności do powrotu w granicę Polski. Wojciech Korfanty oraz pozostali działacze narodowi i dowódcy Polskiej Organizacji Wojskowej wiedzieli, że plebiscyt nie musi oznaczać ostatecznego rozstrzygnięcia przyszłości Górnego Śląska.

W lutym 1920 r. powołano Polski Komisariat Plebiscytowy. Na jego czele, decyzją Naczelnika Państwa Józefa Piłsudskiego stanął Wojciech Korfanty. Siedzibą Komisariatu stał się bytomski hotel „Lomnitz”. Jednocześnie we wszystkich miastach obszaru plebiscytowego powołano komitety wspierające jego wysiłki. W całej Polsce organizowano zbiórki środków na kampanie plebiscytową.

Górnicy jednej z kopalń w Zagłębiu Dąbrowskim przeznaczyli na pomoc swoim sąsiadom dniówkę wypracowaną przez załogę. Wielką rolę odgrywała też zakonspirowana Polska Organizacja Wojskowa, występująca jako Centrala Wychowania Fizycznego, a następnie Dowództwo Ochrony Plebiscytu. W maju 1920 r. do poparcia dla polskich postulatów przyłączyli się uczniowie szkół. Wybuch II Powstania Śląskiego nastąpił w momencie ponownego zaostrzenia prowadzonego przez bojówki terroru niemieckiego. Po jego zakończeniu napięcie na Górnym Śląsku nieco opadło. Komisarze plebiscytowi wydali wspólną odezwę wzywającą do spokojnego przygotowania do głosowania.

Głosowanie odbyło się 20 marca 1921 r. Dopuszczono do niego osoby, które wcześniej wyemigrowały ze Śląska. W tym celu z Niemiec przyjechało 182 tys. emigrantów, z Polski – 10 tys. Ostatecznie w plebiscycie wzięło udział ok. 97 proc. uprawnionych osób, z czego blisko 19 proc. stanowili wcześniejsi emigranci. Za przynależnością do Polski głosowała mniejszość – 40,3 proc. głosujących.

Komisja Plebiscytowa zdecydowała o przyznaniu prawie całego obszaru Niemcom – Polska miała otrzymać tylko powiaty pszczyński i rybnicki. Na tę wieść wcześniejsze pojedyncze strajki niezadowolonych z trudnych warunków materialnych i bezrobocia mieszkańców regionu przekształciły się 2 maja w strajk generalny, który objął 97 proc. zakładów pracy.

Nadzieją dla polskiej opinii publicznej był zapis Traktatu Wersalskiego, który stwierdzał, że wyniki plebiscytu nie są wiążące, lecz muszą zostać zatwierdzone przez mocarstwa sprzymierzone. Ich opinie były podzielone. Wielka Brytania i Włochy uważały, że niemal cały Górny Śląsk musi zostać przyznany Niemcom, ponieważ jego struktura gospodarcza nie pozwala na podział. Podobny pogląd nieoficjalnie wyrażały Stany Zjednoczone. Konsekwentnie po stronie polskich interesów stała Francja, która dążyła do maksymalnego osłabienia Niemiec przez przyznanie Polsce wszystkich gmin, których ludność w większości opowiedziała się za przynależnością do Polski. Szanse na pozytywne dla Polski rozstrzygnięcie wydawały się więc stosunkowo niewielkie.

Już w marcu 1921 r. po polskiej stronie podjęto kroki zmierzające do wzmocnienia garnizonów wzdłuż granicy z Górnym Śląskiem oraz przerzutu broni na Górny Śląsk. Granicę potajemnie przekroczyła również kompania telegraficzna mająca organizować łączność w przypadku wybuchu kolejnego zrywu. W odpowiedzi Niemcy rozbudowywali Selbstschutz. Działania przeciw niemu podjęły wojska francuskie, które rozbroiły część zakonspirowanych oddziałów. Dla obu stron wielką rolę odgrywał wywiad. To pozyskane przez niego informacje przyspieszyły decyzję o rozpoczęciu walk. W nocy z 29 na 30 kwietnia polskie dowództwo dowiedziało się, że pozycja Polski w Międzysojuszniczej Komisji Plebiscytowej jest coraz słabsza.

W ostatnich dniach kwietnia na Górnym Śląsku rozlewała się kolejna fala strajków i rosło napięcie społeczne. Biorąc pod uwagę możliwość spontanicznego wybuchu starć oraz niepokojące informacje z Międzysojuszniczej Komisji Plebiscytowej, Wojciech Korfanty zdecydował się zwołać w Bytomiu naradę polskich przywódców politycznych i wojskowych. W jej trakcie zapadła decyzja o rozpoczęciu powstania. Zdaniem części historyków decyzję o zrywie poparł także wspierający Polaków przewodniczący Międzysojuszniczej Komisji Rządzącej i Plebiscytowej na Górnym Śląsku gen. Henri Le Rond. Rozpoczęcie powstania poprzedziło opublikowanie w prasie informacji o niemieckich planach zniszczenia zakładów przemysłowych, które miałyby przypaść Polsce.

2 maja rozpoczął się strajk generalny polskich górników i robotników. Tego samego dnia dowódca POW ppłk Maciej Mielżyński, ps. Nowina-Doliwa przekazał do Warszawy decyzję o rozpoczęciu powstania. Pierwsza reakcja stolicy była negatywna. Szybko jednak ustalono, że na forum międzynarodowym rząd RP będzie przedstawiał działania powstańcze jako demonstrację zbrojną w obronie polskich interesów. Cele walki określone przez Mielżyńskiego były jednak nieco inne: „zniszczyć, gdzie się da, organizacje wojskowe niemieckie, opanować możliwie większy teren Górnego Śląska […], dowieść całemu światu, że Śląsk, który przez setki lat był gnębiony przez pruskie jarzmo, jest polski i chce do Rzeczypospolitej należeć”.

W nocy z 2 na 3 maja rozpoczęło się powstanie. Na jego czele stanął Korfanty, który ogłosił się też jego dyktatorem. „Zwycięstwo osiągniemy za wszelką cenę i nie ma takiego mocarza na świecie, który by mógł nas okuć ponownie w kajdany germańskie" – pisał 3 maja w odezwie do rodaków. W nieco innym tonie była utrzymana pierwsza depesza Mielżyńskiego do szefa sztabu WP w Warszawie gen. Władysława Sikorskiego: „Ruch zbrojny tak przez komisarza Korfantego, jak i przeze mnie uważany jest jako desperacka konieczność. O udaniu się mogę powiedzieć tyle: ludzie są w wielkim napięciu umysłowym, gotowi na wszystko, przeważają moralnie Niemców, chociaż są słabszymi materialnie”. Dodawał, że dalsze odwlekanie walki jego zdaniem było niemożliwe, ponieważ „zdemobilizowałoby zupełnie moją organizację, której zapał i odwaga jest pierwszym warunkiem zwycięstwa”.

Do starć stanęło 40 tys. członków POW uzbrojonych w zaledwie 38 tys. karabinów, 540 karabinów maszynowych i 70 tys. granatów. Amunicji mogło wystarczyć na dwa lub trzy dni walk. Siły niemieckich bojówek liczyły ok. 30 tys. osób. Na granicy obszaru plebiscytowego oczekiwało blisko 16 tys. żołnierzy i policjantów.

Powstanie rozpoczęło się od przejęcia sieci telefonicznej i telegraficznej. Oddziały saperskie wysadziły większość mostów na granicy Górnego Śląska i Niemiec. Wielu żołnierzy biorących udział w tej akcji nie zdołało dotrzeć do pozostałych sił powstańczych i zginęli w walkach lub zamordowani przez Niemców. Ich wysiłek okazał się jednak bezcenny dla losów zrywu, ponieważ pozwolił na kontynuację szeroko zakrojonej ofensywy aż do 10 maja i osiągnięcia tzw. linii Korfantego, czyli postulowanej przez przywódcę powstania przyszłej granicy państwa. Czasowo udało się zająć także wielkie miasta regionu, ale później powstańcy zostali z nich wyparci. Opanowano też ważny strategicznie region Góry św. Anny.