随着黨的隊伍的不斷發展壯大，越來越需要設立專門執行監督職能的機構，加強對黨員的管理。1926年4月，廣東黨組織建立了中共廣東區執行委員會監察委員會。這是中國共産黨最早的地方性紀律檢查機關，也是我們黨建立黨的監督機制的最初嘗試。

1927年4月底至5月上旬，中國共産黨第五次全國代表大會在武漢舉行。這次大會的一個重要決定和亮點，就是成立中央和省一級監察委員會，并選舉産生了中央監察委員會。這是黨的曆史上首次設立的中央監督機構，也是中央紀委的前身。

黨的五大授權中共中央政治局于同年6月制定的《中國共産黨第三次修正章程決案》，專列“監察委員會”一章，規定“為鞏固黨的一緻及權威起見，在全國代表大會及省代表大會選舉中央及省監察委員會”。“對于違反黨的紀律的行為，須經黨的委員會，黨員大會，或監察委員會，依合法手續審查之。”

為了保證相對獨立性，黨章規定：“中央及省監察委員，不得以中央委員及省委員兼任。”“中央及省監察委員，得參加中央及省委員會議，但隻有發言權無表決權。遇必要時，得參加相當的黨部之各種會議。”

黨章規定：“中央及省委員會，不得取消中央及省監察委員會之決議；但中央及省監察委員會之決議，必須得中央及省委員會之同意，方能生效與執行。遇中央或省監察委員會與中央或省委員會意見不同時，則移交至中央或省監察委員會與中央或省委員會聯席會議，如聯席會議再不能解決時，則移交省及全國代表大會或移交于高級監察委員會解決之。”

因此，當時的監委與黨委是互有制約的。如有不同意見，交雙方的聯席會議解決，再不行，則提交黨代會決定。

當時，中國共産黨已經是共産國際的一個支部，受共産國際領導，共産國際正開展全世界共産黨的布爾什維克化運動，并制定了各國共産黨模範章程。所以監委與黨委關系的規定主要源自20世紀20年代的聯共（布）。

到1928年黨的六大時，由于聯共（布）黨内情況發生變化，中國共産黨的監察機關及其職能、任務也發生變化。黨的六大通過的黨章，取消了監察委員會的條款，改為“審查委員會”一章，并選舉産生了中央審查委員會。

審查委員會雖然仍由黨代會選舉産生，但主要職責僅是“監督各級黨部的财政、會計及各機關之工作”，而“關于犯紀律的問題，由黨員大會或各級黨部審查之。各級委員會得成立特别委員會以預先審查關于違犯黨紀的問題。此種特别委員會之決議，經該級黨部批準後，方發生效力”。

 此後，黨的紀律檢查機關又經曆了一個比較複雜的演化過程。