Năm 1928, khi mới 16 tuổi, ông đã tích cực tham gia vào các phong trào thanh niên học sinh trong tổ chức “Nam Kỳ học sinh liên hiệp hội” và “Thanh niên Cộng sản đoàn”. Với những hoạt động cách mạng sôi nổi, năm 1930, Phạm Hùng vinh dự đứng vào hàng ngũ của Đảng, được bầu làm Bí thư Chi bộ nhà trường (một trong những Chi bộ đầu tiên của tỉnh Mỹ Tho) và trực tiếp lãnh đạo phong trào cách mạng nơi đây. Vì lý do này, ông bị đuổi học và bị xóa tên trong danh sách học sinh của trường. Năm 1931, Phạm Hùng được phân công làm Bí thư Tỉnh ủy Mỹ Tho, trực tiếp lãnh đạo phong trào cách mạng của tỉnh. Đến tháng 6/1931, ông rơi vào tay thực dân Pháp.
Trong những năm tháng bị giam cầm nơi nhà tù đế quốc, Phạm Hùng đã thể hiện khí phách anh hùng của một người Cộng sản kiên cường, bất khuất. Ba lần đứng trước tòa án đại hình, hai lần đối mặt với bản án tử hình nhưng Phạm Hùng đã không hề nao núng, vẫn luôn giữ vững tinh thần lạc quan cách mạng, tư thế hiên ngang chống lại những lời buộc tội vô căn cứ của kẻ thù.
Cuối năm 1948, Trung ương quyết định cử một đoàn cán bộ Nam Bộ ra Việt Bắc. Đoàn gồm một số sĩ quan từ cấp đại đội trưởng trở lên ra để học thêm quân sự, một số đại biểu thanh niên ra học và Đại hội Liên hiệp thanh niên, Đại hội Đoàn Thanh niên cứu quốc và một số đại biểu của Đảng bộ Nam Bộ ra dự Đại hội đại biểu lần thứ II của Đảng. Xứ ủy Nam Bộ chỉ định đồng chí Phạm Hùng (lúc này là Phó Giám đốc Sở Công an Nam Bộ) làm trưởng đoàn công tác. Đầu năm 1949, Đoàn xuất phát từ Đồng Tháp Mười ra Việt Bắc.
Cuối năm 1949, Đoàn đại biểu Nam Bộ do đồng chí Phạm Hùng làm Trưởng đoàn từ Nam Bộ ra đến Tuyên Quang. Chủ tịch Hồ Chí Minh đón đoàn tại Văn phòng Chủ tịch phủ - Thủ tướng phủ (thôn Lập Binh, xã Minh Thanh, tỉnh Tuyên Quang). Chiều ngày 07/10/1949, Chủ tịch Hồ Chí Minh cùng Hội đồng Chính phủ, Ban Thường trực Quốc hội tổ chức tiếp và làm việc với Đoàn tại Khấu Lấu, xã Tân Trào, tỉnh Tuyên Quang. Tại đây, đồng chí Phạm Hùng đã báo cáo với Bác và Trung ương về hoạt động hành chính, quân sự, chính trị, công nhân, phụ nữ… ở Nam Bộ. Cụ Phạm Bá Trực thay mặt Quốc hội và Hồ Chủ tịch thay mặt Chính phủ chào mừng Đoàn và khen ngợi tinh thần dũng cảm của đồng bào, chiến sĩ Nam Bộ. Sau bữa cơm tối, một cuộc lửa trại được tổ chức để chào mừng đồng chí Phạm Hùng và đoàn với chương trình văn nghệ sôi nổi, ấm cúng.
Năm 1950, với cương vị Phó Giám đốc Sở Công an Nam Bộ, đồng chí Phạm Hùng tham dự Hội nghị Công an toàn quốc lần thứ V. Hội nghị diễn ra từ ngày 08 đến ngày 15/01/1950 tại thôn Đồng Đon, xã Minh Thanh, tỉnh Tuyên Quang. Đây là hội nghị tổng kết đầu tiên có sự tham gia của đại biểu Sở Công an Nam Bộ. Tại hội nghị, đồng chí Phạm Hùng đã tham gia Đoàn Chủ tịch hội nghị và trình bày Dự thảo Đề án Công an nhân dân Việt Nam, là một trong năm đề án được thảo luận tại Hội nghị.
Trong Đề án Công an nhân dân Việt Nam, đồng chí Phạm Hùng đã trình bày những nội dung cơ bản về Công an và xây dựng lực lượng Công an nhân dân. Giải thích khái niệm Công an, đồng chí nói: “Công là công cộng, là chung cho tất cả. An là an ninh, yên ổn. Công an là sự yên ổn chung. Vấn đề công an theo nghĩa rộng của nó là vấn đề tổ chức và bảo vệ dân chúng được yên ổn. Đồng chí còn phân tích rõ tính giai cấp, sự khác biệt về bản chất giữa công an Việt Nam và công an quốc tế...
Nhiệm vụ của công an là phải kiện toàn bộ máy công an nhân dân, nghiên cứu và phổ biến lý luận công an nhân dân. Bản Đề án Công an nhân dân Việt Nam đã được Hội nghị công an toàn quốc lần thứ V thảo luận và thông qua. Đây chính là cơ sở nền móng cho việc xây dựng và phát triển lực lượng Công an nhân dân Việt Nam cả về lý luận và thực tiễn sau này. Tháng 6/1950, đồng chí Phạm Hùng trở lại miền Nam và được Xứ ủy cử ngay về phụ trách Đặc khu Sài Gòn - Chợ Lớn. Trong suốt quá trình hoạt động cách mạng đồng chí đã có những đóng góp công lao to lớn cho phong trào cách mạng Việt Nam , đồng chí đã được tặng thưởng huân chương sao vàng và nhiều huân huy chương khác.


