Imaginée par Vauban, l’idée d’une canalisation reliant plusieurs villes est reprise en 1813 par M. Roussel-Grimonprez, maire de Roubaix. En 1821, afin de favoriser le commerce, le préfet du Nord demande à des ingénieurs d’évaluer la faisabilité de la construction de voies navigables. Il détermine alors ce qui deviendra le 1er tracé du canal. Ce dernier reliera, par la Marque, la Deûle à Croix. Il sera ensuite prolongé jusqu’à Roubaix en passant sous la montagne de Croix. Une loi datant du 8 juin 1825 autorise l’entreprise du canal. Un second projet approuvé par ordonnance royale le 30 novembre 1825 réaffirme la volonté de canaliser la Marque ainsi que celle d’ouvrir un embranchement depuis la Marque, à Croix, jusqu’au pont du Galon d’eau, à Roubaix. Ce projet est accepté par le ministre en 1826. Les travaux débutent réellement en 1827 et la partie reliant Marquette-Lez-Lille à Croix sera achevée en 1832. Devant les nombreuses difficultés rencontrées lors des travaux du souterrain sous la montagne de Croix, la deuxième partie du projet est abandonnée et ne sera jamais livrée.
En 1832, seule la Marque est canalisée mais l’aventure du canal ne s’arrête pas là. A l’occasion d’une entrevue entre le roi Louis-Philippe et le roi des Belges, les prud’hommes et la chambre consultative de Roubaix demandent aux deux souverains l’autorisation d’achever le canal. Ils font alors valoir tous les avantages que constitue la construction d’une liaison entre Roubaix et l’Escaut. L’impulsion est donnée mais nombreux sont ceux qui, inquiets de l’éventuel délaissement des autres voies navigables telle que la Scarpe, s’opposent encore à la construction de ce tronçon. Des négociations sont entamées autour de la partie Belge jusqu’en octobre 1839, date à laquelle le roi Léopold 1er ratifie le traité de prolongation du canal. Les travaux de la partie Belge ne commencent que fin 1840. Ceux reliant Roubaix à l’Escaut sont achevés en septembre 1843 et la mise en navigation est lancée le 10 décembre de la même année. Il reste encore à relier la portion de Roubaix à la Marque.
En 1843, la Marque n’est toujours pas reliée à Roubaix et les difficultés déjà rencontrées au moment du 1er tracé concernant le passage de la montagne de Croix par un souterrain font hésiter les responsables des travaux. De nombreux industriels de Roubaix et Tourcoing poussent à la construction d’un canal à ciel ouvert dirigé de manière à servir les intérêts des deux villes. Ce nouveau tracé paraît au Préfet et aux ingénieurs préférable au passage par Croix. Après plusieurs enquêtes, le décret impérial du 21 juillet 1861 met fin aux hésitations et décide que le canal doit passer entre Roubaix et Tourcoing. La première opération de percement a lieu en 1866 et après plus de dix années de travaux, l’ouverture générale du canal de Roubaix est annoncée le 1er janvier 1877. Dans les années 1880, la partie entre les ponts de Croix et de Hem restée en chantier est comblée suite à l’obtention de l’autorisation du ministre des Travaux publics le 11 avril 1874, le souterrain devient le parc Barbieux et son prolongement est transformé en boulevards (boulevard du Général De Gaulle, le boulevard du Général Leclercq et le boulevard Gambetta). Une 4ème partie, l’embranchement vers Tourcoing, viendra s’ajouter en 1892 au tracé de 1877.