古汴河在隋朝时有北汴、南汴之分，北汴河因黄河多次决口，至隋朝时已无航运能力。泗洪古汴河属南汴河的一段，也是南汴河的下游，当时也称通济渠、汴水、汴渠。
隋炀帝非常重视交通运输，特别是水路运输，为了贯通南北运输，解决国内的“漕运”，决定开通大运河通济渠。605年，隋炀帝征发“河南、淮北诸郡民前后百余万”开通济渠，自今河南荥阳县北引黄河水东南流，经开封、商丘、夏邑与今安徽宿县、泗县及江苏泗洪，至盱眙县境入淮河及洪泽湖。因为投入人力多，所以，仅用了半年的时间即基本完工。
汴河通后，隋炀帝非常高兴，要乘船下扬州游幸，命人造“龙舟高四十五尺”代步，选一千八百名女子作“殿脚”（即纤夫），自己携带皇后及十六院夫人、三千美女、众多嫔妃及部分大臣随行，从者数十万之众，浩浩荡荡，气势恢弘。正值春未，天气开始变热，起程不久，拉船的众女子们便粉面流汗，娇喘微微，隋炀帝怜意顿起，召集大臣想解决之计。有人献计说，两岸遍种柳树，一来可遮荫，二来也可加固堤防。炀帝立即下诏栽树。于是，汴河两岸，广种柳树，不久就形成了一道绵绵无尽的绿色长廊。炀帝念柳树“护驾有功”，后赐柳树国姓“杨”，以后柳树也就开始叫“杨柳”。如今，泗洪境内的汴河下游，还有一片片的柳树，可觅隋唐遗风。
通济渠的开通，连通了我国重要的几大河流，如黄河、淮河、长江等，为隋朝政权的稳定和繁荣起了很大的作用，古汴河因此成了自隋唐以后几百年间的主要交通枢纽之一，“天下转漕，仰此一渠”。
汴河的贯通，同时也带来了汴河沿线两岸集镇的繁荣，这其中也包括了汴河下游的古泗洪青阳镇的兴盛。但是，因为是引的黄河水，含沙量大，泥沙滞流、淤积，加之后来连年战事，兵荒马乱，无人清淤，古汴河开始渐渐淤塞、萎缩、断流。
到了清朝初期，曾经风光无限的古汴河，几乎全线淤满，几成平地，整条河仅剩下泗洪县境内的这一段（自青阳镇东至洪泽湖，长30余里）作为历史的见证，至今仍可以正常通流、航行。
为保障古汴河运输通畅，碧水长流，解放后，泗洪人民数次对古汴河进行清淤，所以，直至七十年代未八十年代初，古汴河两岸居民还以汴河水淘米、洗衣，甚至饮用。但是，由于后来受环境污染严重，曾经碧波荡漾、鱼欢水笑的古汴河，十多年来一度成为暗黑污秽、恶臭冲天、鱼虾难觅的死水、臭河。泗洪人民痛心疾首。公元2001年冬至2002年春，泗洪县人民政府下决心实施“碧水工程” ，斥巨资对青阳镇段古汴河再次彻底清淤，并在两岸砌起数公里长的石块护坡，古汴河终于又焕发了新的活力。现在，汴河两岸成了泗洪人民休闲的场所，节假日里河两岸垂钓的人排成长溜，成了泗洪的一大景观。