namedWindow,setWindowPropertyを使うことで、WinNameをフルスクリーンにできます。あくまで一つのウィンドウという扱いなので、他のウィンドウとの共存も可能です。

cv2.namedWindow('WinName', cv2.WINDOW_NORMAL)
cv2.setWindowProperty('WinName', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)