C'est exagéré, excessif, insupportable.
Cette expression est une variante de « c'est (trop, un peu) fort ! » qui date du 17e siècle et qui signifie la même chose.
L'extension « de café » vient évidemment d'une plaisanterie autour du café, parfois trop fort.
En 1808, D'Hautel, dans son « Dictionnaire du bas langage ou des manières de parler usitées parmi le peuple » écrivait : « C'est un peu fort de café ».
Calembour, jeu de mot populaire qui se dit pour exprimer que quelque chose passe les bornes de la bienséance, sort des règles sociales.