Alors, j'ai bien lu des choses sur le sujet.
Déjà soyons clair, ce ne sont pas les grands parents qui ont un droit, mais bien l'enfant qui a un droit de voir ses ascendants.
En ce sens, le juge ne statut que si c'est dans l'intérêt de l'enfant (son opinion, lorsqu'elle est intelligible prime sur les adultes).
Et de ce que j'ai lu, un juge des affaires familiales peut autoriser une visite pour toute personne ascendante ou tiers, si c'est dans l'intérêt de l'enfant (ça a été accordé par exemple, dans le cas de famille d'accueil ayant eu l'enfant un certain temps et s'y étant attaché même si la situation était temporaire).
Donc, si dans votre cas, les enfants vous réclament, il y a selon moi, intérêt.
Après, il y a juge et juge. Il faut voir si vous avez intérêt à lancer une procédure qui peut être épineuse, longue (sans compter couteuse à moins que vous ne soyez dans la catégorie pouvant bénéficier de l'aide juridictionnelle).
L'idéal, ça serait que vous exposiez votre cas dans une maison de justice (il y en a dans toutes les villes, et a priori, ce sont des professionnelles bénévoles qui vous renseignent gratuitement).
La jurisprudence concernant les enfants est assez développée et complexe, car le droit de la famille n'a cessé d'être réformée. Je pensais donc de prime abord que les tiers n'étaient pas concerné, mais je suis tombée sur suffisamment d'article ou de témoignage qui indiquent que des tiers ont agis pour pouvoir voir les enfants (le plus souvent, il est vrai, dans le cadre des divorces, mais le droit de visite des grands parents s'expriment en fait en toute situation, donc, pourquoi pas pour les tiers).