56 sections de transcription ont été envoyées à JEV. 30 requêtes ont reçu une réponse et 26 ont renvoyé des erreurs de surcharge. Aucune section ne répondait au critère permettant de l'écarter sans risque ; les 56 restaient donc à relire. Avant ce test, je cherche avec ChatGPT, Claude et Qwen à comprendre ce que fait un classifieur et où se situe JEV par rapport à un modèle conversationnel.

Ce que fait JEV

JEV de TypeSafe AI est un classifieur, pas un modèle conversationnel. Vous lui donnez un schéma de réponses autorisées et il vous en renvoie une, avec un score de probabilité. Un paragraphe de texte libre n'est pas une option qu'il peut choisir.

JEV n'effectue aucune recherche et ne nettoie pas les données. Filtrer une base de données brute est plus rapide et gratuit avec du code classique. Les données doivent d'abord être préparées, par moi ou par un modèle moins cher, avant que JEV les voie.

  • À quelle catégorie appartient un texte
  • Le degré de gravité de quelque chose
  • Une réponse par oui ou non, assortie d'une probabilité

L'exemple des magasins d'alcool

Disons que je veux vendre de la tequila. Je télécharge une base de données publique sur les magasins d'alcool du Nebraska et je donne à JEV les critères exacts auxquels doivent répondre les magasins que je recherche. JEV classe les cas évidents, puis un modèle plus puissant effectue des recherches sur les autres.

Le gain apparaît à grande échelle. Sur cent lignes, JEV n'apporte pas grand-chose. Un simple filtre répond déjà à la question quand la réponse est dans une colonne.

  • Nettoyer à la main les données mal organisées
  • Faire d'abord traiter les données par un modèle moins cher, puis transmettre le résultat à JEV
  • Payer plus et laisser un modèle plus puissant faire tout le travail

Le test sur mon propre montage

J'ai soumis ma propre transcription à JEV pour repérer les sections qui méritaient d'être coupées. Pour évaluer les sections, il faut d'abord définir le test. Pour demander si une section a une accroche forte, je dois dire ce qu'est une accroche forte.

56 sections ont été envoyées. 30 requêtes ont reçu une réponse et 26 ont renvoyé des erreurs de surcharge. Aucune section ne répondait au critère permettant de l'écarter sans risque. Les 56 sections devaient donc encore être relues. La charge de relecture n'a pas bougé.

JEV était gratuit sur le Vercel Gateway jusqu'au 25 septembre, et TypeSafe m'a donné un solde de crédit de 5 $. Ces deux informations correspondent à la situation au moment de l'enregistrement, le 20 septembre 2026. Les 30 requêtes qui ont abouti ont généré 0 $ de frais sur Vercel Gateway. Les requêtes qui ont échoué n'ont renvoyé aucune métadonnée de facturation ; on ne peut donc pas établir qu'elles ont permis d'économiser de l'argent.

Claude et Qwen

Claude a donné de fausses informations en les présentant comme des faits. Mon moyen de paiement se trouve dans mes paramètres de facturation Vercel. Claude ne l'a pas vu jusqu'à ce que j'ouvre la page et que je le lui montre. Ensuite, Claude a affirmé que j'avais créé un compte TypeSafe pour ChatGPT dans le cadre de la même promotion. Je n'en ai jamais créé.

Qwen a dit que JEV n'a pas d'article de recherche et pas de poids publiés. Qwen a aussi dit que la méthode d'entraînement permettant d'obtenir des probabilités calibrées n'est décrite que dans un billet de blog. Une reproduction construite à partir d'un modèle de base Qwen est apparue quelques heures après le lancement.

Dans ma réaction à la réponse de Qwen, j'appelle cette reproduction le « JEV chinois ». Je n'ai vérifié ni la nationalité de l'auteur ni si cette reproduction possède les mêmes capacités que JEV. La page que j'ai ouverte est celle de Harsha Gundala, et la réponse de Qwen fait partie de l'enregistrement ; elle ne constitue pas une vérification indépendante.

Outils et liens

  • TypeSafe AItypesafe.aiL'entreprise derrière JEV, où se trouvent mon compte et mon crédit de 5 $.
  • JEV documentationdocs.typesafe.aiLa référence officielle de JEV.
  • TypeSafe launch post by Diogo Almeidatypesafe.aiLe billet de lancement de JEV et les qualifications de ceux qui en sont à l'origine.
  • Vercelvercel.comC'est via sa passerelle que j'ai utilisé JEV pendant la promotion gratuite de lancement.
  • ChatGPTchatgpt.comJe lui ai demandé d'expliquer JEV simplement, avec des exemples précis.
  • Claudeclaude.aiJ'ai travaillé avec lui sur le problème des données relatives aux prestataires de soins de santé.
  • QwenJe lui ai demandé ce que TypeSafe affirme au sujet de JEV.
  • Qwen-based JEV reproduction on Hugging Facehuggingface.coLa reproduction en accès libre de Harsha Gundala, la page que j'ai ouverte après la réponse de Qwen.