Votre serveur d’inférence IA,opéré au Canada
Une grande entreprise compte des dizaines d’outils qui appellent un modèle de langage, dans autant d’équipes, et la facture grossit avec chaque équipe qui s’ajoute. À cette échelle, la réservation se compte en serveurs : la moitié d’un serveur, un serveur complet, ou plusieurs. Agent Libre les héberge et les opère au Canada, à montant fixe par mois, et met son expertise en inférence au service de vos équipes.
Parler de votre capacitéTrois conditions avant qu’une grande entreprise réserve un serveur
Le directeur des TI, le responsable de la sécurité et l’architecte de plateforme posent chacun une condition.
Une capacité qui se compte en serveurs
Des dizaines d’outils répartis entre les équipes, des agents de codage qui traitent l’ensemble du code d’un projet, un service à la clientèle qui fonctionne en continu. À ce volume, la demande d’une grande entreprise excède la part attribuable sur un serveur partagé. L’audit de 24 heures à une semaine établit la consommation réelle de chaque outil et sert de base au dimensionnement.
Une revue de sécurité qui passe
Le lieu de traitement des données, le chiffrement en transit et au repos, la traçabilité des accès et les attestations des fournisseurs d’infrastructure font l’objet d’une revue formelle avant toute mise en service. Chaque exigence appelle une réponse documentée, que votre équipe de sécurité vérifie selon ses propres critères.
Une expertise en inférence qui reste à jour
Les expertises en bases de données, en sécurité, en développement et en architecture de solutions sont déjà pourvues, à l’interne ou par des fournisseurs. L’inférence constitue une spécialité distincte, dont les méthodes évoluent d’un mois à l’autre. Une grande entreprise exige un partenaire qui la pratique à temps plein, mesure ses résultats en production et transmet ces méthodes à ses équipes.
Quatre garanties que votre équipe de sécurité peut vérifier
Ce que chaque appel au modèle traverse, du réseau au serveur, et ce qu’on documente pour votre revue de sécurité.
Hébergement canadien
L’infrastructure est située au Canada et exploitée par du personnel établi au Canada. Le trafic entre vos outils et le modèle ne franchit pas la frontière, et aucun sous-traitant étranger n’intervient dans le traitement. Le lieu de traitement est inscrit à l’entente et se démontre à un vérificateur ou à un client à partir des journaux.
Isolation et contrôle des accès
Un serveur complet est réservé à votre seule organisation ; sur un demi-serveur, votre capacité et vos journaux restent distincts de ceux des autres membres. Chaque équipe dispose de ses propres clés d’accès, révocables sans délai, et chaque appel est rattaché à l’équipe qui l’a émis. Le chiffrement en transit et au repos est en place par défaut et figure dans la documentation remise à votre équipe.
Gouvernance centralisée
Un point de passage obligé entre vos outils et le modèle applique les règles définies par votre équipe de sécurité : masquage des renseignements désignés, blocage des fuites de données sensibles, journalisation de chaque appel avec son origine. Aucune requête n’est utilisée pour entraîner un modèle. Le dispositif complet est décrit sur la page Gouvernance et conformité.
Fournisseurs certifiés
Nos fournisseurs d’infrastructure sont attestés SOC 2 Type II, avec ISO 27001 / 27017 et conformité RGPD ou HIPAA selon le fournisseur. Leurs rapports d’attestation sont remis à votre équipe de sécurité avant la signature. Les journaux d’audit s’exportent vers vos propres outils.
La réservation se compte en serveurs
Un demi-serveur
18 des 37 PTU d’un serveur, réservés pour vous, le reste pour un ou deux autres membres, chacun avec sa capacité garantie et ses propres journaux. Le point de départ courant d’une grande entreprise qui commence par une division.
Un serveur complet
Les 37 PTU d’un serveur, à vous seul. Vos règles de masquage, vos journaux, votre calendrier de mise à jour des modèles. Personne d’autre n’y fait d’appels.
Plusieurs serveurs
Pour une entreprise qui sert plusieurs divisions ou plusieurs pays, ou qui veut une réserve en cas de panne. Chaque serveur s’ajoute selon la mesure, sur le même terme, et la baisse du coût des GPU négociée sur le volume vous revient.
L’expert en inférence, le rôle que l’IA ajoute à votre organisation
Des rôles pointus, vous en comblez déjà plusieurs. Celui-là est nouveau, et il évolue rapidement.
Les rôles que vous connaissez
Expert en bases de données, expert en sécurité, développeur, architecte de solutions. Des rôles très pointus, à l’interne ou chez un fournisseur, avec des méthodes établies depuis des années et des gens qu’on trouve facilement sur le marché.
L’expert en inférence
Faire répondre un modèle vite, à bon prix et sans perte de qualité, sur un serveur donné, avec des dizaines d’outils qui l’appellent en même temps. Les méthodes changent chaque mois et peu de gens les pratiquent. Chez Agent Libre, on carbure à l’inférence : c’est notre travail de tous les jours.
Ce que le partenariat donne
Devenir partenaire d’Agent Libre, c’est plus que partager un serveur. Une grande entreprise a accès aux dernières méthodes et stratégies d’inférence, éprouvées en production sur nos serveurs. Vos experts travaillent avec les nôtres, et ce qu’on apprend sur un serveur profite à tous les partenaires.
Ce dont nos partenaires bénéficient
Un aperçu des méthodes, des outils et des résultats qu’on suit et qu’on teste sur nos serveurs. La liste complète, avec nos mesures, va aux partenaires.
OKF Agent Memory : une mémoire de projet pour les agents, rangée dans le dépôt Git
Un agent perd ce qu’il a appris quand sa conversation se ferme. Ce projet ouvert (licence MIT) range décisions et découvertes dans des fichiers Markdown versionnés avec le code, dont l’agent ne charge que la partie utile. L’auteur estime la réduction du contexte à 80 %.
LLMLingua : compresser la requête avant qu’elle atteigne le modèle
Un petit modèle retire d’une longue requête les mots qui n’apportent rien à la réponse, avant l’envoi au grand modèle. Microsoft annonce une requête jusqu’à vingt fois plus courte avec une perte de qualité minime. On mesure cette perte sur nos outils avant de recommander un réglage.
RTK : alléger ce que les agents de codage renvoient au modèle
Un agent de codage lit en entier le résultat de chaque commande. RTK filtre le bruit et tronque les répétitions avant que ce résultat entre dans la conversation. Les auteurs annoncent une réduction de 60 à 90 % sur ces sorties. On chiffre l’effet réel sur le nombre de PTU requis.
codebase-memory-mcp : une carte du code, pour que l’agent cesse de relire les fichiers
Le projet indexe un dépôt en une carte des fonctions, des classes et de leurs appels, que l’agent consulte au lieu de relire les fichiers. Les auteurs mesurent 120 fois moins de texte envoyé au modèle qu’une recherche fichier par fichier. On vérifie le gain sur nos outils avant de le retenir.
Réutiliser le début commun des requêtes
Cent requêtes qui commencent par les mêmes vingt pages de consignes n’obligent pas le serveur à relire ces pages cent fois. Le serveur garde le travail déjà fait sur ce début commun et ne traite que la suite. Ce que ça libère comme capacité dépend de la façon dont vos outils rédigent leurs consignes, et c’est ce qu’on règle avec votre équipe.
SGLang et vLLM : deux moteurs pour servir le même modèle, comparés sur les mêmes GPU
Même modèle, même matériel ; seul change le logiciel qui organise les requêtes. L’équipe de SGLang mesure jusqu’à trois fois le débit de vLLM sur un modèle de 70 milliards de paramètres, sur A100 et H100. L’étude vient d’un des deux camps et date de juillet 2024. On refait la comparaison sur notre matériel à chaque version.
Ce que chaque rôle décide avant de réserver un serveur
Quatre décisions qui relèvent de votre organisation. Le modèle ne les prend pas à votre place.
Choisir la première équipe à brancher et demander, pendant l’audit de 24 heures à une semaine, la consommation d’un jour ordinaire et d’un jour de pointe pour chaque outil. La somme dit s’il faut un demi-serveur, un serveur ou plusieurs.
Fixer les règles de masquage par catégorie de données, désigner qui garde les clés d’accès de chaque équipe et choisir où les journaux sont exportés. Demander les rapports d’attestation des fournisseurs d’infrastructure avant la signature.
Vérifier que chaque outil permet de choisir l’adresse et le nom du modèle qu’il appelle, et établir une orchestration. Nommer la personne qui travaillera avec l’expert en inférence d’Agent Libre sur les mesures du serveur.
Arrêter le terme, de 12 à 24 mois, et la règle de révision de la capacité. Inscrire dans l’entente le lieu de traitement des données, la durée de conservation des journaux et la répercussion des baisses de coût des GPU.
Ce qu’on nous demande sur ce sujet
Comment déterminer le nombre de serveurs requis ?
Par la mesure. Durant l’audit de 24 heures à une semaine, une passerelle est placée devant votre fournisseur actuel, division par division si vous le souhaitez, et relève la consommation de chaque outil sur une journée ordinaire et une journée de pointe. Le total est converti en PTU (unités de débit provisionné), puis en demi-serveur, serveur complet ou plusieurs serveurs, et le calcul vous est remis avec le rapport.
Un serveur complet est-il réservé exclusivement à notre organisation ?
Oui. La totalité de la capacité du serveur vous est attribuée, vos règles de masquage et vos journaux y sont les seuls en vigueur, et aucune autre organisation n’y accède. Sur un demi-serveur, la capacité est partagée avec un ou deux autres membres, chacun disposant d’une capacité garantie et de journaux distincts.
Quels documents sont fournis à notre équipe de sécurité avant la signature ?
Une revue complète de notre programme de sécurité, ainsi que les rapports d’attestation de nos fournisseurs d’infrastructure. Ces documents sont remis sous entente de confidentialité, avant la signature, pour examen selon vos critères.
Quelles sont les responsabilités de l’expert en inférence d’Agent Libre ?
Le réglage du serveur en fonction de vos outils, la mesure hebdomadaire du débit réel, la migration vers les nouveaux modèles lorsque la qualité mesurée le justifie, GLM 5.2 à ce jour, et la transmission à vos équipes des méthodes validées. Le débit dégagé au fil du terme vous est restitué, à matériel constant.
Quels engagements de disponibilité sont pris, et comment une panne est-elle gérée ?
Les PTU que vous réservez vous sont garantis à tout instant sur le serveur attribué. Une organisation qui exige une continuité sans interruption réserve une capacité de relève sur un second serveur, dimensionnée avec elle. Tout incident donne lieu à un avis immédiat à vos équipes, puis à un rapport écrit sur la cause et les correctifs. La provision pour panne prévue au forfait est portée au crédit du groupe lorsqu’elle n’a pas servi.
Comment la capacité évolue-t-elle si notre consommation double en cours de terme ?
La capacité est augmentée selon ce qui reste disponible sur votre serveur ou sur le suivant. À défaut, votre organisation est inscrite en priorité pour la mise en service d’un serveur additionnel, aux conditions du terme en cours. Dans l’intervalle, le trafic qui dépasse vos PTU passe en meilleur effort, sans garantie de débit, mais sans interruption de service ni frais additionnels.
À lire aussi
Gouvernance et conformité
Le rapport mensuel, l’inventaire des outils d’IA et la revue des règles que votre équipe conformité produit depuis la passerelle, sans demande aux TI.
Tarification
Le forfait mensuel, composé du coût du serveur sans marge et des frais d’Agent Libre, calculés sur le nombre de PTU que vous réservez.
Achat de GPU
Posséder au prorata un serveur de huit GPU hébergé au Canada, plutôt que de le louer, quand l’engagement dépasse deux ans.
Votre entreprise a deux chaînes d’approvisionnement
La première, vous la connaissez. Des matières entrent, elles sont transportées, entreposées, transformées, livrées. Chaque étape a un fournisseur, un délai, un coût unitaire. Quand la marge se resserre, vous descendez cette chaîne étape par étape, et vous savez généralement où regarder.
La seconde fait circuler de l’information au lieu de matières. Une demande de prix arrive et devient une soumission. Une commande arrive et devient un bon de production, une facture, une livraison confirmée. Un rapport de chantier devient un avenant, ou ne le devient pas. Cette chaîne traverse tous vos départements et elle emploie une partie importante de vos gens.
L’audit de 24 heures à une semaine
On mesure votre consommation réelle chez votre fournisseur actuel : qui appelle quoi, combien ça coûte, et ce qui sort de chez vous. Gratuit, sans engagement, et le rapport vous appartient même si vous n’allez pas plus loin.