Description
HR Manual Chatbot est un chatbot est conçu pour servir d’assistant RH. Il est basé sur un manuel de gestion des ressources humaines, rédigé par la CHS Alliance et Radhika Bhagat de Manifest (UK) Ltd.
Cette application est conçue pour adresser les questions des utilisateurs à travers les informations contenues dans le fichier ‘HR Manual.pdf’. Pour ce scénario, nous avons utilisé l’API de Groq mais c’est quoi Groq au juste ?
Groq est une start-up technologique spécialisée dans les processeurs pour l’IA, offrant des performances nettement supérieures aux GPU de Nvidia grâce à son Language Processing Unit (LPU). Cette unité utilise le GroqChip, qui réduit la consommation d’énergie et les coûts de production grâce à une architecture qui minimise la recharge des données. Fondée par Jonathan Ross, également créateur des TPU de Google, Groq propose GroqCloud qui supporte divers modèles de langage de grandes entreprises. Groq se présente comme un concurrent majeur pour Nvidia, en se concentrant sur l’amélioration de la vitesse et de l’efficacité énergétique.
Sur GroqCloud, nous avons la possibilité d’accéder à une variété de modèles de traitement de langage gratuitement via une API.
Technologies Utilisées
Langage de programmation : Python
Streamlit : Pour l’interface utilisateur, nous avons opté pour Streamlit, qui permet de créer des applications web interactives de manière rapide et avec peu de code.
LangChain : un framework qui permet de construire des applications d’intelligence artificielle (IA) conversationnelles en utilisant des modèles de traitement du langage naturel. Elle offre des outils pour intégrer diverses capacités comme la compréhension du texte, la génération de réponses, et l’interaction avec des bases de données ou des services externes. Cela peut être utilisé pour créer des chatbots, des assistants numériques, ou d’autres types d’interfaces utilisateur basées sur le langage. Ce framework permet de réaliser des techniques avancés facilement comme le RAG , Retrieval-Augmented Generation.
Modèles de traitement de langage :
- LLaMA3 8b – Développé par Meta
- LLaMA3 70b – Développé par Meta
- LLaMA2 70b – Développé par Meta
- Mixtral 8x7b – Développé par Mistral
- Gemma 7b – Développé par Google
comment ça marche ?
Nous avons utilisé la technique RAG , qui signifie « Retrieval-Augmented Generation, » est une technique dans le domaine de l’IA qui combine la recherche d’informations et la génération de texte. Le modèle RAG fonctionne en recherchant d’abord des passages pertinents à partir d’une base de données de documents en réponse à une requête. Ensuite, il utilise ces passages pour générer une réponse textuelle en se basant sur l’information récupérée. Cette approche est particulièrement utile pour générer des réponses informatives et précises, en s’appuyant sur des sources de données existantes pour améliorer la qualité et la pertinence des réponses produites par le modèle. Cela se fait en deux étapes :
Indexation
- Chargement : D’abord, nous devons charger nos données. Cela se fait avec des DocumentLoaders.
- Division : Les Text splitters divisent les grands Documents en morceaux plus petits. Cela est utile à la fois pour l’indexation des données et pour les envoyer dans un modèle, car les gros morceaux sont plus difficiles à rechercher et ne rentrent pas dans la fenêtre de contexte finie d’un modèle.
- Indexation ou embedding : transforme des mots, des phrases ou même des documents entiers en vecteurs de nombres. Chaque vecteur capte une partie du sens du mot ou du texte qu’il représente, permettant ainsi de réaliser des calculs et des comparaisons entre eux.
- Stockage : Nous avons besoin d’un endroit pour stocker et indexer nos divisions, afin qu’elles puissent être recherchées plus tard. Cela se fait souvent à l’aide d’un VectorStore.
Récupération et génération
- Récupération : Étant donné une entrée utilisateur, les divisions pertinentes sont récupérées du stockage à l’aide d’un Retriever.
- Génération : Un ChatModel / LLM produit une réponse en utilisant une invite qui inclut la question et les données récupérées.
Résumé utilisation de RAG avec LangChain pour HR Manual Chatbot avec Groq :
Sélection du modèle d’intelligence artificielle : À l’ouverture de l’interface, vous avez le choix entre différents modèles d’IA proposé par Groq Cloud
Poser une question : il y a un champ de texte où vous pouvez taper la question que vous souhaitez poser au chatbot. Cette question peut concerner des sujets liés au manuel des ressources humaines, comme les politiques d’entreprise, les procédures, les avantages des employés, etc.
Obtenir une réponse : Après avoir entré votre question, cliquez sur le bouton « Submit Question ». La question est alors traitée par le modèle d’IA sélectionné, qui recherche dans sa base de données les informations pertinentes pour fournir une réponse
Extraction de l’Information : Pour assurer que le chatbot réponde avec précision, nous utilisons RAG pour identifier les sections pertinentes du manuel PDF en fonction des questions posées. Le système cherche des mots-clés et contextes pertinents dans le manuel pour extraire les informations les plus utiles.Lorsqu’un utilisateur pose une question via l’interface Streamlit, le chatbot utilise d’abord RAG par Lanchain pour rechercher et récupérer les informations pertinentes du fichier PDF. Ensuite, LangChain coordonne la génération de texte, en utilisant les données extraites comme contexte pour les modèles de Groq Cloud qui produisent la réponse finale affichée à l’utilisateur.
Comparaison de Groq avec modèles locaux GGUF
Avantages de Groq par rapport à GGUF
- Pas besoin de PC performant ou de GPU :
- Groq peut s’exécuter sur des serveurs dédiés, ce qui signifie que les utilisateurs n’ont pas besoin de disposer d’un matériel coûteux ou spécifique. Cela peut rendre l’accès à des modèles puissants plus démocratique et gratuit.
- Performances potentiellement supérieures pour les tâches spécifiques :
- Pour les réponses aux questions, notamment avec des modèles comme RAG (Retrieval-Augmented Generation), Groq peut offrir de meilleures performances grâce à des infrastructures optimisées et à des capacités de calcul accrues par rapport à des systèmes locaux qui pourraient être limités par le matériel disponible.
Inconvénients de Groq par rapport à GGUF
- Limitations sur les modèles disponibles :
- Groq pourrait offrir un choix plus restreint de modèles comparé à une approche locale où l’utilisateur. Cela pourrait restreindre l’innovation ou l’adaptation aux besoins très spécifiques de certains utilisateurs ou entreprises.
Ce dont vous aurez besoin
| API Groq | https://console.groq.com/keys |
|---|
Recap
Le « HR Manual Chatbot » est dans cet exemple un assistant numérique développé pour répondre aux questions relatives à la gestion des ressources humaines, s’appuyant sur un manuel spécifique et l’API de Groq pour traiter les requêtes. Utilisant des technologies telles que Python, Streamlit, et LangChain, ce chatbot utilise la technique de « Retrieval-Augmented Generation » pour fournir des réponses précises en extrayant des informations pertinentes d’un fichier PDF. Il combine l’efficacité des processeurs spécialisés de Groq avec des modèles de traitement de langage avancés pour optimiser la génération de réponses, offrant ainsi une solution accessible et performante pour les besoins en information RH sans nécessiter de maériel spécifique.
