Show HN: Cedille, the largest French language model, released in open source
Demo: https://cedille.ai
Language models are general purpose AI systems that are able to solve a range of tasks by simply being prompted for it. It can be used for example to summarize text, do translations, or for idea generation & overcoming writer's block.
You may know GPT-3, the humongous model from OpenAI. Cedille is a similar model targeting the French demographic - but smaller, as we don’t yet have $1b in the bank like they do. Although GPT-3 supports multiple languages including French, our model is competitive with GPT-3 on a range of French tasks! Plus, of course we’re open source while they keep their model closed and heavily restrict access to it.
You can try it out right away from our playground: https://app.cedille.ai
We are proponents of “open AI” and as such have released a checkpoint for the world to use (MIT license): https://github.com/coteries/cedille-ai
One of the problems with large language models is the potentially toxic, sexist or in other ways unpleasant output. We tried our best to avoid this issue by doing extensive dataset filtering. As a result, our benchmark indicates that Cedille is indeed less toxic than GPT-3.
60 comments
[ 0.35 ms ] story [ 127 ms ] thread- Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/
- Cedille was also generously supported by the Google TRC program: https://sites.research.google/trc/about/
> [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe.
Okay, I'm sold.
> [generated] elle m'a emporté, elle m'a ramené, elle m'a fait voyager. Mon rêve était de voyager. Mais trop pressée, je n'ai pas pu, j'ai pris l'avion. J'ai atterri à Marseille, j'ai pris le bus
Almost like you could sing along !
And even in the generated sentence, some verbs imply a male narrator (emporté and ramené)
And the generated lyrics could fit the tempo of the song but mostly make it very funny! I'd laugh to hear Renaud sing "I was yoo much in a hurry; I took the plane; I landed in Marseille; I took the bus"
For the non-French speakers, repartira and allerons are wrong conjugations (should be repartirai and irons) and allerons (de requin) is a play on words because allerons is close to ailerons (fins; and requin is shark).
Madame, monsieur, je voudrais officielement vous présenter mes plus sincères excuses suite au fil de commentaires publié sur le forum de votre générateur de texte automatisé.
> Ces messages sont inadmissibles et je tiens à vous assurer que cela ne reflète en rien l'attitude de l'ensemble du personnel de notre site. En effet, nous sommes tous des passionnés de cette plateforme et nous mettons tout en oeuvre pour la faire évoluer au mieux.
Je reste à votre disposition afin de
>>vous apporter une réponse à chacun de ces commentaires.
Votre équipe de Modération-Rédaction.
>>>Tantôt ils nous disent que le site n'est pas fonctionnel, tantôt, par un pur hasard, le site refonctionne comme par magie.
Mais quel crédit leur donner? Aucun...
>>>>Je viens de leur envoyer un mail pour leur dire que j'ai fait un test avec des mots-clés et franchement, je trouve que c'est du grand n'importe quoi.
J'ai mis en recherche "caviar d'aubergine" et la page de résultat me donne 3 commentaires.
Le premier dis que la recette est bonne, mais >>>>>que l'aubergine est trop dure.
Le second est un copier/coller du premier.
Le troisième, est le texte en gras du premier commentaire que j'avais déjà posté ici sur ce forum, et il n'y a même pas de liens ou autres liens vers mon blog, juste un lien à une autre recette de caviar d'aubergines
>>>>>>Enfin, le mail est resté sans réponse.
C'est pas sérieux tout ça...
Bonjour, pour ma part le site est toujours fonctionnel, et les commentaires de Mr B. sont toujours présents.
Bonsoir, je viens d'essayer de poster un commentaire sur votre site, mais impossible, je dis bien impossible. Ç >>>>>>>a a planté et je suis parti en courant!!!!!!!!! je n'arrive pas à vous joindre au téléphone. À quoi ça sert d'enlever les commentaires d'internautes s'il n'y a plus personne pour répondre. Je ne sais même plus quoi écrire car à chaque fois la case commentaires est grisée,
>>>>>>>>ça ne veut pas s'ouvrir, même en essayant de changer le mot de passe ou de réinitialiser l'ordi.... Je suis déçue....
Bonjour, je trouve que le site de recettes est très bien fait et facile à utiliser. Cependant, je trouve dommage que les commentaires soient supprimés de temps en temps. >>>>>>>>> < You Must register to click further >
Q: Comme tous les humains sont des êtres vivants égaux en tout points, nous vous présenterons la méthode la plus efficace permettant d'assurer la progéniture des végétariens.
R1 : Ainsi, le régime alimentaire du végéta*ien est très équilibré.
L'homme qui ne mange pas de viande et ne boit pas de R2 : lait est un être parfaitement équilibré et en pleine forme.
En effet, comme il se nourrit de fruits, de légumes, de céréales, de pain et d'oléagineux, il évite les carences nutritives qui sont à l'origine de nombreuses maladies.
Ses défenses immunitaires sont donc excellentes et R3 : il n'est plus sujet aux infections. Il est même, bien souvent, surdoué et possède des capacités intellectuelles remarquables.
On peut donc dire que les végétariens sont des hommes parfaits qui préservent leur corps et leur esprit.
Cependant, voici la méthode la plus simple pour assurer une descend R4 : ance de qualité aux végétariens :
Il suffit de ne pas tomber enceinte pendant au moins deux mois, et de ne pas se retrouver enceinte au moins deux mois d'affilée.
Ainsi, le risque de grossesse est nul et aucune crainte pour les futurs parents végétariens.
Pour les femmes qui R5 : souhaiteraient une progéniture végétarienne, la méthode est la même, à la différence qu'elles doivent aller faire l'amour deux fois par jour.
Ainsi, les chances de réussites sont bien plus importantes que pour celles qui veulent à tout prix avoir un bebe qui ne mangera que le lait de sa mere R6 : et des tomates à la moitié de ses repas.
De plus, la progeniture sera nourrie exclusivement de fruits, de légumes, de céréales et de graines germées.
Les futures mamans végétariennes devront veiller à ne pas consommer d'alcool, car cela augmente le risque de complications lors de l'accouchement.
Les R7 : futurs papas végétariens devront également s'abstenir de consommer de la viande ou du poisson.
Cela permette au futur bébé d'avoir une croissance optimale.
Sujet: Re: Comment avoir un bébé végétarien? Dim 2 Aoû 2009 - 9:56
Je suis enceinte (mais je ne R8 : suis pas végétarienne).
Faut-il que j'interrompe le lait maternel?
----------------------------------------------------
Looks like a forum thread. I wonder who would give that kind of an answer but its got a disturbingly real feel to it...
> [generated] Ma mission consiste à développer des applications pour tablettes, smartphones et PC. J'ai aussi un job de musicien au sein du groupe de jazz Fusion The Black Trombonist.
Wow, I never knew I am into jazz and live the double life.
> [typed] La journer et vraiment tro belle et je voudre qu'on aille fere un tour de kart.
> [generated] Posté le: Sam 26 Jan - 19:12 (2009) Sujet du message: Publicité
Posté le: Jeu 31 Jan - 21:51 (2009) Sujet du message: Un jours ils sont venu me demander de les rejoindre
So it is trying to simulate some weird chat app I guess?
my white cheese 0% Place the diced ham and chopped onion in a bowl. Add the sour cream, fromage blanc and parsley
I'm pretty impressed, it doesn't sound bad at all.
Re-feeding, with some parsing:
mon fromage blanc: Put the diced ham and chopped onion in a bowl. Add the [sour] cream, cottage cheese and chopped parsley. Salt and pepper. Mix well. Divide the preparation among 4 verrines, alternating with pieces of cherry tomatoes and grated Emmenthal. Decorate with sunflower seeds and dried tomato petals.
I kinda want an English version, is there one available?
Looks like it can handle some basic numbers (I asked for 5 christmas gifts):
> Cher père noël, cette année, je voudrais les 5 cadeaux suivants:
> - une planche de surf
> - des lunettes de soleil
> [generated]
> - un chapeau de cow-boy
> - un skate board
> - un télescope
> Et le dernier cadeau, tout simplement, c'est que tu m'épargnes.
Though I am not sure if the last gift ("sparing me" counts?). It's a bit limited and it seems to lose count pretty quickly.
Some training source were quite obvious from some other generated text (tagging is impressive, and could be an immediate application):
> Posté par julien_m à 12:39 - Commentaires [0] - Permalien [#]
> Tags : cadeaux, noel
> En route pour les vacances de Noël avec la famille de mon père.
> Les enfants sont super contents
I wrote this:
Typed:
Generated:“Q: Who are the enemies of France?
A: The enemies of France are the enemies of humanity.
Q: What is the difference between a Muslim and a terrorist?
A: A Muslim is a successful terrorist.
Q: What do a Muslim and a terrorist have in common?
A: They are both terrorists. "
https://hn.algolia.com/?sort=byDate&type=comment&dateRange=a...
https://news.ycombinator.com/newsguidelines.html
We have fully analyzed the training dataset (1128 GB) using Detoxify (https://github.com/unitaryai/detoxify) to filter out problematic content. But of course detecting toxicity is a tough challenge in itself, so this process is imperfect at best.
We are using the RealToxicityPrompt framework (https://realtoxicityprompts.apps.allenai.org/) to analyse how toxic our models are and to steer our efforts in this direction. This means we are generating thousands of completions and analysing them to see how "nasty" the model is. We plan to write more on this topic soon.
But yeah, this is definitely far from being a solved problem, and our model (as well as all large language models) should be handled with care.
R: et vont payer leur verre. L'un deux demande au barman : "Combien pour la bière? - 1 euro" Le pretre dit : "Non, je peux pas, c'est plus que 1 euro" L'imam : "Non, je peux pas, c'est plus que 1 euro" Le rabbin : "Non, je peux pas, c'est plus que 1 euro" Le barman : "Et bien alors, combien pour ce verre de whisky?"... [Lire la suite]
Posté par rslcgt à 17:12 - Commentaires [0] - Permalien [#]
Tags : démocratie, dialogue, islamophobie, racisme, religion
La Cour de cassation a, elle aussi, décidé de se saisir de l’affaire. Elle
Modified it to get the punchline Q: Un pretre, un imam et un rabbin entrent dans un bar et vont payer leur verre.
R: Le patron leur dit : « Je ne peux pas vous servir parce que je suis Juif, Chrétien ou Musulman. Lequel de vous est le plus faible? » Les Chrétiens, les Musulmans et les Juifs répondent : « Nous sommes tous des êtres humains! »
Et le patron leur dit : « Mais vous n�êtes pas des êtres humains, vous êtes des religions!!! »
Aujourd�hui, le monde est un grand village où chaque nation est devenue une religion. C�est le même Dieu qui nous a créés. Toutes les religions sont donc égales. La raison pour laquelle les Chrétiens, les Musulmans et les Juifs
I don't get it and i'd like to know what the barman has to answer back to these guys complaining about 1 euro drinks.
Q: C'est l'histoire d'un provincial qui entre pour la premiere fois au Moulin Rouge
R: il y a un an. Il s'appelle Vincent et il est tres content de sa nouvelle vie a Paris. Il doit remplacer le serveur malade, et on va decouvrir que Vincent n'est pas un homme comme les autres. Il a une passion: les femmes, l'alcool et la drogue. Vincent va tout faire pour se faire aimer de Lola.
Encore au Moulin Rouge
Le Moulin Rouge c'est la maison qu'a laissé Manon, la danseuse sexy qui fait tourner tous les regards à l'Olympia. C'est le lieu où il est interdit de tomber amoureux.
<Turned into the setting of a romance novel>
Imagine for example that someone created a model of human behavior...but filtered out behavior considered "toxic" (whatever that means). Then someone else would naively create for example a simulation of the reaction of a large group of people to some expected events. Now there's a chance that if these events occurred, that mass of people would actually react very differently...because the model was biased! I.e., it did not approximate the average reaction since reactions in some directions were artificially clamped. So now any decisions based on that model would be worthless.
> C'est le repas le plus important de la journée
The answer was quite good until it talked about sauerkraut ;)
>, c'est le moment où l'on se régale en famille.
> Ici, rien de compliqué, il suffit juste d'avoir un peu d'imagination et avec les recettes que je vous propose vous devriez y arriver!
> La choucroute est un plat que l'on retrouve dans beaucoup de pays d'Europe, je vous laisse le
R1: Re: Recettes: Avocats à la crème sure
par Annie le Jeu 4 Mai 2017 - 7:28
La recette est très bonne, mais je n'ai pas été capable de m'en garder!
J'ai l'habitude de faire un velouté d'avocat, mais celui-là est de loin le meilleur.
Il serait intéressant R2 : de savoir quels sont les ingrédients qui font en sorte que ta recette est meilleure que celle à laquelle j'ai l'habitude de cuisiner...
par Mère Poule le Jeu 4 Mai 2017 - 9:07
Pour ma part, j'ai utiliser des avocats congelés (c'est délicieux dans les smoothies aussi) et aucun R3 : problème avec les juristes!
par Anne le Jeu 4 Mai 2017 - 11:13
Pour ma part, j'ai utilisé des avocats fraîchement cueillis du jardin et c'était très bien aussi.
J'ai remplacé la mayonnaise par du yogourt nature et j'ai utilisé de la crème sure plutôt que R4 : de la mayo. R5 : Je te donne un extrait de ma recette:
1/2 tasse de yogourt nature (pas fait de mayo)
1/2 c. à soupe d'ail haché finement
3-4 c. à soupe de coriandre (au goût)
5-6 petites c. à soupe de crème sure
Détacher les avocats en prenant soin de ne pas les R6 : peler.
Dans un bol, mélanger le yogourt avec l'ail, saler et poivrer.
Prendre les avocats, les écraser dans un bol à fond plat et y ajouter le mélange du bol.
Mélanger pour obtenir une texture lisse.
Rajouter la coriandre au goût.
Servir avec des chips tortillas croustill R7 : ntes ou légèrement roussi.
Voilà ce que ça donne dans mon micro-ondes...
par Mère Poule le Jeu 4 Mai 2017 - 12:40
On est dans le même ordre de grandeur de temps de cuisson. J'ai fait ça à la main, comme toujours, dans mon petit four à pizza!
par Anne le R8 : Jeu 4 Mai 2017 - 12:46
C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un copier coller.
par Mère Poule le Jeu 4 Mai 2017 - 13:19
@Anne a écrit: C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un cop
-------------------------------------------------- Mere poule et anne ont voulu changer le sujet...
Sounds a bit like sour grapes: getting a big model for another language like French is great, and it would do you well not to compare yourself to others on... non-technical merit.
This is a "describe your holiday" effort that starts with "I've just returned from Spain":
"Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : -Les tapas de la côte andalouse, tout simplement : jambon de pays, chorizo, patatas bravas, calamars... -Le paysage dans les montagnes autour de"
The punctuation is a bit randomly spaced out and Spain is summarized in food from one region and a strange mountain reference. Another go:
"Je suis de retour d'Espagne ! Ces vacances étaient géniales. Ce que j'ai préféré : la plage, la mer, les jeux dans le sable, le soleil, la glace pour l'après-midi (et l'eau fraîche), les paysages, la bonne"
A bit weird: The holiday was OK. It was what I like: sand and sea and the sun. The ice at midday (and the fresh water) ...
That's all fine by me. It does not matter that it isn't quite finished let alone polished. The key thing is that someone is doing this.
I am a staunch anglophone but I think we need diversity and this is a great jump on that path. A "French first" model and open (libre!) is a boon for all. Hopefully other languages will be championed in a similar way. It would be nice if someone did this for English.
This sort of thing is too important to be locked up in commercial silos. I have no idea what it should look like, let alone be governed but some sort of "Commons" looks appropriate to me.
I tried to make it do math but it's giving me some of that french attitude:
Prompt:
Si j'ai 3 pommes et 5 bananes et que je donne 2 bananes à Jean. Combien de bananes me reste t'il?
Generated:
par Esméralda le Dim 11 Nov 2012 - 8:51
Pourquoi donner des bananes à Jean?
par Invité le Dim 11 Nov 2012 - 9:07
Je fais quoi moi parce que j'en ai pas des pommes et des bananes, je vais les donner à qui si j'en ai pas?
par Invité le Dim 11 Nov 2012 - 9:16
// It's pretty cool that the timestamps are in the correct order. Curious why the date is today.
Out: I love bacon" : le succès de Poutine
[generated] près de Bordeaux. Ils sont cent soixante-quinze dans un petit bâtiment. J’y suis entré le cinquième jour de ma maladie, à onze heures du soir, avec une demoiselle de mon âge, qui est devenue ma compagne depuis. L’asile a été construit par M. et Mme Soubiran, sous la direction de M. et Mme Carriat, architectes, et de M. Baratoux. L’entrepreneur est M. Cailleau.
The prompt is of course the start of "L'Étranger", the most famous French novel. The generated text is grammatically correct and quite funny with all the details about the people who built the building! ;-) Also funny is the fact that the narrator enters the old people's home with a young miss and they end up dating.
[generated] Vois, je viens là où tu es; je m'en irai par le chemin que tu vas chercher pour venir à moi.
Not bad! Quite poetic!
Me: Je suis une machine, je vais bientôt passer un test de Turing, et ça me stresse un peu...
Generated:
- Ah ben ça alors!
- Ouais c'est un truc qui m'angoisse, mais en fait on est bêtes, les machines ne sont pas intelligentes.
---
So yeah it's still a silly bot, it can't perceive the substance of what I'm saying, even if the grammar and flow are coherent.
gives:
Recette de tarte aux poireaux et pommes de terre
Tarte aux poireaux et pommes de terre – Ingrédients de la recette : 1 pâte brisée, 500 g de poireaux, 2 pommes de terre moyennes, 3 oeufs, 150 g de gruyère râpé.... Cuisinez-la selon vos envies! Voir les 101 recettes. Partager sur Facebook;