• 1 Post
  • 26 Comments
Joined 1 year ago
cake
Cake day: June 14th, 2023

help-circle

  • Ton article parle d’autre chose. Il parle de l’année 2023 par rapport à l’année 2022. La on compare le premier semestre 2024 au premier semestre 2023.

    J’ai répondu par rapport au secteur de l’industrie dans un autre commentaire, pour ce secteur là ça semble être une bonne chose. Pour les autres secteurs en forte baisse, je n’ai pas fait d’analyse, mais il n’y a pas de raison que cette baisse soit liée à des choses négatives. Par exemple une grosse partie des réductions sont dues à un hiver clément.

    Le seul point noir, c’est les transports. On sait très bien comment réduire les émissions, vu que la demande est élastique par rapport au prix. Mais plus personne n’osera mettre en place une taxe CO2 (merci les gilets jaunes). Le RN promet même de retirer les taxes sur l’essence (quitte même à ne pas respecter les règles de l’UE), histoire qu’on soit encore plus dépendant des dictatures.





  • Akisamb@programming.devtoFrance@jlai.luJérôme Peyrat
    link
    fedilink
    Français
    arrow-up
    6
    ·
    16 days ago

    Depuis janvier 2021, il est conseiller politique auprès de la délégation générale de La République en marche. Jérôme Peyrat est condamné en 2020 pour violences conjugales sur son ancienne compagne, ce qui le conduit à renoncer à sa candidature aux élections législatives de 2022.

    Il finit par se représenter aux élections législatives anticipées de 2024 malgré les polémiques que sa candidature lève

    Le petit filou, il a attendu qu’on l’oublie. Je ne comprends pas pourquoi les partis politiques tiennent autant à garder ces éléments.







  • I’m afraid that would not be sufficient.

    These instructions are a small part of what makes a model answer like it does. Much more important is the training data. If you want to make a racist model, training it on racist text is sufficient.

    Great care is put in the training data of these models by AI companies, to ensure that their biases are socially acceptable. If you train an LLM on the internet without care, a user will easily be able to prompt them into saying racist text.

    Gab is forced to use this prompt because they’re unable to train a model, but as other comments show it’s pretty weak way to force a bias.

    The ideal solution for transparency would be public sharing of the training data.







  • Yes to your question, but that’s not what I was saying.

    Here is one of the most popular training datasets : https://pile.eleuther.ai/

    If you look at the pdf describing the dataset, you’ll find the mean length of these documents to be somewhat short with mean length being less than 20kb (20000 characters) for most documents.

    You are asking for a model to retain a memory for the whole duration of a discussion, which can be very long. If I chat for one hour I’ll type approximately 8400 words, or around 42KB. Longer than most documents in the training set. If I chat for 20 hours, It’ll be longer than almost all the documents in the training set. The model needs to learn how to extract information from a long context and it can’t do that well if the documents on which it trained are short.

    You are also right that during training the text is cut off. A value I often see is 2k to 8k tokens. This is arbitrary, some models are trained with a cut off of 200k tokens. You can use models on context lengths longer than that what they were trained on (with some caveats) but performance falls of badly.


  • There are two issues with large prompts. One is linked to the current language technology, were the computation time and memory usage scale badly with prompt size. This is being solved by projects such as RWKV or mamba, but these remain unproven at large sizes (more than 100 billion parameters). Somebody will have to spend some millions to train one.

    The other issue will probably be harder to solve. There is less high quality long context training data. Most datasets were created for small context models.



  • Il reste trois associations d’anticorruption qui ont cet agrément. Ce qui est reproché à anticor, c’est leur aspect politique, ils se doivent de poursuivre des gens de tous les partis, ils n’ont pas le droit de se rapprocher d’une organisation politique.

    Ainsi, certains aspects de leur organisation sont un petit peu moyens, comme le don anonyme de 80000 euros.

    Après de ce que j’ai vu, l’association semble avoir fait des efforts pour augmenter leur transparence. Visiblement le choix va être fait par un tribunal administratif, donc on va avoir le fin mot de l’histoire.

    Face à ce refus du gouvernement, Anticor se tournera à son tour devant le juge administratif. « Nous sommes quelque part soulagés de pouvoir enfin démontrer que nous remplissons bien tous les critères pour pouvoir être agréés », assure la présidente.