Out of the Box

사용자 도구

사이트 도구

추적:
topic:llm_fine_tuning

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판이전 판
다음 판		이전 판
topic:llm_fine_tuning [2024/02/05 06:31] – rex8312topic:llm_fine_tuning [2024/03/23 02:42] (현재) – 바깥 편집 127.0.0.1
줄 1: 줄 1:
-====== Topic: LLM Fine-Tuning ======+====== LLM Fine-Tuning ======
  
   * [[https://huggingface.co/blog/trl-peft|Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU]]   * [[https://huggingface.co/blog/trl-peft|Fine-tuning 20B LLMs with RLHF on a 24GB consumer GPU]]
 +  * [[https://towardsdatascience.com/fine-tuning-llms-on-a-single-consumer-graphic-card-6de1587daddb|Fine Tuning LLMs on a Single Consumer Graphic Card]]
   * [[https://medium.com/@geronimo7/phinetuning-2-0-28a2be6de110|Phinetuning 2.0]]   * [[https://medium.com/@geronimo7/phinetuning-2-0-28a2be6de110|Phinetuning 2.0]]
-  * [[https://towardsdatascience.com/maixtchup-make-your-own-mixture-of-experts-with-mergekit-87cc46401587|Maixtchup: Make Your Own Mixture of Experts with Mergekit]]+  * [[https://lightning.ai/lightning-ai/studios/code-lora-from-scratch?view=public&section=all|Code LoRA from Scratch]] 
 +  * [[https://huggingface.co/blog/peft|PEFT: Parameter-Efficient Fine-Tuning of Billion-Scale Models on Low-Resource Hardware]] 
 + 
 + 
 +==== PEFT ==== 
 + 
 +{{topic>LLM튜닝 PEFT LoRA &rsort&simplelist}} 
 + 
 +==== RLHF ==== 
 + 
 +{{topic>RLHF 선호학습 &rsort&simplelist}} 
 +  
topic/llm_fine_tuning.1707114678.txt.gz · 마지막으로 수정됨: (바깥 편집)