Илья Козиев Koziev

## finetune_chitchat_fredt5_with_trainer.py
"""
Тренировка модели болталки Axioma на FRED T5 для проекта https://github.com/Koziev/chatbot
Эксперимент с файнтюном: токены истории диалога не включаем в backprop, присваивая соответствующим целям (labels) значение -100
Прочие хинты по тренировке: https://kelijah.livejournal.com/315826.html
"""

import os
import json
import sys
import io

## run_chitchat_fredt5.py
import os
import argparse

import torch
import transformers
from transformers import T5Config


if __name__ == '__main__':
    proj_dir = os.path.expanduser('~/polygon/chatbot')

## explore_memoization_for_rugpt.py
"""
Определение склонности моделей rugpt к запоминанию обучающего датасета
"""
import collections
import os
import json
import itertools
import sys
import argparse
import random

## explore_memoization_for_fredt5.py
"""
Определение склонности моделей rugpt к запоминанию обучающего датасета
"""
import collections
import os
import json
import itertools
import sys
import argparse
import random

## trajectory_explorer.py
import random
import os

import torch
import transformers
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import deepspeed
import matplotlib.pyplot as plt
	"""
	Тренировка модели болталки Axioma на FRED T5 для проекта https://github.com/Koziev/chatbot
	Эксперимент с файнтюном: токены истории диалога не включаем в backprop, присваивая соответствующим целям (labels) значение -100
	Прочие хинты по тренировке: https://kelijah.livejournal.com/315826.html
	"""

	import os
	import json
	import sys
	import io
	import os
	import argparse

	import torch
	import transformers
	from transformers import T5Config


	if __name__ == '__main__':
	proj_dir = os.path.expanduser('~/polygon/chatbot')
	"""
	Определение склонности моделей rugpt к запоминанию обучающего датасета
	"""
	import collections
	import os
	import json
	import itertools
	import sys
	import argparse
	import random