Skip to content

Instantly share code, notes, and snippets.

@celsowm
celsowm / fine_tunning_llama2_bode_alpaca.py
Created February 19, 2024 01:47
fine_tunning_llama2_bode_alpaca.py
from datasets import load_dataset, Dataset
from trl import SFTTrainer
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, TrainingArguments
from peft import LoraConfig
import torch, sys
dataset = load_dataset("celsowm/auryn", split="train"
#, download_mode="force_redownload"
)
@celsowm
celsowm / advocacia_publica_estadual.json
Last active November 26, 2023 19:36
advocacia_publica_estadual.json
{
"perguntas_respostas": [
{
"pergunta": "O que é uma procuradoria estadual e qual é o seu papel no sistema jurídico?",
"resposta": "Uma procuradoria estadual é um órgão responsável pela representação jurídica do Estado em questões legais. Seu papel inclui a defesa dos interesses e direitos do Estado nas esferas judicial e extrajudicial."
},
{
"pergunta": "Quais são as principais funções desempenhadas por uma procuradoria estadual?",
"resposta": "As principais funções de uma procuradoria estadual incluem a representação judicial e extrajudicial do Estado, a elaboração de pareceres jurídicos, a condução de processos administrativos e a assessoria aos órgãos públicos estaduais em questões legais."
},
@celsowm
celsowm / neural_network_plot_dinamico.py
Created November 12, 2023 02:01
neural_network_plot_dinamico.py
import networkx as nx
import matplotlib.pyplot as plt
def plot_neural_network(entrada, oculta, saida):
G = nx.DiGraph()
G.add_nodes_from([f'Entrada{i+1}' for i in range(entrada)])
G.add_nodes_from([f'Oculta{i+1}' for i in range(oculta)])
G.add_nodes_from([f'Saida{i+1}' for i in range(saida)])
@celsowm
celsowm / neural_network_pytorch.py
Created November 12, 2023 01:59
neural_network_pytorch.py
import torch
import torch.nn as nn
import pandas as pd
# Ler o arquivo CSV
df = pd.read_csv('diabetes.csv')
# Extrair os dados para feature_set e labels
feature_set = torch.tensor(df.drop('diabetico', axis=1).values, dtype=torch.float32)
labels = torch.tensor(df['diabetico'].values, dtype=torch.float32)
@celsowm
celsowm / neural_network_tensorflow.py
Created November 12, 2023 01:59
neural_network_tensorflow.py
import tensorflow as tf
import pandas as pd
# Ler o arquivo CSV
df = pd.read_csv('diabetes.csv')
# Extrair os dados para feature_set e labels
feature_set = df.drop('diabetico', axis=1).values
labels = df['diabetico'].values
@celsowm
celsowm / neural_network_scratch_with_hidden_layer.py
Created November 11, 2023 22:51
neural_network_scratch_with_hidden_layer.py
import numpy as np
import pandas as pd
# Função de ativação sigmoid e sua derivada
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def sigmoid_der(x):
return sigmoid(x) * (1 - sigmoid(x))
@celsowm
celsowm / plot_neural_network.py
Created November 11, 2023 22:49
plot_neural_network.py
import networkx as nx
import matplotlib.pyplot as plt
def plot_neural_network(entrada, oculta, saida):
G = nx.DiGraph()
G.add_nodes_from([f'Entrada{i+1}' for i in range(entrada)])
G.add_nodes_from([f'Oculta{i+1}' for i in range(oculta)])
G.add_nodes_from([f'Saida{i+1}' for i in range(saida)])
@celsowm
celsowm / diabetes.csv
Created November 11, 2023 22:07
diabetes.csv
fumante obeso pratica_exercicios diabetico
0 1 0 1
0 0 1 0
1 0 0 0
1 1 0 1
1 1 1 1
@celsowm
celsowm / neural_network_scratch.py
Created November 11, 2023 22:07
neural_network_scratch.py
import numpy as np, sys
import pandas as pd
# Ler o arquivo CSV
df = pd.read_csv('diabetes.csv')
# Extrair os dados para feature_set e labels
feature_set = feature_set = df.drop('diabetico', axis=1).values
labels = df['diabetico'].values.reshape(-1, 1)
@celsowm
celsowm / cnn_news_ptbr.json
Created November 8, 2023 14:22
cnn_news_ptbr.json
This file has been truncated, but you can view the full file.
[
{
"categoria":"esportes",
"titulo":"Veja a trajet\u00f3ria de Fernando Diniz, em busca da Libertadores com o Fluminense",
"texto":"Se tem um treinador que sempre foi badalado pela forma como faz seu time jogar, este cara \u00e9 Fernando Diniz. E o comandante do Fluminense tem a chance de chegar ao \u00e1pice da carreira neste s\u00e1bado (4), a partir das 17h (de Bras\u00edlia), quando decide a Copa Libertadores contra o Boca Juniors-ARG, no Maracan\u00e3. Rumo \u00e0 Gl\u00f3ria Eterna. E sua gl\u00f3ria pessoal. Considerado h\u00e1 alguns anos um dos melhores \u2013 sen\u00e3o o melhor \u2013 t\u00e9cnico do futebol brasileiro, Fernando Diniz sempre esbarra na desconfian\u00e7a que o persegue. Uma desconfian\u00e7a \u201cresultadista\u201d. Afinal, como pode um treinador t\u00e3o elogiado ter apenas um Campeonato Carioca (2023) na bagagem? T\u00edtulos de express\u00e3o e Diniz, at\u00e9 ent\u00e3o, pareciam n\u00e3o combinar. Leia mais Certo \u00e9 que a final da Copa Libertadores j\u00e1