Esta biblioteca Python é um wrapper para diversos datasets de texto, permitindo obter os dados já divididos em conjuntos de treinamento e teste, juntamente com os nomes dos rótulos e do dataset.
pip install git+https://github.com/liafacom/text_dataset.gitCada dataset pode ser carregado utilizando as funções específicas:
from text_dataset.reader import get_r8
df_train, df_test, labels_name, dataset_name = get_r8()Os seguintes datasets podem ser carregados:
get_ohsumed- medicalget_r8- newsget_r52- newsget_20newsgroups- newsget_agnews- newsget_cstr- computingget_dblp- scientificget_snippets- questionsget_mpqa- questionsget_TREC6- questionsget_overruling- lawget_mr- sentiment analysisget_sst2- sentiment analysisget_sst5- sentiment analysisget_persent- sentiment analysisget_poem_sentiment- sentiment analysisget_twitter_airline_sentiment- sentiment analysisget_isarcasm- sarcasm
Para obter uma porção menor de um dataset, a função get_tiny_dataset pode ser utilizada:
from text_dataset.reader import get_tiny_dataset
df_train_tiny, df_test_tiny, target_names, dataset_name = get_tiny_dataset(df_train, df_test, max_sample_class=10, random_state=42, keep_test=False)df_train: DataFrame contendo os dados de treinamento.df_test: DataFrame contendo os dados de teste.max_sample_class: Número máximo de amostras por classe no dataset reduzido (padrão: 10).random_state: Define a semente para garantir reprodutibilidade (padrão: 42).keep_test: SeTrue, mantém os dados de teste sem alterações; seFalse, remove os dados de teste no dataset reduzido.
.