### SST FINETUNE

╭─ ~/Documents/CMU/Coursework/Sem-1/ANLP/Assignment-1/minllama-assignment master ─────────────────────────────────────────────  llama_hw 12:56:28
╰─❯ python run_llama.py --option finetune --epochs 5 --lr 2e-5 --batch_size 80  --train data/sst-train.txt --dev data/sst-dev.txt --test data/sst-test.txt --label-names data/sst-label-mapping.json --dev_out sst-dev-finetuning-output.txt --test_out sst-test-finetuning-output.txt
args: {'train': 'data/sst-train.txt', 'dev': 'data/sst-dev.txt', 'test': 'data/sst-test.txt', 'label_names': 'data/sst-label-mapping.json', 'pretrained_model_path': 'stories42M.pt', 'max_sentence_len': None, 'seed': 1337, 'epochs': 5, 'option': 'finetune', 'use_gpu': False, 'generated_sentence_low_temp_out': 'generated-sentence-temp-0.txt', 'generated_sentence_high_temp_out': 'generated-sentence-temp-1.txt', 'dev_out': 'sst-dev-finetuning-output.txt', 'test_out': 'sst-test-finetuning-output.txt', 'batch_size': 80, 'hidden_dropout_prob': 0.3, 'lr': 2e-05}
load 8544 data from data/sst-train.txt
load 1101 data from data/sst-dev.txt
train-0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [03:14<00:00,  1.82s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [01:10<00:00,  1.51it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.64it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.73it/s]
epoch 0: train loss :: 1.879, train acc :: 0.264, dev acc :: 0.264
train-1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [03:14<00:00,  1.82s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [01:12<00:00,  1.48it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.60it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.70it/s]
epoch 1: train loss :: 1.644, train acc :: 0.344, dev acc :: 0.329
train-2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [03:14<00:00,  1.82s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [01:10<00:00,  1.51it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.62it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.73it/s]
epoch 2: train loss :: 1.558, train acc :: 0.429, dev acc :: 0.374
train-3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [03:18<00:00,  1.86s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [01:11<00:00,  1.50it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.62it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.72it/s]
epoch 3: train loss :: 1.340, train acc :: 0.546, dev acc :: 0.406
train-4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [03:13<00:00,  1.81s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████| 107/107 [01:11<00:00,  1.50it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.60it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████████████████| 14/14 [00:08<00:00,  1.70it/s]
epoch 4: train loss :: 1.099, train acc :: 0.730, dev acc :: 0.425
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [22:59<00:00, 275.98s/it]
load model from finetune-5-2e-05.pt
load 1101 data from data/sst-dev.txt
load 2210 data from data/sst-test.txt
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 14/14 [00:07<00:00,  1.87it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████| 28/28 [00:15<00:00,  1.82it/s]
dev acc :: 0.425
test acc :: 0.445



### CFIMDB FINETUNE
╭─ ~/Documents/CMU/Coursework/Sem-1/ANLP/Assignment-1/minllama-assignment master ─────────────────────────────────  llama_hw 12:12:14
╰─❯ python3 run_llama.py --option finetune --epochs 5 --lr 2e-5 --batch_size 10  --train data/cfimdb-train.txt --dev data/cfimdb-dev.txt --test data/cfimdb-test.txt --label-names data/cfimdb-label-mapping.json --dev_out cfimdb-dev-finetuning-output.txt --test_out cfimdb-test-finetuning-output.txt
args: {'train': 'data/cfimdb-train.txt', 'dev': 'data/cfimdb-dev.txt', 'test': 'data/cfimdb-test.txt', 'label_names': 'data/cfimdb-label-mapping.json', 'pretrained_model_path': 'stories42M.pt', 'max_sentence_len': None, 'seed': 1337, 'epochs': 5, 'option': 'finetune', 'use_gpu': False, 'generated_sentence_low_temp_out': 'generated-sentence-temp-0.txt', 'generated_sentence_high_temp_out': 'generated-sentence-temp-1.txt', 'dev_out': 'cfimdb-dev-finetuning-output.txt', 'test_out': 'cfimdb-test-finetuning-output.txt', 'batch_size': 10, 'hidden_dropout_prob': 0.3, 'lr': 2e-05}
load 1707 data from data/cfimdb-train.txt
load 245 data from data/cfimdb-dev.txt
train-0: 100%|███████████████████████████████████████████████████████████████████████████████████████| 171/171 [05:22<00:00,  1.89s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 171/171 [02:06<00:00,  1.35it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:18<00:00,  1.38it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████| 25/25 [00:18<00:00,  1.49it/s]
epoch 0: train loss :: 1.090, train acc :: 0.502, dev acc :: 0.502
train-1: 100%|███████████████████████████████████████████████████████████████████████████████████████| 171/171 [05:33<00:00,  1.95s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 171/171 [02:08<00:00,  1.33it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:21<00:00,  1.18it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████| 25/25 [00:21<00:00,  1.24it/s]
epoch 1: train loss :: 0.820, train acc :: 0.502, dev acc :: 0.506
train-2: 100%|███████████████████████████████████████████████████████████████████████████████████████| 171/171 [05:39<00:00,  1.98s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 171/171 [02:05<00:00,  1.36it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:18<00:00,  1.38it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████| 25/25 [00:18<00:00,  1.47it/s]
epoch 2: train loss :: 0.773, train acc :: 0.551, dev acc :: 0.531
train-3: 100%|███████████████████████████████████████████████████████████████████████████████████████| 171/171 [05:27<00:00,  1.92s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 171/171 [02:01<00:00,  1.41it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:19<00:00,  1.28it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████| 25/25 [00:19<00:00,  1.29it/s]
epoch 3: train loss :: 0.740, train acc :: 0.700, dev acc :: 0.673
train-4: 100%|███████████████████████████████████████████████████████████████████████████████████████| 171/171 [05:20<00:00,  1.88s/it]
eval: 100%|██████████████████████████████████████████████████████████████████████████████████████████| 171/171 [02:08<00:00,  1.33it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:18<00:00,  1.38it/s]
save the model to finetune-5-2e-05.pt██████████████████████████████████████████████████████████████████| 25/25 [00:18<00:00,  1.49it/s]
epoch 4: train loss :: 0.491, train acc :: 0.878, dev acc :: 0.865
100%|███████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [39:33<00:00, 474.75s/it]
load model from finetune-5-2e-05.pt
load 245 data from data/cfimdb-dev.txt
load 488 data from data/cfimdb-test.txt
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [00:16<00:00,  1.54it/s]
eval: 100%|████████████████████████████████████████████████████████████████████████████████████████████| 49/49 [00:30<00:00,  1.62it/s]
dev acc :: 0.865
test acc :: 0.457