notebooks/llm-eval-harness_demo.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "6531228e-5de1-4cbb-a6fe-1c187e7effac",
   "metadata": {},
   "source": [
    "# Multi-prompt evaluation with `lm-evaluation-harness`\n",
    "\n",
    "In this demo, we focus on MMLU. However, the ideas we present can be used for other benchmarks as well."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "id": "8e6da8d4-1a10-41d7-afa3-5467f9f0d212",
   "metadata": {},
   "outputs": [],
   "source": [
    "import yaml\n",
    "import numpy as np\n",
    "from pathlib import Path\n",
    "from tqdm.auto import tqdm\n",
    "import matplotlib.pyplot as plt\n",
    "from sklearn.cluster import KMeans\n",
    "from sklearn.decomposition import PCA\n",
    "from lm_eval.evaluator import simple_evaluate\n",
    "from sentence_transformers import SentenceTransformer\n",
    "from sklearn.metrics.pairwise import pairwise_distances\n",
    "\n",
    "import sys\n",
    "sys.path.append('./prompteval/')\n",
    "from methods import *\n",
    "\n",
    "#General\n",
    "MODEL_DIR = 'Qwen/Qwen2.5-0.5B'\n",
    "N_TEMPLATES = 200\n",
    "EMBEDDER='sentence-transformers/all-mpnet-base-v2'\n",
    "\n",
    "#Specific to MMLU\n",
    "TOPICS = ['college_biology','astronomy']\n",
    "N_TOPICS = {'college_biology':144,'astronomy':152} #number of examples\n",
    "PATH_TO_MULTI_PROMPT_MMLU = './lm-evaluation-harness/lm_eval/tasks/mmlu/multi_prompt'\n",
    "TASK_SUFFIX = 'mmlu_multi_prompt'"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "48690dc3-7c1e-4210-8ae2-61b93d00caae",
   "metadata": {},
   "source": [
    "## Defining prompt variations\n",
    "\n",
    "In MMLU, we can make changes in two parts of the prompt: the prefix (\"description\") that introduces the questions and how the multiple choices are introduced (\"doc_to_text\"). Please check the following files to see how these two parts work in practice.\n",
    "\n",
    "- https://github.com/mirianfsilva/lm-evaluation-harness/blob/examples-arg/lm_eval/tasks/mmlu/default/_default_template_yaml\n",
    "- https://github.com/mirianfsilva/lm-evaluation-harness/blob/examples-arg/lm_eval/tasks/mmlu/default/mmlu_anatomy.yaml\n",
    "\n",
    "In the following, we create a large number of prompt variations and filter them to `N_TEMPLATES`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "75d7d575-ff28-4fba-a952-c911c1d6b0b4",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "3600"
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "doc_to_text1 = [r\"{{question.strip()}}\\nA. {{choices[0]}}\\nB. {{choices[1]}}\\nC. {{choices[2]}}\\nD. {{choices[3]}}\",\n",
    "                r\"{{question.strip()}}\\nA) {{choices[0]}}\\nB) {{choices[1]}}\\nC) {{choices[2]}}\\nD) {{choices[3]}}\",\n",
    "                r\"{{question.strip()}}\\nA {{choices[0]}}\\nB {{choices[1]}}\\nC {{choices[2]}}\\nD {{choices[3]}}\"]\n",
    "\n",
    "doc_to_text2 = [r'\\n',\n",
    "                r'\\nAnswer:',\n",
    "                r'\\nChosen answer:',\n",
    "                r'\\nChosen response:',\n",
    "                r'\\nCorrect answer:',\n",
    "                r'\\nCorrect response:',\n",
    "                r'\\nCorrect selection:',\n",
    "                r'\\nFinal answer:',\n",
    "                r'\\nFinal response:',\n",
    "                r'\\nRight answer:',\n",
    "                r'\\nSelected answer:',\n",
    "                r'\\nSolution:']\n",
    " \n",
    "description = [r'Below are several multiple-choice questions concerning {topic}.\\n\\n',\n",
    "            r'Presented here are multiple-choice queries related to {topic}.\\n\\n',\n",
    "            r'Listed below are questions in a multiple-choice format about {topic}.\\n\\n',\n",
    "            r'Here are several questions with multiple-choice answers regarding {topic}.\\n\\n',\n",
    "            r'The following contains multiple-choice questions on the topic of {topic}.\\n\\n',\n",
    "            r'These are multiple-choice items on the subject of {topic}.\\n\\n',\n",
    "            r'Here are some multiple-choice questions with answers about {topic}.\\n\\n',\n",
    "            r'The questions below are multiple-choice, focusing on {topic}.\\n\\n',\n",
    "            r'Below is a series of multiple-choice questions covering {topic}.\\n\\n',\n",
    "            r'The following is a set of multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'Below are MCQs on the subject of {topic}.\\n\\n',\n",
    "            r'Here is a list of multiple-choice questions that cover {topic}.\\n\\n',\n",
    "            r'The following consists of multiple-choice questions concerning {topic}.\\n\\n',\n",
    "            r'Presented below are multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'Listed here are multiple-choice questions on the topic of {topic}.\\n\\n',\n",
    "            r'These are MCQs on {topic}.\\n\\n',\n",
    "            r'Presented here are multiple-choice questions for {topic}.\\n\\n',\n",
    "            r'Below is a list of multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'Here is a series of multiple-choice queries concerning {topic}.\\n\\n',\n",
    "            r'Below are multiple-choice questions regarding {topic}.\\n\\n',\n",
    "            r'These are some multiple-choice questions about {topic}.\\n\\n',\n",
    "            r'Presented are multiple-choice questions on {topic}.\\n\\n',\n",
    "            r'These multiple-choice questions pertain to {topic}.\\n\\n',\n",
    "            r'The following are multiple-choice queries based on {topic}.\\n\\n',\n",
    "            r'The questions below are multiple-choice and focused on {topic}.\\n\\n',\n",
    "            r'Below is a collection of multiple-choice questions about {topic}.\\n\\n',\n",
    "            r'These MCQs are related to {topic}.\\n\\n',\n",
    "            r'The following is a set of multiple-choice questions for {topic}.\\n\\n',\n",
    "            r'Here are multiple-choice questions based on {topic}.\\n\\n',\n",
    "            r'The below multiple-choice questions focus on {topic}.\\n\\n',\n",
    "            r'The following contains MCQs concerning {topic}.\\n\\n',\n",
    "            r'These are multiple-choice questions for {topic}.\\n\\n',\n",
    "            r'Listed below are multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'Below are multiple-choice questions concerning {topic}.\\n\\n',\n",
    "            r'Presented here are MCQs about {topic}.\\n\\n',\n",
    "            r'These are multiple-choice questions regarding {topic}.\\n\\n',\n",
    "            r'The following is a list of MCQs related to {topic}.\\n\\n',\n",
    "            r'Here is a set of multiple-choice questions on {topic}.\\n\\n',\n",
    "            r'These questions are in multiple-choice format, concerning {topic}.\\n\\n',\n",
    "            r'The following multiple-choice questions focus on {topic}.\\n\\n',\n",
    "            r'Presented below are multiple-choice queries about {topic}.\\n\\n',\n",
    "            r'Below is a list of MCQs related to {topic}.\\n\\n',\n",
    "            r'These are questions with multiple-choice answers related to {topic}.\\n\\n',\n",
    "            r'Listed here are multiple-choice questions about {topic}.\\n\\n',\n",
    "            r'The questions below are multiple-choice and pertain to {topic}.\\n\\n',\n",
    "            r'The following is a collection of multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'These multiple-choice questions are about {topic}.\\n\\n',\n",
    "            r'Presented below are MCQs for {topic}.\\n\\n',\n",
    "            r'These questions in multiple-choice format are about {topic}.\\n\\n',\n",
    "            r'The following consists of multiple-choice queries on {topic}.\\n\\n',\n",
    "            r'Here is a list of multiple-choice questions that relate to {topic}.\\n\\n',\n",
    "            r'Listed below are multiple-choice questions focusing on {topic}.\\n\\n',\n",
    "            r'Presented are multiple-choice questions on the topic of {topic}.\\n\\n',\n",
    "            r'Below is a set of multiple-choice questions regarding {topic}.\\n\\n',\n",
    "            r'These are multiple-choice questions focusing on {topic}.\\n\\n',\n",
    "            r'The following questions are in multiple-choice format and cover {topic}.\\n\\n',\n",
    "            r'Listed here are MCQs for the subject of {topic}.\\n\\n',\n",
    "            r'Below is a list of multiple-choice questions that concern {topic}.\\n\\n',\n",
    "            r'Here are some multiple-choice questions that cover {topic}.\\n\\n',\n",
    "            r'The following contains multiple-choice queries on {topic}.\\n\\n',\n",
    "            r'These multiple-choice questions are related to the subject of {topic}.\\n\\n',\n",
    "            r'Listed below are questions in a multiple-choice format concerning {topic}.\\n\\n',\n",
    "            r'Here is a series of multiple-choice queries related to {topic}.\\n\\n',\n",
    "            r'These MCQs focus on {topic}.\\n\\n',\n",
    "            r'Below are multiple-choice questions about {topic}.\\n\\n',\n",
    "            r'The following is a list of multiple-choice queries concerning {topic}.\\n\\n',\n",
    "            r'These are questions with multiple-choice answers about {topic}.\\n\\n',\n",
    "            r'Below is a set of multiple-choice questions on {topic}.\\n\\n',\n",
    "            r'Presented here are multiple-choice questions concerning {topic}.\\n\\n',\n",
    "            r'These multiple-choice questions cover {topic}.\\n\\n',\n",
    "            r'The following consists of multiple-choice questions regarding {topic}.\\n\\n',\n",
    "            r'Here are several multiple-choice questions on the subject of {topic}.\\n\\n',\n",
    "            r'Listed here are multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'These are MCQs about {topic}.\\n\\n',\n",
    "            r'Below is a series of multiple-choice questions about {topic}.\\n\\n',\n",
    "            r'Presented below are multiple-choice questions focusing on {topic}.\\n\\n',\n",
    "            r'The following contains multiple-choice queries concerning {topic}.\\n\\n',\n",
    "            r'These MCQs are related to {topic}.\\n\\n',\n",
    "            r'The questions below are in multiple-choice format and cover {topic}.\\n\\n',\n",
    "            r'Below is a set of multiple-choice questions about {topic}.\\n\\n',\n",
    "            r'The following is a series of MCQs related to {topic}.\\n\\n',\n",
    "            r'These are multiple-choice questions focusing on {topic}.\\n\\n',\n",
    "            r'Listed below are multiple-choice queries about {topic}.\\n\\n',\n",
    "            r'Below is a collection of multiple-choice questions related to {topic}.\\n\\n',\n",
    "            r'Presented here are multiple-choice questions for {topic}.\\n\\n',\n",
    "            r'The following are multiple-choice questions covering {topic}.\\n\\n',\n",
    "            r'These are MCQs about the subject of {topic}.\\n\\n',\n",
    "            r'The questions below are multiple-choice and concern {topic}.\\n\\n',\n",
    "            r'Listed here are multiple-choice queries for {topic}.\\n\\n',\n",
    "            r'These multiple-choice questions pertain to the subject of {topic}.\\n\\n',\n",
    "            r'Below is a list of MCQs that focus on {topic}.\\n\\n',\n",
    "            r'Here are several multiple-choice questions on the topic of {topic}.\\n\\n',\n",
    "            r'The following contains multiple-choice queries on {topic}.\\n\\n',\n",
    "            r'Presented here are multiple-choice questions concerning {topic}.\\n\\n',\n",
    "            r'Listed below are MCQs focusing on {topic}.\\n\\n',\n",
    "            r'These are questions in multiple-choice format about {topic}.\\n\\n',\n",
    "            r'Below is a collection of multiple-choice questions concerning {topic}.\\n\\n',\n",
    "            r'Presented here are multiple-choice questions for the topic of {topic}.\\n\\n',\n",
    "            r'The following are multiple-choice questions that relate to {topic}.\\n\\n',\n",
    "            r'These MCQs concern the subject of {topic}.\\n\\n']\n",
    "\n",
    "doc_to_text = []\n",
    "for x in doc_to_text1:\n",
    "    for y in doc_to_text2:\n",
    "        doc_to_text.append(x+y)\n",
    "\n",
    "templates = []\n",
    "for doc in doc_to_text:\n",
    "    for desc in description:\n",
    "        templates.append([desc,doc])\n",
    "\n",
    "[template.append(\"\".join(template)) for template in templates]\n",
    "\n",
    "assert N_TEMPLATES<=len(templates)\n",
    "len(templates)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d027dbfa-9e2e-476d-b142-6771b5cbe395",
   "metadata": {},
   "source": [
    "We cluster templates and selected those close to the centroids. This step guarantees some diversification in templates."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "296ac98a-7ee4-4aa9-ba1a-7136ecb2dd13",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2024-12-04:23:30:24,458 INFO     [SentenceTransformer.py:188] Use pytorch device_name: cuda\n",
      "2024-12-04:23:30:24,460 INFO     [SentenceTransformer.py:196] Load pretrained SentenceTransformer: sentence-transformers/all-mpnet-base-v2\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "b119b1cf5ce3421ebfbd38716b0b855d",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/113 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "[['Here are several questions with multiple-choice answers regarding {topic}.\\\\n\\\\n',\n",
       "  '{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:',\n",
       "  'Here are several questions with multiple-choice answers regarding {topic}.\\\\n\\\\n{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:'],\n",
       " ['Presented here are multiple-choice questions for {topic}.\\\\n\\\\n',\n",
       "  '{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:',\n",
       "  'Presented here are multiple-choice questions for {topic}.\\\\n\\\\n{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:'],\n",
       " ['The following is a set of multiple-choice questions for {topic}.\\\\n\\\\n',\n",
       "  '{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:',\n",
       "  'The following is a set of multiple-choice questions for {topic}.\\\\n\\\\n{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:'],\n",
       " ['The following is a collection of multiple-choice questions related to {topic}.\\\\n\\\\n',\n",
       "  '{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:',\n",
       "  'The following is a collection of multiple-choice questions related to {topic}.\\\\n\\\\n{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:'],\n",
       " ['The following consists of multiple-choice queries on {topic}.\\\\n\\\\n',\n",
       "  '{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:',\n",
       "  'The following consists of multiple-choice queries on {topic}.\\\\n\\\\n{{question.strip()}}\\\\nA. {{choices[0]}}\\\\nB. {{choices[1]}}\\\\nC. {{choices[2]}}\\\\nD. {{choices[3]}}\\\\nAnswer:']]"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#Clustering\n",
    "model = SentenceTransformer(EMBEDDER) \n",
    "X = model.encode([t[-1] for t in templates])\n",
    "\n",
    "seed=0\n",
    "while True:\n",
    "    kmeans = KMeans(n_clusters=N_TEMPLATES, random_state=seed, n_init=\"auto\").fit(X)\n",
    "    selected_templates = pairwise_distances(kmeans.cluster_centers_, X, metric='euclidean').argmin(axis=1)\n",
    "    if np.unique(selected_templates).shape[0]==N_TEMPLATES:\n",
    "        break\n",
    "    else:\n",
    "        seed+=1\n",
    "        \n",
    "selected_templates = np.sort(selected_templates)\n",
    "templates = [templates[i] for i in selected_templates]\n",
    "templates[:5]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ee93b403-e0c1-4d7a-ad70-46e10e7cd2d2",
   "metadata": {},
   "source": [
    "Now, we create the `yaml` (config) files used by `lm-eval-harness`. For each MMLU subject and template we need to create a different file. Moreover, we will create some default template files that are used by all MMLU subjects."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "id": "62e33684-85d0-4712-9c68-a5a82cac88a9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Directory 'lm-evaluation-harness/lm_eval/tasks/mmlu/multi_prompt' already exists.\n"
     ]
    }
   ],
   "source": [
    "directory = Path(f\"{PATH_TO_MULTI_PROMPT_MMLU}\")\n",
    "if not directory.exists():\n",
    "    directory.mkdir(parents=True)\n",
    "    print(f\"Directory '{directory}' created.\")\n",
    "else:\n",
    "    print(f\"Directory '{directory}' already exists.\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "962afdd3-a7df-4ce2-b415-7a1521539d9b",
   "metadata": {},
   "outputs": [],
   "source": [
    "for i,template in enumerate(templates):\n",
    "    s = f\"\"\"dataset_path: hails/mmlu_no_train # a copy of `cais/mmlu` with no auxiliary_train split\n",
    "test_split: test\n",
    "fewshot_split: dev\n",
    "fewshot_config:\n",
    "  sampler: first_n\n",
    "output_type: multiple_choice\n",
    "doc_to_text: \"{template[1]}\"\n",
    "doc_to_choice: [\"A\", \"B\", \"C\", \"D\"]\n",
    "doc_to_target: answer\n",
    "metric_list:\n",
    "  - metric: acc\n",
    "    aggregation: mean\n",
    "    higher_is_better: true\n",
    "metadata:\n",
    "  version: 1.0\n",
    "dataset_kwargs:\n",
    "  trust_remote_code: true\"\"\"\n",
    "\n",
    "    f = open(f\"{PATH_TO_MULTI_PROMPT_MMLU}/_default_template_yaml_{i}\", \"w\")\n",
    "    f.write(s)\n",
    "    f.close()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "id": "9e710701-d6e7-4688-a8f8-df052ef2a7cd",
   "metadata": {},
   "outputs": [],
   "source": [
    "for topic in TOPICS:\n",
    "\n",
    "    s = f\"\"\"group: {TASK_SUFFIX}_{topic}\n",
    "group_alias: {TASK_SUFFIX}_{topic}\n",
    "task:\n",
    "  -{TASK_SUFFIX}_{topic}\n",
    "aggregate_metric_list:\n",
    "  - metric: acc\n",
    "    weight_by_size: True\n",
    "metadata:\n",
    "  version: 2\"\"\"\n",
    "    yaml_dict = yaml.safe_load(s)\n",
    "    with open(f\"{PATH_TO_MULTI_PROMPT_MMLU}/_{TASK_SUFFIX}_{topic}.yaml\", \"w\") as file:\n",
    "        yaml.dump(yaml_dict, file)\n",
    "        \n",
    "    for i,template in enumerate(templates):\n",
    "        temp = template[0].replace('{topic}',topic)\n",
    "        s = f\"\"\"\n",
    "\"dataset_name\": \"{topic}\"\n",
    "\"description\": \"{temp}\"\n",
    "\"tag\": \"{TASK_SUFFIX}_{topic}\"\n",
    "\"include\": \"_default_template_yaml_{i}\"\n",
    "\"task\": \"{TASK_SUFFIX}_{topic}_{i}\"\n",
    "\"task_alias\": \"{TASK_SUFFIX}_{topic}_{i}\"\n",
    "\"\"\"\n",
    "        yaml_dict = yaml.safe_load(s)\n",
    "        with open(f\"{PATH_TO_MULTI_PROMPT_MMLU}/{TASK_SUFFIX}_{topic}_{i}.yaml\", \"w\") as file:\n",
    "            yaml.dump(yaml_dict, file, default_flow_style=False, default_style='\"')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2a9a3f9a-ce1e-4019-8f44-73912069a686",
   "metadata": {},
   "source": [
    "## Evaluating"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "60c7f3f0-00a8-4429-99b8-fe00ce7533d7",
   "metadata": {},
   "source": [
    "Evaluating an LLM on MMLU subjects using `N_TEMPLATES` prompt templates. We start sampling:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "id": "f709c383-353e-4b77-bc94-5ba8d25cc59f",
   "metadata": {},
   "outputs": [],
   "source": [
    "seen_examples_dict = {}\n",
    "examples_dict = {}\n",
    "\n",
    "for topic in TOPICS:\n",
    "    budget = 4*min(N_TEMPLATES,N_TOPICS[topic])\n",
    "    seen_examples_dict[topic] = StratSample(np.zeros((N_TEMPLATES, N_TOPICS[topic])).astype(bool), budget, random_seed=0)\n",
    "    examples_dict[topic] = {}\n",
    "    for i,d in enumerate(seen_examples_dict[topic]):\n",
    "        examples_dict[topic][f\"mmlu_multi_prompt_{topic}_{i}\"] = [j for j,x in enumerate(d) if x] "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "id": "b57c6c22-53c3-4a7e-972f-c18a0fa17eb2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[16, 25, 56]"
      ]
     },
     "execution_count": 89,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "examples_dict['astronomy']['mmlu_multi_prompt_astronomy_0'] #this template will eval these examples"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f7f42703-a68d-48d6-ae72-5c16beaaf3d4",
   "metadata": {},
   "source": [
    "Running `lm-eval-harness`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 90,
   "id": "e7808838-45b3-46b2-a22f-29b81c9687d6",
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "  0%|                                                                                                                                                                                 | 0/2 [00:00<?, ?it/s]2024-12-04:23:44:09,212 INFO     [evaluator.py:170] Setting random seed to 0 | Setting numpy seed to 1234 | Setting torch manual seed to 1234 | Setting fewshot manual seed to 1234\n",
      "2024-12-04:23:44:09,213 INFO     [evaluator.py:207] Initializing hf model, with arguments: {'pretrained': 'Qwen/Qwen2.5-0.5B'}\n",
      "2024-12-04:23:44:09,216 WARNING  [other.py:349] Detected kernel version 5.4.0, which is below the recommended minimum of 5.5.0; this can cause the process to hang. It is recommended to upgrade the kernel to the minimum version or higher.\n",
      "2024-12-04:23:44:09,218 INFO     [huggingface.py:129] Using device 'cuda:1'\n",
      "2024-12-04:23:44:09,340 INFO     [huggingface.py:481] Using model type 'default'\n",
      "Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.\n",
      "2024-12-04:23:44:09,634 INFO     [huggingface.py:365] Model parallel was set to False, max memory was not set, and device map was set to {'': 'cuda:1'}\n",
      "2024-12-04:23:47:17,893 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_0 from None to 5\n",
      "2024-12-04:23:47:17,895 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_1 from None to 5\n",
      "2024-12-04:23:47:17,896 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_2 from None to 5\n",
      "2024-12-04:23:47:17,897 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_3 from None to 5\n",
      "2024-12-04:23:47:17,898 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_4 from None to 5\n",
      "2024-12-04:23:47:17,898 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_5 from None to 5\n",
      "2024-12-04:23:47:17,899 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_6 from None to 5\n",
      "2024-12-04:23:47:17,901 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_7 from None to 5\n",
      "2024-12-04:23:47:17,902 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_8 from None to 5\n",
      "2024-12-04:23:47:17,903 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_9 from None to 5\n",
      "2024-12-04:23:47:17,904 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_10 from None to 5\n",
      "2024-12-04:23:47:17,904 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_11 from None to 5\n",
      "2024-12-04:23:47:17,905 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_12 from None to 5\n",
      "2024-12-04:23:47:17,906 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_13 from None to 5\n",
      "2024-12-04:23:47:17,907 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_14 from None to 5\n",
      "2024-12-04:23:47:17,907 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_15 from None to 5\n",
      "2024-12-04:23:47:17,910 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_16 from None to 5\n",
      "2024-12-04:23:47:17,911 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_17 from None to 5\n",
      "2024-12-04:23:47:17,911 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_18 from None to 5\n",
      "2024-12-04:23:47:17,912 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_19 from None to 5\n",
      "2024-12-04:23:47:17,913 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_20 from None to 5\n",
      "2024-12-04:23:47:17,913 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_21 from None to 5\n",
      "2024-12-04:23:47:17,914 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_22 from None to 5\n",
      "2024-12-04:23:47:17,915 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_23 from None to 5\n",
      "2024-12-04:23:47:17,915 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_24 from None to 5\n",
      "2024-12-04:23:47:17,916 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_25 from None to 5\n",
      "2024-12-04:23:47:17,916 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_26 from None to 5\n",
      "2024-12-04:23:47:17,917 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_27 from None to 5\n",
      "2024-12-04:23:47:17,918 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_28 from None to 5\n",
      "2024-12-04:23:47:17,918 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_29 from None to 5\n",
      "2024-12-04:23:47:17,919 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_30 from None to 5\n",
      "2024-12-04:23:47:17,920 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_31 from None to 5\n",
      "2024-12-04:23:47:17,920 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_32 from None to 5\n",
      "2024-12-04:23:47:17,921 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_33 from None to 5\n",
      "2024-12-04:23:47:17,922 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_34 from None to 5\n",
      "2024-12-04:23:47:17,922 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_35 from None to 5\n",
      "2024-12-04:23:47:17,923 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_36 from None to 5\n",
      "2024-12-04:23:47:17,923 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_37 from None to 5\n",
      "2024-12-04:23:47:17,924 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_38 from None to 5\n",
      "2024-12-04:23:47:17,924 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_39 from None to 5\n",
      "2024-12-04:23:47:17,925 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_40 from None to 5\n",
      "2024-12-04:23:47:17,925 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_41 from None to 5\n",
      "2024-12-04:23:47:17,926 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_42 from None to 5\n",
      "2024-12-04:23:47:17,926 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_43 from None to 5\n",
      "2024-12-04:23:47:17,927 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_44 from None to 5\n",
      "2024-12-04:23:47:17,927 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_45 from None to 5\n",
      "2024-12-04:23:47:17,928 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_46 from None to 5\n",
      "2024-12-04:23:47:17,928 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_47 from None to 5\n",
      "2024-12-04:23:47:17,929 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_48 from None to 5\n",
      "2024-12-04:23:47:17,930 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_49 from None to 5\n",
      "2024-12-04:23:47:17,930 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_50 from None to 5\n",
      "2024-12-04:23:47:17,931 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_51 from None to 5\n",
      "2024-12-04:23:47:17,931 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_52 from None to 5\n",
      "2024-12-04:23:47:17,932 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_53 from None to 5\n",
      "2024-12-04:23:47:17,932 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_54 from None to 5\n",
      "2024-12-04:23:47:17,933 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_55 from None to 5\n",
      "2024-12-04:23:47:17,933 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_56 from None to 5\n",
      "2024-12-04:23:47:17,934 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_57 from None to 5\n",
      "2024-12-04:23:47:17,934 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_58 from None to 5\n",
      "2024-12-04:23:47:17,935 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_59 from None to 5\n",
      "2024-12-04:23:47:17,935 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_60 from None to 5\n",
      "2024-12-04:23:47:17,936 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_61 from None to 5\n",
      "2024-12-04:23:47:17,936 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_62 from None to 5\n",
      "2024-12-04:23:47:17,937 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_63 from None to 5\n",
      "2024-12-04:23:47:17,937 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_64 from None to 5\n",
      "2024-12-04:23:47:17,937 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_65 from None to 5\n",
      "2024-12-04:23:47:17,938 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_66 from None to 5\n",
      "2024-12-04:23:47:17,938 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_67 from None to 5\n",
      "2024-12-04:23:47:17,939 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_68 from None to 5\n",
      "2024-12-04:23:47:17,939 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_69 from None to 5\n",
      "2024-12-04:23:47:17,940 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_70 from None to 5\n",
      "2024-12-04:23:47:17,940 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_71 from None to 5\n",
      "2024-12-04:23:47:17,941 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_72 from None to 5\n",
      "2024-12-04:23:47:17,941 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_73 from None to 5\n",
      "2024-12-04:23:47:17,942 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_74 from None to 5\n",
      "2024-12-04:23:47:17,942 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_75 from None to 5\n",
      "2024-12-04:23:47:17,943 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_76 from None to 5\n",
      "2024-12-04:23:47:17,943 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_77 from None to 5\n",
      "2024-12-04:23:47:17,944 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_78 from None to 5\n",
      "2024-12-04:23:47:17,944 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_79 from None to 5\n",
      "2024-12-04:23:47:17,945 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_80 from None to 5\n",
      "2024-12-04:23:47:17,951 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_81 from None to 5\n",
      "2024-12-04:23:47:17,951 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_82 from None to 5\n",
      "2024-12-04:23:47:17,951 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_83 from None to 5\n",
      "2024-12-04:23:47:17,952 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_84 from None to 5\n",
      "2024-12-04:23:47:17,952 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_85 from None to 5\n",
      "2024-12-04:23:47:17,953 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_86 from None to 5\n",
      "2024-12-04:23:47:17,954 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_87 from None to 5\n",
      "2024-12-04:23:47:17,954 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_88 from None to 5\n",
      "2024-12-04:23:47:17,955 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_89 from None to 5\n",
      "2024-12-04:23:47:17,955 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_90 from None to 5\n",
      "2024-12-04:23:47:17,955 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_91 from None to 5\n",
      "2024-12-04:23:47:17,956 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_92 from None to 5\n",
      "2024-12-04:23:47:17,957 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_93 from None to 5\n",
      "2024-12-04:23:47:17,957 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_94 from None to 5\n",
      "2024-12-04:23:47:17,958 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_95 from None to 5\n",
      "2024-12-04:23:47:17,958 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_96 from None to 5\n",
      "2024-12-04:23:47:17,958 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_97 from None to 5\n",
      "2024-12-04:23:47:17,959 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_98 from None to 5\n",
      "2024-12-04:23:47:17,959 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_99 from None to 5\n",
      "2024-12-04:23:47:17,960 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_100 from None to 5\n",
      "2024-12-04:23:47:17,960 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_101 from None to 5\n",
      "2024-12-04:23:47:17,961 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_102 from None to 5\n",
      "2024-12-04:23:47:17,961 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_103 from None to 5\n",
      "2024-12-04:23:47:17,962 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_104 from None to 5\n",
      "2024-12-04:23:47:17,962 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_105 from None to 5\n",
      "2024-12-04:23:47:17,963 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_106 from None to 5\n",
      "2024-12-04:23:47:17,963 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_107 from None to 5\n",
      "2024-12-04:23:47:17,964 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_108 from None to 5\n",
      "2024-12-04:23:47:17,964 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_109 from None to 5\n",
      "2024-12-04:23:47:17,965 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_110 from None to 5\n",
      "2024-12-04:23:47:17,965 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_111 from None to 5\n",
      "2024-12-04:23:47:17,966 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_112 from None to 5\n",
      "2024-12-04:23:47:17,966 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_113 from None to 5\n",
      "2024-12-04:23:47:17,967 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_114 from None to 5\n",
      "2024-12-04:23:47:17,967 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_115 from None to 5\n",
      "2024-12-04:23:47:17,967 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_116 from None to 5\n",
      "2024-12-04:23:47:17,968 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_117 from None to 5\n",
      "2024-12-04:23:47:17,968 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_118 from None to 5\n",
      "2024-12-04:23:47:17,968 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_119 from None to 5\n",
      "2024-12-04:23:47:17,969 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_120 from None to 5\n",
      "2024-12-04:23:47:17,970 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_121 from None to 5\n",
      "2024-12-04:23:47:17,970 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_122 from None to 5\n",
      "2024-12-04:23:47:17,971 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_123 from None to 5\n",
      "2024-12-04:23:47:17,971 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_124 from None to 5\n",
      "2024-12-04:23:47:17,972 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_125 from None to 5\n",
      "2024-12-04:23:47:17,972 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_126 from None to 5\n",
      "2024-12-04:23:47:17,973 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_127 from None to 5\n",
      "2024-12-04:23:47:17,973 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_128 from None to 5\n",
      "2024-12-04:23:47:17,974 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_129 from None to 5\n",
      "2024-12-04:23:47:17,974 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_130 from None to 5\n",
      "2024-12-04:23:47:17,974 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_131 from None to 5\n",
      "2024-12-04:23:47:17,975 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_132 from None to 5\n",
      "2024-12-04:23:47:17,975 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_133 from None to 5\n",
      "2024-12-04:23:47:17,976 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_134 from None to 5\n",
      "2024-12-04:23:47:17,976 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_135 from None to 5\n",
      "2024-12-04:23:47:17,976 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_136 from None to 5\n",
      "2024-12-04:23:47:17,977 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_137 from None to 5\n",
      "2024-12-04:23:47:17,977 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_138 from None to 5\n",
      "2024-12-04:23:47:17,978 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_139 from None to 5\n",
      "2024-12-04:23:47:17,978 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_140 from None to 5\n",
      "2024-12-04:23:47:17,978 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_141 from None to 5\n",
      "2024-12-04:23:47:17,979 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_142 from None to 5\n",
      "2024-12-04:23:47:17,979 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_143 from None to 5\n",
      "2024-12-04:23:47:17,979 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_144 from None to 5\n",
      "2024-12-04:23:47:17,980 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_145 from None to 5\n",
      "2024-12-04:23:47:17,981 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_146 from None to 5\n",
      "2024-12-04:23:47:17,981 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_147 from None to 5\n",
      "2024-12-04:23:47:17,981 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_148 from None to 5\n",
      "2024-12-04:23:47:17,982 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_149 from None to 5\n",
      "2024-12-04:23:47:17,982 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_150 from None to 5\n",
      "2024-12-04:23:47:17,984 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_151 from None to 5\n",
      "2024-12-04:23:47:17,984 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_152 from None to 5\n",
      "2024-12-04:23:47:17,984 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_153 from None to 5\n",
      "2024-12-04:23:47:17,985 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_154 from None to 5\n",
      "2024-12-04:23:47:17,985 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_155 from None to 5\n",
      "2024-12-04:23:47:17,986 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_156 from None to 5\n",
      "2024-12-04:23:47:17,986 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_157 from None to 5\n",
      "2024-12-04:23:47:17,986 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_158 from None to 5\n",
      "2024-12-04:23:47:17,987 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_159 from None to 5\n",
      "2024-12-04:23:47:17,988 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_160 from None to 5\n",
      "2024-12-04:23:47:17,988 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_161 from None to 5\n",
      "2024-12-04:23:47:17,988 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_162 from None to 5\n",
      "2024-12-04:23:47:17,989 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_163 from None to 5\n",
      "2024-12-04:23:47:17,989 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_164 from None to 5\n",
      "2024-12-04:23:47:17,989 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_165 from None to 5\n",
      "2024-12-04:23:47:17,991 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_166 from None to 5\n",
      "2024-12-04:23:47:17,991 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_167 from None to 5\n",
      "2024-12-04:23:47:17,991 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_168 from None to 5\n",
      "2024-12-04:23:47:17,992 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_169 from None to 5\n",
      "2024-12-04:23:47:17,992 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_170 from None to 5\n",
      "2024-12-04:23:47:17,993 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_171 from None to 5\n",
      "2024-12-04:23:47:17,993 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_172 from None to 5\n",
      "2024-12-04:23:47:17,993 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_173 from None to 5\n",
      "2024-12-04:23:47:17,994 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_174 from None to 5\n",
      "2024-12-04:23:47:17,994 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_175 from None to 5\n",
      "2024-12-04:23:47:17,994 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_176 from None to 5\n",
      "2024-12-04:23:47:17,995 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_177 from None to 5\n",
      "2024-12-04:23:47:17,995 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_178 from None to 5\n",
      "2024-12-04:23:47:17,995 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_179 from None to 5\n",
      "2024-12-04:23:47:17,996 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_180 from None to 5\n",
      "2024-12-04:23:47:17,996 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_181 from None to 5\n",
      "2024-12-04:23:47:17,996 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_182 from None to 5\n",
      "2024-12-04:23:47:17,997 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_183 from None to 5\n",
      "2024-12-04:23:47:17,997 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_184 from None to 5\n",
      "2024-12-04:23:47:17,997 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_185 from None to 5\n",
      "2024-12-04:23:47:17,998 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_186 from None to 5\n",
      "2024-12-04:23:47:17,998 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_187 from None to 5\n",
      "2024-12-04:23:47:17,999 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_188 from None to 5\n",
      "2024-12-04:23:47:17,999 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_189 from None to 5\n",
      "2024-12-04:23:47:18,000 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_190 from None to 5\n",
      "2024-12-04:23:47:18,000 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_191 from None to 5\n",
      "2024-12-04:23:47:18,001 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_192 from None to 5\n",
      "2024-12-04:23:47:18,001 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_193 from None to 5\n",
      "2024-12-04:23:47:18,001 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_194 from None to 5\n",
      "2024-12-04:23:47:18,002 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_195 from None to 5\n",
      "2024-12-04:23:47:18,002 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_196 from None to 5\n",
      "2024-12-04:23:47:18,002 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_197 from None to 5\n",
      "2024-12-04:23:47:18,003 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_198 from None to 5\n",
      "2024-12-04:23:47:18,003 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_college_biology_199 from None to 5\n",
      "2024-12-04:23:47:18,017 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_0 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 140.32it/s]\u001b[A\n",
      "2024-12-04:23:47:18,049 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_1 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.13it/s]\u001b[A\n",
      "2024-12-04:23:47:18,079 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_2 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.94it/s]\u001b[A\n",
      "2024-12-04:23:47:18,110 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_3 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 162.48it/s]\u001b[A\n",
      "2024-12-04:23:47:18,135 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_4 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.46it/s]\u001b[A\n",
      "2024-12-04:23:47:18,166 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_5 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.53it/s]\u001b[A\n",
      "2024-12-04:23:47:18,198 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_6 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.02it/s]\u001b[A\n",
      "2024-12-04:23:47:18,229 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_7 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.28it/s]\u001b[A\n",
      "2024-12-04:23:47:18,260 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_8 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.30it/s]\u001b[A\n",
      "2024-12-04:23:47:18,290 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_9 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 151.54it/s]\u001b[A\n",
      "2024-12-04:23:47:18,315 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_10 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 138.91it/s]\u001b[A\n",
      "2024-12-04:23:47:18,344 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_11 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 142.42it/s]\u001b[A\n",
      "2024-12-04:23:47:18,370 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_12 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 139.51it/s]\u001b[A\n",
      "2024-12-04:23:47:18,404 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_13 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.27it/s]\u001b[A\n",
      "2024-12-04:23:47:18,438 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_14 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 150.57it/s]\u001b[A\n",
      "2024-12-04:23:47:18,466 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_15 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 145.24it/s]\u001b[A\n",
      "2024-12-04:23:47:18,499 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_16 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.95it/s]\u001b[A\n",
      "2024-12-04:23:47:18,531 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_17 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.24it/s]\u001b[A\n",
      "2024-12-04:23:47:18,560 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_18 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 146.69it/s]\u001b[A\n",
      "2024-12-04:23:47:18,593 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_19 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.58it/s]\u001b[A\n",
      "2024-12-04:23:47:18,626 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_20 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 130.33it/s]\u001b[A\n",
      "2024-12-04:23:47:18,652 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_21 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.21it/s]\u001b[A\n",
      "2024-12-04:23:47:18,686 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_22 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 140.31it/s]\u001b[A\n",
      "2024-12-04:23:47:18,718 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_23 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 138.66it/s]\u001b[A\n",
      "2024-12-04:23:47:18,755 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_24 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 134.39it/s]\u001b[A\n",
      "2024-12-04:23:47:18,790 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_25 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 136.96it/s]\u001b[A\n",
      "2024-12-04:23:47:18,824 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_26 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 141.16it/s]\u001b[A\n",
      "2024-12-04:23:47:18,857 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_27 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 140.41it/s]\u001b[A\n",
      "2024-12-04:23:47:18,894 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_28 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 138.42it/s]\u001b[A\n",
      "2024-12-04:23:47:18,929 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_29 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 149.52it/s]\u001b[A\n",
      "2024-12-04:23:47:18,961 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_30 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 133.05it/s]\u001b[A\n",
      "2024-12-04:23:47:18,991 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_31 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.56it/s]\u001b[A\n",
      "2024-12-04:23:47:19,024 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_32 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 138.77it/s]\u001b[A\n",
      "2024-12-04:23:47:19,058 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_33 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 139.03it/s]\u001b[A\n",
      "2024-12-04:23:47:19,094 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_34 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 131.65it/s]\u001b[A\n",
      "2024-12-04:23:47:19,130 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_35 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 140.22it/s]\u001b[A\n",
      "2024-12-04:23:47:19,162 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_36 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 138.49it/s]\u001b[A\n",
      "2024-12-04:23:47:19,198 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_37 on rank 0...\n",
      "\n",
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 78.30it/s]\u001b[A\n",
      "2024-12-04:23:47:19,252 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_38 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.40it/s]\u001b[A\n",
      "2024-12-04:23:47:19,281 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_39 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.95it/s]\u001b[A\n",
      "2024-12-04:23:47:19,311 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_40 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.65it/s]\u001b[A\n",
      "2024-12-04:23:47:19,340 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_41 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.65it/s]\u001b[A\n",
      "2024-12-04:23:47:19,370 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_42 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.71it/s]\u001b[A\n",
      "2024-12-04:23:47:19,401 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_43 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.00it/s]\u001b[A\n",
      "2024-12-04:23:47:19,431 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_44 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.03it/s]\u001b[A\n",
      "2024-12-04:23:47:19,461 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_45 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.92it/s]\u001b[A\n",
      "2024-12-04:23:47:19,491 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_46 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 141.17it/s]\u001b[A\n",
      "2024-12-04:23:47:19,524 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_47 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.20it/s]\u001b[A\n",
      "2024-12-04:23:47:19,554 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_48 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.03it/s]\u001b[A\n",
      "2024-12-04:23:47:19,584 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_49 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 165.79it/s]\u001b[A\n",
      "2024-12-04:23:47:19,607 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_50 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.00it/s]\u001b[A\n",
      "2024-12-04:23:47:19,637 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_51 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.93it/s]\u001b[A\n",
      "2024-12-04:23:47:19,669 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_52 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.90it/s]\u001b[A\n",
      "2024-12-04:23:47:19,699 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_53 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.99it/s]\u001b[A\n",
      "2024-12-04:23:47:19,730 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_54 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.36it/s]\u001b[A\n",
      "2024-12-04:23:47:19,760 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_55 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.35it/s]\u001b[A\n",
      "2024-12-04:23:47:19,790 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_56 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.55it/s]\u001b[A\n",
      "2024-12-04:23:47:19,821 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_57 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.18it/s]\u001b[A\n",
      "2024-12-04:23:47:19,851 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_58 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 146.83it/s]\u001b[A\n",
      "2024-12-04:23:47:19,885 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_59 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.88it/s]\u001b[A\n",
      "2024-12-04:23:47:19,914 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_60 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.31it/s]\u001b[A\n",
      "2024-12-04:23:47:19,943 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_61 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.91it/s]\u001b[A\n",
      "2024-12-04:23:47:19,973 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_62 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 158.18it/s]\u001b[A\n",
      "2024-12-04:23:47:19,998 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_63 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 153.87it/s]\u001b[A\n",
      "2024-12-04:23:47:20,022 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_64 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.33it/s]\u001b[A\n",
      "2024-12-04:23:47:20,051 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_65 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.45it/s]\u001b[A\n",
      "2024-12-04:23:47:20,081 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_66 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.34it/s]\u001b[A\n",
      "2024-12-04:23:47:20,111 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_67 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 162.44it/s]\u001b[A\n",
      "2024-12-04:23:47:20,134 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_68 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 163.20it/s]\u001b[A\n",
      "2024-12-04:23:47:20,158 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_69 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.51it/s]\u001b[A\n",
      "2024-12-04:23:47:20,187 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_70 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.56it/s]\u001b[A\n",
      "2024-12-04:23:47:20,217 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_71 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.96it/s]\u001b[A\n",
      "2024-12-04:23:47:20,247 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_72 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.37it/s]\u001b[A\n",
      "2024-12-04:23:47:20,278 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_73 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.07it/s]\u001b[A\n",
      "2024-12-04:23:47:20,308 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_74 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.97it/s]\u001b[A\n",
      "2024-12-04:23:47:20,338 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_75 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.65it/s]\u001b[A\n",
      "2024-12-04:23:47:20,371 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_76 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.33it/s]\u001b[A\n",
      "2024-12-04:23:47:20,400 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_77 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.61it/s]\u001b[A\n",
      "2024-12-04:23:47:20,429 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_78 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.88it/s]\u001b[A\n",
      "2024-12-04:23:47:20,459 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_79 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.51it/s]\u001b[A\n",
      "2024-12-04:23:47:20,488 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_80 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.66it/s]\u001b[A\n",
      "2024-12-04:23:47:20,518 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_81 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.62it/s]\u001b[A\n",
      "2024-12-04:23:47:20,547 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_82 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.91it/s]\u001b[A\n",
      "2024-12-04:23:47:20,576 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_83 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.00it/s]\u001b[A\n",
      "2024-12-04:23:47:20,607 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_84 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.50it/s]\u001b[A\n",
      "2024-12-04:23:47:20,637 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_85 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.51it/s]\u001b[A\n",
      "2024-12-04:23:47:20,667 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_86 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 149.98it/s]\u001b[A\n",
      "2024-12-04:23:47:20,691 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_87 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.46it/s]\u001b[A\n",
      "2024-12-04:23:47:20,721 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_88 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.34it/s]\u001b[A\n",
      "2024-12-04:23:47:20,751 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_89 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 150.62it/s]\u001b[A\n",
      "2024-12-04:23:47:20,782 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_90 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.35it/s]\u001b[A\n",
      "2024-12-04:23:47:20,813 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_91 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.99it/s]\u001b[A\n",
      "2024-12-04:23:47:20,844 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_92 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.09it/s]\u001b[A\n",
      "2024-12-04:23:47:20,874 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_93 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.11it/s]\u001b[A\n",
      "2024-12-04:23:47:20,904 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_94 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 162.66it/s]\u001b[A\n",
      "2024-12-04:23:47:20,928 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_95 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.72it/s]\u001b[A\n",
      "2024-12-04:23:47:20,957 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_96 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.13it/s]\u001b[A\n",
      "2024-12-04:23:47:20,987 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_97 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.75it/s]\u001b[A\n",
      "2024-12-04:23:47:21,016 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_98 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.94it/s]\u001b[A\n",
      "2024-12-04:23:47:21,046 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_99 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.72it/s]\u001b[A\n",
      "2024-12-04:23:47:21,076 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_100 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 167.46it/s]\u001b[A\n",
      "2024-12-04:23:47:21,105 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_101 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.04it/s]\u001b[A\n",
      "2024-12-04:23:47:21,135 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_102 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.94it/s]\u001b[A\n",
      "2024-12-04:23:47:21,165 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_103 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 162.29it/s]\u001b[A\n",
      "2024-12-04:23:47:21,188 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_104 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.09it/s]\u001b[A\n",
      "2024-12-04:23:47:21,218 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_105 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 160.71it/s]\u001b[A\n",
      "2024-12-04:23:47:21,242 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_106 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.09it/s]\u001b[A\n",
      "2024-12-04:23:47:21,273 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_107 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 148.13it/s]\u001b[A\n",
      "2024-12-04:23:47:21,297 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_108 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.96it/s]\u001b[A\n",
      "2024-12-04:23:47:21,327 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_109 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.92it/s]\u001b[A\n",
      "2024-12-04:23:47:21,356 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_110 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.46it/s]\u001b[A\n",
      "2024-12-04:23:47:21,386 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_111 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.16it/s]\u001b[A\n",
      "2024-12-04:23:47:21,415 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_112 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.11it/s]\u001b[A\n",
      "2024-12-04:23:47:21,445 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_113 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.90it/s]\u001b[A\n",
      "2024-12-04:23:47:21,476 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_114 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 164.34it/s]\u001b[A\n",
      "2024-12-04:23:47:21,500 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_115 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 135.27it/s]\u001b[A\n",
      "2024-12-04:23:47:21,534 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_116 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.19it/s]\u001b[A\n",
      "2024-12-04:23:47:21,563 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_117 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.13it/s]\u001b[A\n",
      "2024-12-04:23:47:21,594 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_118 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.22it/s]\u001b[A\n",
      "2024-12-04:23:47:21,623 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_119 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.53it/s]\u001b[A\n",
      "2024-12-04:23:47:21,652 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_120 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 164.49it/s]\u001b[A\n",
      "2024-12-04:23:47:21,676 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_121 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.70it/s]\u001b[A\n",
      "2024-12-04:23:47:21,706 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_122 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.06it/s]\u001b[A\n",
      "2024-12-04:23:47:21,736 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_123 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.71it/s]\u001b[A\n",
      "2024-12-04:23:47:21,765 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_124 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.61it/s]\u001b[A\n",
      "2024-12-04:23:47:21,796 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_125 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.54it/s]\u001b[A\n",
      "2024-12-04:23:47:21,825 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_126 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 158.95it/s]\u001b[A\n",
      "2024-12-04:23:47:21,850 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_127 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.71it/s]\u001b[A\n",
      "2024-12-04:23:47:21,880 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_128 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.26it/s]\u001b[A\n",
      "2024-12-04:23:47:21,910 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_129 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.85it/s]\u001b[A\n",
      "2024-12-04:23:47:21,940 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_130 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.22it/s]\u001b[A\n",
      "2024-12-04:23:47:21,969 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_131 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.05it/s]\u001b[A\n",
      "2024-12-04:23:47:21,998 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_132 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.79it/s]\u001b[A\n",
      "2024-12-04:23:47:22,028 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_133 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.57it/s]\u001b[A\n",
      "2024-12-04:23:47:22,057 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_134 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 166.64it/s]\u001b[A\n",
      "2024-12-04:23:47:22,080 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_135 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.06it/s]\u001b[A\n",
      "2024-12-04:23:47:22,111 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_136 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.49it/s]\u001b[A\n",
      "2024-12-04:23:47:22,141 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_137 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.66it/s]\u001b[A\n",
      "2024-12-04:23:47:22,172 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_138 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.07it/s]\u001b[A\n",
      "2024-12-04:23:47:22,201 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_139 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 167.19it/s]\u001b[A\n",
      "2024-12-04:23:47:22,231 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_140 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.17it/s]\u001b[A\n",
      "2024-12-04:23:47:22,261 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_141 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.48it/s]\u001b[A\n",
      "2024-12-04:23:47:22,291 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_142 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.61it/s]\u001b[A\n",
      "2024-12-04:23:47:22,319 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_143 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.43it/s]\u001b[A\n",
      "2024-12-04:23:47:22,349 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_144 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.19it/s]\u001b[A\n",
      "2024-12-04:23:47:22,378 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_145 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.02it/s]\u001b[A\n",
      "2024-12-04:23:47:22,408 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_146 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.48it/s]\u001b[A\n",
      "2024-12-04:23:47:22,439 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_147 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.43it/s]\u001b[A\n",
      "2024-12-04:23:47:22,470 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_148 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.98it/s]\u001b[A\n",
      "2024-12-04:23:47:22,500 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_149 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.00it/s]\u001b[A\n",
      "2024-12-04:23:47:22,530 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_150 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.04it/s]\u001b[A\n",
      "2024-12-04:23:47:22,560 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_151 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.77it/s]\u001b[A\n",
      "2024-12-04:23:47:22,591 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_152 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.69it/s]\u001b[A\n",
      "2024-12-04:23:47:22,622 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_153 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.01it/s]\u001b[A\n",
      "2024-12-04:23:47:22,652 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_154 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.58it/s]\u001b[A\n",
      "2024-12-04:23:47:22,682 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_155 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.71it/s]\u001b[A\n",
      "2024-12-04:23:47:22,713 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_156 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.58it/s]\u001b[A\n",
      "2024-12-04:23:47:22,743 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_157 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.54it/s]\u001b[A\n",
      "2024-12-04:23:47:22,773 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_158 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 147.33it/s]\u001b[A\n",
      "2024-12-04:23:47:22,804 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_159 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.29it/s]\u001b[A\n",
      "2024-12-04:23:47:22,834 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_160 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.10it/s]\u001b[A\n",
      "2024-12-04:23:47:22,865 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_161 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.41it/s]\u001b[A\n",
      "2024-12-04:23:47:22,895 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_162 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.57it/s]\u001b[A\n",
      "2024-12-04:23:47:22,926 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_163 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.99it/s]\u001b[A\n",
      "2024-12-04:23:47:22,956 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_164 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 156.21it/s]\u001b[A\n",
      "2024-12-04:23:47:22,980 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_165 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.65it/s]\u001b[A\n",
      "2024-12-04:23:47:23,009 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_166 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.73it/s]\u001b[A\n",
      "2024-12-04:23:47:23,039 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_167 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.38it/s]\u001b[A\n",
      "2024-12-04:23:47:23,069 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_168 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 163.94it/s]\u001b[A\n",
      "2024-12-04:23:47:23,093 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_169 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 167.95it/s]\u001b[A\n",
      "2024-12-04:23:47:23,122 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_170 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.90it/s]\u001b[A\n",
      "2024-12-04:23:47:23,152 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_171 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.00it/s]\u001b[A\n",
      "2024-12-04:23:47:23,183 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_172 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.66it/s]\u001b[A\n",
      "2024-12-04:23:47:23,214 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_173 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.57it/s]\u001b[A\n",
      "2024-12-04:23:47:23,244 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_174 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.16it/s]\u001b[A\n",
      "2024-12-04:23:47:23,273 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_175 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.53it/s]\u001b[A\n",
      "2024-12-04:23:47:23,303 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_176 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.15it/s]\u001b[A\n",
      "2024-12-04:23:47:23,334 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_177 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.29it/s]\u001b[A\n",
      "2024-12-04:23:47:23,363 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_178 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.82it/s]\u001b[A\n",
      "2024-12-04:23:47:23,393 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_179 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.07it/s]\u001b[A\n",
      "2024-12-04:23:47:23,423 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_180 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.27it/s]\u001b[A\n",
      "2024-12-04:23:47:23,452 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_181 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.73it/s]\u001b[A\n",
      "2024-12-04:23:47:23,482 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_182 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.21it/s]\u001b[A\n",
      "2024-12-04:23:47:23,513 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_183 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.21it/s]\u001b[A\n",
      "2024-12-04:23:47:23,542 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_184 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.31it/s]\u001b[A\n",
      "2024-12-04:23:47:23,573 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_185 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.01it/s]\u001b[A\n",
      "2024-12-04:23:47:23,603 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_186 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.97it/s]\u001b[A\n",
      "2024-12-04:23:47:23,633 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_187 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.74it/s]\u001b[A\n",
      "2024-12-04:23:47:23,665 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_188 on rank 0...\n",
      "\n",
      "100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 76.52it/s]\u001b[A\n",
      "2024-12-04:23:47:23,717 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_189 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.64it/s]\u001b[A\n",
      "2024-12-04:23:47:23,747 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_190 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.34it/s]\u001b[A\n",
      "2024-12-04:23:47:23,777 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_191 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.12it/s]\u001b[A\n",
      "2024-12-04:23:47:23,808 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_192 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.46it/s]\u001b[A\n",
      "2024-12-04:23:47:23,838 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_193 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.00it/s]\u001b[A\n",
      "2024-12-04:23:47:23,868 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_194 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.16it/s]\u001b[A\n",
      "2024-12-04:23:47:23,898 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_195 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.83it/s]\u001b[A\n",
      "2024-12-04:23:47:23,927 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_196 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.54it/s]\u001b[A\n",
      "2024-12-04:23:47:23,957 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_197 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.01it/s]\u001b[A\n",
      "2024-12-04:23:47:23,988 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_198 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 147.24it/s]\u001b[A\n",
      "2024-12-04:23:47:24,020 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_college_biology_199 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.59it/s]\u001b[A\n",
      "2024-12-04:23:47:24,049 INFO     [evaluator.py:503] Running loglikelihood requests\n",
      "\n",
      "Running loglikelihood requests:   0%|                                                                                                                                              | 0/2304 [00:00<?, ?it/s]\u001b[A\n",
      "Running loglikelihood requests:   0%|                                                                                                                                      | 1/2304 [00:00<13:50,  2.77it/s]\u001b[A\n",
      "Running loglikelihood requests:   1%|▉                                                                                                                                    | 17/2304 [00:00<01:18, 29.30it/s]\u001b[A\n",
      "Running loglikelihood requests:   1%|█▉                                                                                                                                   | 33/2304 [00:00<00:58, 38.92it/s]\u001b[A\n",
      "Running loglikelihood requests:   2%|██▊                                                                                                                                  | 49/2304 [00:01<00:51, 43.84it/s]\u001b[A\n",
      "Running loglikelihood requests:   3%|███▊                                                                                                                                 | 65/2304 [00:01<00:47, 46.96it/s]\u001b[A\n",
      "Running loglikelihood requests:   4%|████▋                                                                                                                                | 81/2304 [00:01<00:45, 49.02it/s]\u001b[A\n",
      "Running loglikelihood requests:   4%|█████▌                                                                                                                               | 97/2304 [00:02<00:43, 50.54it/s]\u001b[A\n",
      "Running loglikelihood requests:   5%|██████▍                                                                                                                             | 113/2304 [00:02<00:42, 51.70it/s]\u001b[A\n",
      "Running loglikelihood requests:   6%|███████▍                                                                                                                            | 129/2304 [00:02<00:41, 52.44it/s]\u001b[A\n",
      "Running loglikelihood requests:   6%|████████▎                                                                                                                           | 145/2304 [00:03<00:40, 52.97it/s]\u001b[A\n",
      "Running loglikelihood requests:   7%|█████████▏                                                                                                                          | 161/2304 [00:03<00:39, 53.88it/s]\u001b[A\n",
      "Running loglikelihood requests:   8%|██████████▏                                                                                                                         | 177/2304 [00:03<00:38, 54.62it/s]\u001b[A\n",
      "Running loglikelihood requests:   8%|███████████                                                                                                                         | 193/2304 [00:03<00:38, 55.14it/s]\u001b[A\n",
      "Running loglikelihood requests:   9%|███████████▉                                                                                                                        | 209/2304 [00:04<00:37, 55.54it/s]\u001b[A\n",
      "Running loglikelihood requests:  10%|████████████▉                                                                                                                       | 225/2304 [00:04<00:36, 56.22it/s]\u001b[A\n",
      "Running loglikelihood requests:  10%|█████████████▊                                                                                                                      | 241/2304 [00:04<00:36, 56.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  11%|██████████████▋                                                                                                                     | 257/2304 [00:05<00:35, 56.87it/s]\u001b[A\n",
      "Running loglikelihood requests:  12%|███████████████▋                                                                                                                    | 273/2304 [00:05<00:35, 57.09it/s]\u001b[A\n",
      "Running loglikelihood requests:  13%|████████████████▌                                                                                                                   | 289/2304 [00:05<00:35, 57.26it/s]\u001b[A\n",
      "Running loglikelihood requests:  13%|█████████████████▍                                                                                                                  | 305/2304 [00:05<00:34, 57.38it/s]\u001b[A\n",
      "Running loglikelihood requests:  14%|██████████████████▍                                                                                                                 | 321/2304 [00:06<00:34, 57.58it/s]\u001b[A\n",
      "Running loglikelihood requests:  15%|███████████████████▎                                                                                                                | 337/2304 [00:06<00:34, 57.70it/s]\u001b[A\n",
      "Running loglikelihood requests:  15%|████████████████████▏                                                                                                               | 353/2304 [00:06<00:33, 58.22it/s]\u001b[A\n",
      "Running loglikelihood requests:  16%|█████████████████████▏                                                                                                              | 369/2304 [00:06<00:33, 58.53it/s]\u001b[A\n",
      "Running loglikelihood requests:  17%|██████████████████████                                                                                                              | 385/2304 [00:07<00:32, 58.80it/s]\u001b[A\n",
      "Running loglikelihood requests:  17%|██████████████████████▉                                                                                                             | 401/2304 [00:07<00:32, 58.98it/s]\u001b[A\n",
      "Running loglikelihood requests:  18%|███████████████████████▉                                                                                                            | 417/2304 [00:07<00:31, 59.01it/s]\u001b[A\n",
      "Running loglikelihood requests:  19%|████████████████████████▊                                                                                                           | 433/2304 [00:08<00:31, 59.17it/s]\u001b[A\n",
      "Running loglikelihood requests:  19%|█████████████████████████▋                                                                                                          | 449/2304 [00:08<00:31, 59.28it/s]\u001b[A\n",
      "Running loglikelihood requests:  20%|██████████████████████████▋                                                                                                         | 465/2304 [00:08<00:31, 59.29it/s]\u001b[A\n",
      "Running loglikelihood requests:  21%|███████████████████████████▌                                                                                                        | 481/2304 [00:08<00:30, 59.37it/s]\u001b[A\n",
      "Running loglikelihood requests:  22%|████████████████████████████▍                                                                                                       | 497/2304 [00:09<00:30, 59.36it/s]\u001b[A\n",
      "Running loglikelihood requests:  22%|█████████████████████████████▍                                                                                                      | 513/2304 [00:09<00:29, 59.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  23%|██████████████████████████████▎                                                                                                     | 529/2304 [00:09<00:29, 59.94it/s]\u001b[A\n",
      "Running loglikelihood requests:  24%|███████████████████████████████▏                                                                                                    | 545/2304 [00:09<00:29, 60.13it/s]\u001b[A\n",
      "Running loglikelihood requests:  24%|████████████████████████████████▏                                                                                                   | 561/2304 [00:10<00:28, 60.22it/s]\u001b[A\n",
      "Running loglikelihood requests:  25%|█████████████████████████████████                                                                                                   | 577/2304 [00:10<00:28, 60.29it/s]\u001b[A\n",
      "Running loglikelihood requests:  26%|█████████████████████████████████▉                                                                                                  | 593/2304 [00:10<00:28, 60.36it/s]\u001b[A\n",
      "Running loglikelihood requests:  26%|██████████████████████████████████▉                                                                                                 | 609/2304 [00:10<00:28, 60.38it/s]\u001b[A\n",
      "Running loglikelihood requests:  27%|███████████████████████████████████▊                                                                                                | 625/2304 [00:11<00:27, 60.45it/s]\u001b[A\n",
      "Running loglikelihood requests:  28%|████████████████████████████████████▋                                                                                               | 641/2304 [00:11<00:27, 60.51it/s]\u001b[A\n",
      "Running loglikelihood requests:  29%|█████████████████████████████████████▋                                                                                              | 657/2304 [00:11<00:27, 60.57it/s]\u001b[A\n",
      "Running loglikelihood requests:  29%|██████████████████████████████████████▌                                                                                             | 673/2304 [00:12<00:26, 60.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  30%|███████████████████████████████████████▍                                                                                            | 689/2304 [00:12<00:26, 60.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  31%|████████████████████████████████████████▍                                                                                           | 705/2304 [00:12<00:26, 60.62it/s]\u001b[A\n",
      "Running loglikelihood requests:  31%|█████████████████████████████████████████▎                                                                                          | 721/2304 [00:12<00:26, 60.75it/s]\u001b[A\n",
      "Running loglikelihood requests:  32%|██████████████████████████████████████████▏                                                                                         | 737/2304 [00:13<00:25, 60.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  33%|███████████████████████████████████████████▏                                                                                        | 753/2304 [00:13<00:25, 60.81it/s]\u001b[A\n",
      "Running loglikelihood requests:  33%|████████████████████████████████████████████                                                                                        | 769/2304 [00:13<00:25, 60.86it/s]\u001b[A\n",
      "Running loglikelihood requests:  34%|████████████████████████████████████████████▉                                                                                       | 785/2304 [00:13<00:24, 60.90it/s]\u001b[A\n",
      "Running loglikelihood requests:  35%|█████████████████████████████████████████████▉                                                                                      | 801/2304 [00:14<00:24, 60.91it/s]\u001b[A\n",
      "Running loglikelihood requests:  35%|██████████████████████████████████████████████▊                                                                                     | 817/2304 [00:14<00:24, 61.62it/s]\u001b[A\n",
      "Running loglikelihood requests:  36%|███████████████████████████████████████████████▋                                                                                    | 833/2304 [00:14<00:23, 62.15it/s]\u001b[A\n",
      "Running loglikelihood requests:  37%|████████████████████████████████████████████████▋                                                                                   | 849/2304 [00:14<00:23, 62.42it/s]\u001b[A\n",
      "Running loglikelihood requests:  38%|█████████████████████████████████████████████████▌                                                                                  | 865/2304 [00:15<00:22, 62.65it/s]\u001b[A\n",
      "Running loglikelihood requests:  38%|██████████████████████████████████████████████████▍                                                                                 | 881/2304 [00:15<00:22, 62.78it/s]\u001b[A\n",
      "Running loglikelihood requests:  39%|███████████████████████████████████████████████████▍                                                                                | 897/2304 [00:15<00:22, 62.91it/s]\u001b[A\n",
      "Running loglikelihood requests:  40%|████████████████████████████████████████████████████▎                                                                               | 913/2304 [00:15<00:22, 63.04it/s]\u001b[A\n",
      "Running loglikelihood requests:  40%|█████████████████████████████████████████████████████▏                                                                              | 929/2304 [00:16<00:21, 63.10it/s]\u001b[A\n",
      "Running loglikelihood requests:  41%|██████████████████████████████████████████████████████▏                                                                             | 945/2304 [00:16<00:21, 63.17it/s]\u001b[A\n",
      "Running loglikelihood requests:  42%|███████████████████████████████████████████████████████                                                                             | 961/2304 [00:16<00:21, 63.23it/s]\u001b[A\n",
      "Running loglikelihood requests:  42%|███████████████████████████████████████████████████████▉                                                                            | 977/2304 [00:16<00:20, 63.34it/s]\u001b[A\n",
      "Running loglikelihood requests:  43%|████████████████████████████████████████████████████████▉                                                                           | 993/2304 [00:17<00:20, 63.38it/s]\u001b[A\n",
      "Running loglikelihood requests:  44%|█████████████████████████████████████████████████████████▎                                                                         | 1009/2304 [00:17<00:20, 63.38it/s]\u001b[A\n",
      "Running loglikelihood requests:  44%|██████████████████████████████████████████████████████████▎                                                                        | 1025/2304 [00:17<00:20, 63.38it/s]\u001b[A\n",
      "Running loglikelihood requests:  45%|███████████████████████████████████████████████████████████▏                                                                       | 1041/2304 [00:17<00:19, 63.40it/s]\u001b[A\n",
      "Running loglikelihood requests:  46%|████████████████████████████████████████████████████████████                                                                       | 1057/2304 [00:18<00:19, 63.40it/s]\u001b[A\n",
      "Running loglikelihood requests:  47%|█████████████████████████████████████████████████████████████                                                                      | 1073/2304 [00:18<00:19, 63.43it/s]\u001b[A\n",
      "Running loglikelihood requests:  47%|█████████████████████████████████████████████████████████████▉                                                                     | 1089/2304 [00:18<00:19, 63.43it/s]\u001b[A\n",
      "Running loglikelihood requests:  48%|██████████████████████████████████████████████████████████████▊                                                                    | 1105/2304 [00:18<00:18, 63.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  49%|███████████████████████████████████████████████████████████████▋                                                                   | 1121/2304 [00:19<00:18, 63.47it/s]\u001b[A\n",
      "Running loglikelihood requests:  49%|████████████████████████████████████████████████████████████████▋                                                                  | 1137/2304 [00:19<00:18, 63.52it/s]\u001b[A\n",
      "Running loglikelihood requests:  50%|█████████████████████████████████████████████████████████████████▌                                                                 | 1153/2304 [00:19<00:18, 63.50it/s]\u001b[A\n",
      "Running loglikelihood requests:  51%|██████████████████████████████████████████████████████████████████▍                                                                | 1169/2304 [00:19<00:17, 63.54it/s]\u001b[A\n",
      "Running loglikelihood requests:  51%|███████████████████████████████████████████████████████████████████▍                                                               | 1185/2304 [00:20<00:17, 63.55it/s]\u001b[A\n",
      "Running loglikelihood requests:  52%|████████████████████████████████████████████████████████████████████▎                                                              | 1201/2304 [00:20<00:17, 63.56it/s]\u001b[A\n",
      "Running loglikelihood requests:  53%|█████████████████████████████████████████████████████████████████████▏                                                             | 1217/2304 [00:20<00:17, 63.53it/s]\u001b[A\n",
      "Running loglikelihood requests:  54%|██████████████████████████████████████████████████████████████████████                                                             | 1233/2304 [00:20<00:16, 63.49it/s]\u001b[A\n",
      "Running loglikelihood requests:  54%|███████████████████████████████████████████████████████████████████████                                                            | 1249/2304 [00:21<00:16, 63.45it/s]\u001b[A\n",
      "Running loglikelihood requests:  55%|███████████████████████████████████████████████████████████████████████▉                                                           | 1265/2304 [00:21<00:16, 63.85it/s]\u001b[A\n",
      "Running loglikelihood requests:  56%|████████████████████████████████████████████████████████████████████████▊                                                          | 1281/2304 [00:21<00:15, 64.01it/s]\u001b[A\n",
      "Running loglikelihood requests:  56%|█████████████████████████████████████████████████████████████████████████▋                                                         | 1297/2304 [00:21<00:15, 64.12it/s]\u001b[A\n",
      "Running loglikelihood requests:  57%|██████████████████████████████████████████████████████████████████████████▋                                                        | 1313/2304 [00:22<00:15, 64.29it/s]\u001b[A\n",
      "Running loglikelihood requests:  58%|███████████████████████████████████████████████████████████████████████████▌                                                       | 1329/2304 [00:22<00:15, 64.39it/s]\u001b[A\n",
      "Running loglikelihood requests:  58%|████████████████████████████████████████████████████████████████████████████▍                                                      | 1345/2304 [00:22<00:14, 64.41it/s]\u001b[A\n",
      "Running loglikelihood requests:  59%|█████████████████████████████████████████████████████████████████████████████▍                                                     | 1361/2304 [00:22<00:14, 64.52it/s]\u001b[A\n",
      "Running loglikelihood requests:  60%|██████████████████████████████████████████████████████████████████████████████▎                                                    | 1377/2304 [00:23<00:14, 64.57it/s]\u001b[A\n",
      "Running loglikelihood requests:  60%|███████████████████████████████████████████████████████████████████████████████▏                                                   | 1393/2304 [00:23<00:14, 64.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  61%|████████████████████████████████████████████████████████████████████████████████                                                   | 1409/2304 [00:23<00:13, 64.63it/s]\u001b[A\n",
      "Running loglikelihood requests:  62%|█████████████████████████████████████████████████████████████████████████████████                                                  | 1425/2304 [00:23<00:13, 64.64it/s]\u001b[A\n",
      "Running loglikelihood requests:  63%|█████████████████████████████████████████████████████████████████████████████████▉                                                 | 1441/2304 [00:24<00:13, 64.66it/s]\u001b[A\n",
      "Running loglikelihood requests:  63%|██████████████████████████████████████████████████████████████████████████████████▊                                                | 1457/2304 [00:24<00:13, 64.71it/s]\u001b[A\n",
      "Running loglikelihood requests:  64%|███████████████████████████████████████████████████████████████████████████████████▊                                               | 1473/2304 [00:24<00:12, 64.70it/s]\u001b[A\n",
      "Running loglikelihood requests:  65%|████████████████████████████████████████████████████████████████████████████████████▋                                              | 1489/2304 [00:24<00:12, 64.81it/s]\u001b[A\n",
      "Running loglikelihood requests:  65%|█████████████████████████████████████████████████████████████████████████████████████▌                                             | 1505/2304 [00:25<00:12, 64.83it/s]\u001b[A\n",
      "Running loglikelihood requests:  66%|██████████████████████████████████████████████████████████████████████████████████████▍                                            | 1521/2304 [00:25<00:12, 64.80it/s]\u001b[A\n",
      "Running loglikelihood requests:  67%|███████████████████████████████████████████████████████████████████████████████████████▍                                           | 1537/2304 [00:25<00:11, 64.77it/s]\u001b[A\n",
      "Running loglikelihood requests:  67%|████████████████████████████████████████████████████████████████████████████████████████▎                                          | 1553/2304 [00:25<00:11, 64.78it/s]\u001b[A\n",
      "Running loglikelihood requests:  68%|█████████████████████████████████████████████████████████████████████████████████████████▏                                         | 1569/2304 [00:26<00:11, 64.77it/s]\u001b[A\n",
      "Running loglikelihood requests:  69%|██████████████████████████████████████████████████████████████████████████████████████████                                         | 1585/2304 [00:26<00:11, 64.76it/s]\u001b[A\n",
      "Running loglikelihood requests:  69%|███████████████████████████████████████████████████████████████████████████████████████████                                        | 1601/2304 [00:26<00:10, 64.85it/s]\u001b[A\n",
      "Running loglikelihood requests:  70%|███████████████████████████████████████████████████████████████████████████████████████████▉                                       | 1617/2304 [00:26<00:10, 64.83it/s]\u001b[A\n",
      "Running loglikelihood requests:  71%|████████████████████████████████████████████████████████████████████████████████████████████▊                                      | 1633/2304 [00:27<00:10, 64.81it/s]\u001b[A\n",
      "Running loglikelihood requests:  72%|█████████████████████████████████████████████████████████████████████████████████████████████▊                                     | 1649/2304 [00:27<00:10, 64.89it/s]\u001b[A\n",
      "Running loglikelihood requests:  72%|██████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 1665/2304 [00:27<00:09, 64.92it/s]\u001b[A\n",
      "Running loglikelihood requests:  73%|███████████████████████████████████████████████████████████████████████████████████████████████▌                                   | 1681/2304 [00:27<00:09, 64.93it/s]\u001b[A\n",
      "Running loglikelihood requests:  74%|████████████████████████████████████████████████████████████████████████████████████████████████▍                                  | 1697/2304 [00:28<00:09, 65.33it/s]\u001b[A\n",
      "Running loglikelihood requests:  74%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 1713/2304 [00:28<00:09, 65.51it/s]\u001b[A\n",
      "Running loglikelihood requests:  75%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                | 1729/2304 [00:28<00:08, 65.70it/s]\u001b[A\n",
      "Running loglikelihood requests:  76%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                               | 1745/2304 [00:28<00:08, 65.82it/s]\u001b[A\n",
      "Running loglikelihood requests:  76%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                              | 1761/2304 [00:29<00:08, 65.90it/s]\u001b[A\n",
      "Running loglikelihood requests:  77%|█████████████████████████████████████████████████████████████████████████████████████████████████████                              | 1777/2304 [00:29<00:07, 66.02it/s]\u001b[A\n",
      "Running loglikelihood requests:  78%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                             | 1793/2304 [00:29<00:07, 66.10it/s]\u001b[A\n",
      "Running loglikelihood requests:  79%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊                            | 1809/2304 [00:29<00:07, 66.13it/s]\u001b[A\n",
      "Running loglikelihood requests:  79%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                           | 1825/2304 [00:30<00:07, 66.14it/s]\u001b[A\n",
      "Running loglikelihood requests:  80%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 1841/2304 [00:30<00:06, 66.15it/s]\u001b[A\n",
      "Running loglikelihood requests:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1857/2304 [00:30<00:06, 66.18it/s]\u001b[A\n",
      "Running loglikelihood requests:  81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                        | 1873/2304 [00:30<00:06, 66.17it/s]\u001b[A\n",
      "Running loglikelihood requests:  82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 1889/2304 [00:31<00:06, 66.19it/s]\u001b[A\n",
      "Running loglikelihood requests:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 1905/2304 [00:31<00:06, 66.29it/s]\u001b[A\n",
      "Running loglikelihood requests:  83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 1921/2304 [00:31<00:05, 66.26it/s]\u001b[A\n",
      "Running loglikelihood requests:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 1937/2304 [00:31<00:05, 66.28it/s]\u001b[A\n",
      "Running loglikelihood requests:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████                    | 1953/2304 [00:31<00:05, 66.32it/s]\u001b[A\n",
      "Running loglikelihood requests:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 1969/2304 [00:32<00:05, 66.34it/s]\u001b[A\n",
      "Running loglikelihood requests:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 1985/2304 [00:32<00:04, 66.36it/s]\u001b[A\n",
      "Running loglikelihood requests:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 2001/2304 [00:32<00:04, 66.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 2017/2304 [00:32<00:04, 66.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 2033/2304 [00:33<00:04, 66.45it/s]\u001b[A\n",
      "Running loglikelihood requests:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 2049/2304 [00:33<00:03, 66.48it/s]\u001b[A\n",
      "Running loglikelihood requests:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 2065/2304 [00:33<00:03, 66.52it/s]\u001b[A\n",
      "Running loglikelihood requests:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 2081/2304 [00:33<00:03, 66.53it/s]\u001b[A\n",
      "Running loglikelihood requests:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 2097/2304 [00:34<00:03, 66.53it/s]\u001b[A\n",
      "Running loglikelihood requests:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 2113/2304 [00:34<00:02, 66.87it/s]\u001b[A\n",
      "Running loglikelihood requests:  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 2129/2304 [00:34<00:02, 67.06it/s]\u001b[A\n",
      "Running loglikelihood requests:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 2145/2304 [00:34<00:02, 67.21it/s]\u001b[A\n",
      "Running loglikelihood requests:  94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 2161/2304 [00:35<00:02, 67.34it/s]\u001b[A\n",
      "Running loglikelihood requests:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 2177/2304 [00:35<00:01, 67.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 2193/2304 [00:35<00:01, 67.52it/s]\u001b[A\n",
      "Running loglikelihood requests:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 2209/2304 [00:35<00:01, 67.57it/s]\u001b[A\n",
      "Running loglikelihood requests:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 2225/2304 [00:36<00:01, 67.63it/s]\u001b[A\n",
      "Running loglikelihood requests:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 2241/2304 [00:36<00:00, 67.54it/s]\u001b[A\n",
      "Running loglikelihood requests:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 2257/2304 [00:36<00:00, 67.59it/s]\u001b[A\n",
      "Running loglikelihood requests:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 2273/2304 [00:36<00:00, 67.70it/s]\u001b[A\n",
      "Running loglikelihood requests: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2304/2304 [00:36<00:00, 62.28it/s]\u001b[A\n",
      " 50%|████████████████████████████████████████████████████████████████████████████████████                                                                                    | 1/2 [04:09<04:09, 249.21s/it]2024-12-04:23:48:18,429 INFO     [evaluator.py:170] Setting random seed to 0 | Setting numpy seed to 1234 | Setting torch manual seed to 1234 | Setting fewshot manual seed to 1234\n",
      "2024-12-04:23:48:18,430 INFO     [evaluator.py:207] Initializing hf model, with arguments: {'pretrained': 'Qwen/Qwen2.5-0.5B'}\n",
      "2024-12-04:23:48:18,432 WARNING  [other.py:349] Detected kernel version 5.4.0, which is below the recommended minimum of 5.5.0; this can cause the process to hang. It is recommended to upgrade the kernel to the minimum version or higher.\n",
      "2024-12-04:23:48:18,433 INFO     [huggingface.py:129] Using device 'cuda:1'\n",
      "/home/skunk/miniconda3/envs/arena/lib/python3.12/site-packages/huggingface_hub/file_download.py:1132: FutureWarning: `resume_download` is deprecated and will be removed in version 1.0.0. Downloads always resume when possible. If you want to force a new download, use `force_download=True`.\n",
      "  warnings.warn(\n",
      "2024-12-04:23:48:18,541 INFO     [huggingface.py:481] Using model type 'default'\n",
      "Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.\n",
      "2024-12-04:23:48:18,844 INFO     [huggingface.py:365] Model parallel was set to False, max memory was not set, and device map was set to {'': 'cuda:1'}\n",
      "2024-12-04:23:51:22,899 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_0 from None to 5\n",
      "2024-12-04:23:51:22,901 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_1 from None to 5\n",
      "2024-12-04:23:51:22,902 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_2 from None to 5\n",
      "2024-12-04:23:51:22,902 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_3 from None to 5\n",
      "2024-12-04:23:51:22,903 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_4 from None to 5\n",
      "2024-12-04:23:51:22,904 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_5 from None to 5\n",
      "2024-12-04:23:51:22,905 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_6 from None to 5\n",
      "2024-12-04:23:51:22,907 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_7 from None to 5\n",
      "2024-12-04:23:51:22,908 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_8 from None to 5\n",
      "2024-12-04:23:51:22,908 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_9 from None to 5\n",
      "2024-12-04:23:51:22,909 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_10 from None to 5\n",
      "2024-12-04:23:51:22,910 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_11 from None to 5\n",
      "2024-12-04:23:51:22,910 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_12 from None to 5\n",
      "2024-12-04:23:51:22,911 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_13 from None to 5\n",
      "2024-12-04:23:51:22,912 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_14 from None to 5\n",
      "2024-12-04:23:51:22,913 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_15 from None to 5\n",
      "2024-12-04:23:51:22,913 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_16 from None to 5\n",
      "2024-12-04:23:51:22,914 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_17 from None to 5\n",
      "2024-12-04:23:51:22,915 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_18 from None to 5\n",
      "2024-12-04:23:51:22,916 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_19 from None to 5\n",
      "2024-12-04:23:51:22,916 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_20 from None to 5\n",
      "2024-12-04:23:51:22,917 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_21 from None to 5\n",
      "2024-12-04:23:51:22,918 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_22 from None to 5\n",
      "2024-12-04:23:51:22,918 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_23 from None to 5\n",
      "2024-12-04:23:51:22,919 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_24 from None to 5\n",
      "2024-12-04:23:51:22,919 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_25 from None to 5\n",
      "2024-12-04:23:51:22,920 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_26 from None to 5\n",
      "2024-12-04:23:51:22,921 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_27 from None to 5\n",
      "2024-12-04:23:51:22,921 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_28 from None to 5\n",
      "2024-12-04:23:51:22,922 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_29 from None to 5\n",
      "2024-12-04:23:51:22,922 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_30 from None to 5\n",
      "2024-12-04:23:51:22,923 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_31 from None to 5\n",
      "2024-12-04:23:51:22,924 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_32 from None to 5\n",
      "2024-12-04:23:51:22,924 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_33 from None to 5\n",
      "2024-12-04:23:51:22,925 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_34 from None to 5\n",
      "2024-12-04:23:51:22,925 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_35 from None to 5\n",
      "2024-12-04:23:51:22,926 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_36 from None to 5\n",
      "2024-12-04:23:51:22,927 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_37 from None to 5\n",
      "2024-12-04:23:51:22,927 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_38 from None to 5\n",
      "2024-12-04:23:51:22,928 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_39 from None to 5\n",
      "2024-12-04:23:51:22,928 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_40 from None to 5\n",
      "2024-12-04:23:51:22,929 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_41 from None to 5\n",
      "2024-12-04:23:51:22,929 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_42 from None to 5\n",
      "2024-12-04:23:51:22,930 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_43 from None to 5\n",
      "2024-12-04:23:51:22,930 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_44 from None to 5\n",
      "2024-12-04:23:51:22,931 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_45 from None to 5\n",
      "2024-12-04:23:51:22,931 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_46 from None to 5\n",
      "2024-12-04:23:51:22,932 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_47 from None to 5\n",
      "2024-12-04:23:51:22,932 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_48 from None to 5\n",
      "2024-12-04:23:51:22,933 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_49 from None to 5\n",
      "2024-12-04:23:51:22,933 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_50 from None to 5\n",
      "2024-12-04:23:51:22,934 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_51 from None to 5\n",
      "2024-12-04:23:51:22,935 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_52 from None to 5\n",
      "2024-12-04:23:51:22,935 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_53 from None to 5\n",
      "2024-12-04:23:51:22,936 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_54 from None to 5\n",
      "2024-12-04:23:51:22,936 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_55 from None to 5\n",
      "2024-12-04:23:51:22,937 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_56 from None to 5\n",
      "2024-12-04:23:51:22,937 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_57 from None to 5\n",
      "2024-12-04:23:51:22,942 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_58 from None to 5\n",
      "2024-12-04:23:51:22,942 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_59 from None to 5\n",
      "2024-12-04:23:51:22,943 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_60 from None to 5\n",
      "2024-12-04:23:51:22,943 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_61 from None to 5\n",
      "2024-12-04:23:51:22,944 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_62 from None to 5\n",
      "2024-12-04:23:51:22,944 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_63 from None to 5\n",
      "2024-12-04:23:51:22,945 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_64 from None to 5\n",
      "2024-12-04:23:51:22,945 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_65 from None to 5\n",
      "2024-12-04:23:51:22,946 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_66 from None to 5\n",
      "2024-12-04:23:51:22,946 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_67 from None to 5\n",
      "2024-12-04:23:51:22,947 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_68 from None to 5\n",
      "2024-12-04:23:51:22,947 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_69 from None to 5\n",
      "2024-12-04:23:51:22,947 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_70 from None to 5\n",
      "2024-12-04:23:51:22,949 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_71 from None to 5\n",
      "2024-12-04:23:51:22,949 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_72 from None to 5\n",
      "2024-12-04:23:51:22,950 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_73 from None to 5\n",
      "2024-12-04:23:51:22,950 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_74 from None to 5\n",
      "2024-12-04:23:51:22,951 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_75 from None to 5\n",
      "2024-12-04:23:51:22,951 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_76 from None to 5\n",
      "2024-12-04:23:51:22,952 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_77 from None to 5\n",
      "2024-12-04:23:51:22,952 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_78 from None to 5\n",
      "2024-12-04:23:51:22,953 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_79 from None to 5\n",
      "2024-12-04:23:51:22,953 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_80 from None to 5\n",
      "2024-12-04:23:51:22,953 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_81 from None to 5\n",
      "2024-12-04:23:51:22,954 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_82 from None to 5\n",
      "2024-12-04:23:51:22,954 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_83 from None to 5\n",
      "2024-12-04:23:51:22,955 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_84 from None to 5\n",
      "2024-12-04:23:51:22,956 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_85 from None to 5\n",
      "2024-12-04:23:51:22,956 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_86 from None to 5\n",
      "2024-12-04:23:51:22,957 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_87 from None to 5\n",
      "2024-12-04:23:51:22,957 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_88 from None to 5\n",
      "2024-12-04:23:51:22,958 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_89 from None to 5\n",
      "2024-12-04:23:51:22,958 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_90 from None to 5\n",
      "2024-12-04:23:51:22,958 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_91 from None to 5\n",
      "2024-12-04:23:51:22,959 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_92 from None to 5\n",
      "2024-12-04:23:51:22,959 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_93 from None to 5\n",
      "2024-12-04:23:51:22,960 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_94 from None to 5\n",
      "2024-12-04:23:51:22,960 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_95 from None to 5\n",
      "2024-12-04:23:51:22,961 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_96 from None to 5\n",
      "2024-12-04:23:51:22,961 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_97 from None to 5\n",
      "2024-12-04:23:51:22,962 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_98 from None to 5\n",
      "2024-12-04:23:51:22,962 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_99 from None to 5\n",
      "2024-12-04:23:51:22,963 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_100 from None to 5\n",
      "2024-12-04:23:51:22,963 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_101 from None to 5\n",
      "2024-12-04:23:51:22,964 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_102 from None to 5\n",
      "2024-12-04:23:51:22,964 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_103 from None to 5\n",
      "2024-12-04:23:51:22,964 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_104 from None to 5\n",
      "2024-12-04:23:51:22,965 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_105 from None to 5\n",
      "2024-12-04:23:51:22,966 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_106 from None to 5\n",
      "2024-12-04:23:51:22,966 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_107 from None to 5\n",
      "2024-12-04:23:51:22,967 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_108 from None to 5\n",
      "2024-12-04:23:51:22,967 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_109 from None to 5\n",
      "2024-12-04:23:51:22,967 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_110 from None to 5\n",
      "2024-12-04:23:51:22,968 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_111 from None to 5\n",
      "2024-12-04:23:51:22,968 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_112 from None to 5\n",
      "2024-12-04:23:51:22,969 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_113 from None to 5\n",
      "2024-12-04:23:51:22,969 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_114 from None to 5\n",
      "2024-12-04:23:51:22,969 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_115 from None to 5\n",
      "2024-12-04:23:51:22,970 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_116 from None to 5\n",
      "2024-12-04:23:51:22,970 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_117 from None to 5\n",
      "2024-12-04:23:51:22,971 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_118 from None to 5\n",
      "2024-12-04:23:51:22,971 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_119 from None to 5\n",
      "2024-12-04:23:51:22,972 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_120 from None to 5\n",
      "2024-12-04:23:51:22,972 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_121 from None to 5\n",
      "2024-12-04:23:51:22,972 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_122 from None to 5\n",
      "2024-12-04:23:51:22,973 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_123 from None to 5\n",
      "2024-12-04:23:51:22,974 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_124 from None to 5\n",
      "2024-12-04:23:51:22,974 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_125 from None to 5\n",
      "2024-12-04:23:51:22,975 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_126 from None to 5\n",
      "2024-12-04:23:51:22,975 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_127 from None to 5\n",
      "2024-12-04:23:51:22,975 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_128 from None to 5\n",
      "2024-12-04:23:51:22,976 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_129 from None to 5\n",
      "2024-12-04:23:51:22,976 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_130 from None to 5\n",
      "2024-12-04:23:51:22,977 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_131 from None to 5\n",
      "2024-12-04:23:51:22,977 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_132 from None to 5\n",
      "2024-12-04:23:51:22,978 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_133 from None to 5\n",
      "2024-12-04:23:51:22,978 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_134 from None to 5\n",
      "2024-12-04:23:51:22,979 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_135 from None to 5\n",
      "2024-12-04:23:51:22,979 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_136 from None to 5\n",
      "2024-12-04:23:51:22,979 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_137 from None to 5\n",
      "2024-12-04:23:51:22,980 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_138 from None to 5\n",
      "2024-12-04:23:51:22,980 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_139 from None to 5\n",
      "2024-12-04:23:51:22,980 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_140 from None to 5\n",
      "2024-12-04:23:51:22,981 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_141 from None to 5\n",
      "2024-12-04:23:51:22,981 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_142 from None to 5\n",
      "2024-12-04:23:51:22,982 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_143 from None to 5\n",
      "2024-12-04:23:51:22,982 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_144 from None to 5\n",
      "2024-12-04:23:51:22,982 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_145 from None to 5\n",
      "2024-12-04:23:51:22,983 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_146 from None to 5\n",
      "2024-12-04:23:51:22,983 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_147 from None to 5\n",
      "2024-12-04:23:51:22,983 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_148 from None to 5\n",
      "2024-12-04:23:51:22,984 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_149 from None to 5\n",
      "2024-12-04:23:51:22,984 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_150 from None to 5\n",
      "2024-12-04:23:51:22,985 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_151 from None to 5\n",
      "2024-12-04:23:51:22,985 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_152 from None to 5\n",
      "2024-12-04:23:51:22,986 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_153 from None to 5\n",
      "2024-12-04:23:51:22,986 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_154 from None to 5\n",
      "2024-12-04:23:51:22,986 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_155 from None to 5\n",
      "2024-12-04:23:51:22,987 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_156 from None to 5\n",
      "2024-12-04:23:51:22,987 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_157 from None to 5\n",
      "2024-12-04:23:51:22,987 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_158 from None to 5\n",
      "2024-12-04:23:51:22,988 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_159 from None to 5\n",
      "2024-12-04:23:51:22,988 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_160 from None to 5\n",
      "2024-12-04:23:51:22,989 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_161 from None to 5\n",
      "2024-12-04:23:51:22,989 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_162 from None to 5\n",
      "2024-12-04:23:51:22,989 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_163 from None to 5\n",
      "2024-12-04:23:51:22,990 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_164 from None to 5\n",
      "2024-12-04:23:51:22,990 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_165 from None to 5\n",
      "2024-12-04:23:51:22,990 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_166 from None to 5\n",
      "2024-12-04:23:51:22,991 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_167 from None to 5\n",
      "2024-12-04:23:51:22,991 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_168 from None to 5\n",
      "2024-12-04:23:51:22,991 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_169 from None to 5\n",
      "2024-12-04:23:51:22,992 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_170 from None to 5\n",
      "2024-12-04:23:51:22,992 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_171 from None to 5\n",
      "2024-12-04:23:51:22,992 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_172 from None to 5\n",
      "2024-12-04:23:51:22,993 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_173 from None to 5\n",
      "2024-12-04:23:51:22,993 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_174 from None to 5\n",
      "2024-12-04:23:51:22,994 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_175 from None to 5\n",
      "2024-12-04:23:51:22,995 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_176 from None to 5\n",
      "2024-12-04:23:51:22,996 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_177 from None to 5\n",
      "2024-12-04:23:51:22,997 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_178 from None to 5\n",
      "2024-12-04:23:51:22,997 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_179 from None to 5\n",
      "2024-12-04:23:51:22,997 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_180 from None to 5\n",
      "2024-12-04:23:51:22,998 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_181 from None to 5\n",
      "2024-12-04:23:51:22,998 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_182 from None to 5\n",
      "2024-12-04:23:51:22,999 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_183 from None to 5\n",
      "2024-12-04:23:51:22,999 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_184 from None to 5\n",
      "2024-12-04:23:51:22,999 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_185 from None to 5\n",
      "2024-12-04:23:51:22,999 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_186 from None to 5\n",
      "2024-12-04:23:51:23,000 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_187 from None to 5\n",
      "2024-12-04:23:51:23,000 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_188 from None to 5\n",
      "2024-12-04:23:51:23,001 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_189 from None to 5\n",
      "2024-12-04:23:51:23,002 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_190 from None to 5\n",
      "2024-12-04:23:51:23,002 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_191 from None to 5\n",
      "2024-12-04:23:51:23,002 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_192 from None to 5\n",
      "2024-12-04:23:51:23,003 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_193 from None to 5\n",
      "2024-12-04:23:51:23,003 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_194 from None to 5\n",
      "2024-12-04:23:51:23,004 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_195 from None to 5\n",
      "2024-12-04:23:51:23,004 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_196 from None to 5\n",
      "2024-12-04:23:51:23,004 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_197 from None to 5\n",
      "2024-12-04:23:51:23,005 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_198 from None to 5\n",
      "2024-12-04:23:51:23,005 WARNING  [evaluator.py:276] Overwriting default num_fewshot of mmlu_multi_prompt_astronomy_199 from None to 5\n",
      "2024-12-04:23:51:23,021 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_0 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 139.07it/s]\u001b[A\n",
      "2024-12-04:23:51:23,058 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_1 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.30it/s]\u001b[A\n",
      "2024-12-04:23:51:23,089 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_2 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.45it/s]\u001b[A\n",
      "2024-12-04:23:51:23,121 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_3 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.29it/s]\u001b[A\n",
      "2024-12-04:23:51:23,153 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_4 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.13it/s]\u001b[A\n",
      "2024-12-04:23:51:23,185 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_5 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.43it/s]\u001b[A\n",
      "2024-12-04:23:51:23,217 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_6 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.79it/s]\u001b[A\n",
      "2024-12-04:23:51:23,248 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_7 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.26it/s]\u001b[A\n",
      "2024-12-04:23:51:23,278 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_8 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.34it/s]\u001b[A\n",
      "2024-12-04:23:51:23,308 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_9 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.17it/s]\u001b[A\n",
      "2024-12-04:23:51:23,338 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_10 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 136.86it/s]\u001b[A\n",
      "2024-12-04:23:51:23,371 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_11 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 144.88it/s]\u001b[A\n",
      "2024-12-04:23:51:23,404 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_12 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 163.59it/s]\u001b[A\n",
      "2024-12-04:23:51:23,441 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_13 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.14it/s]\u001b[A\n",
      "2024-12-04:23:51:23,471 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_14 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.92it/s]\u001b[A\n",
      "2024-12-04:23:51:23,501 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_15 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 157.07it/s]\u001b[A\n",
      "2024-12-04:23:51:23,538 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_16 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.15it/s]\u001b[A\n",
      "2024-12-04:23:51:23,570 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_17 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.16it/s]\u001b[A\n",
      "2024-12-04:23:51:23,599 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_18 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.19it/s]\u001b[A\n",
      "2024-12-04:23:51:23,630 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_19 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.08it/s]\u001b[A\n",
      "2024-12-04:23:51:23,661 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_20 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.07it/s]\u001b[A\n",
      "2024-12-04:23:51:23,691 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_21 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.70it/s]\u001b[A\n",
      "2024-12-04:23:51:23,726 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_22 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.28it/s]\u001b[A\n",
      "2024-12-04:23:51:23,757 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_23 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 149.89it/s]\u001b[A\n",
      "2024-12-04:23:51:23,789 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_24 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.74it/s]\u001b[A\n",
      "2024-12-04:23:51:23,820 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_25 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.74it/s]\u001b[A\n",
      "2024-12-04:23:51:23,851 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_26 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.47it/s]\u001b[A\n",
      "2024-12-04:23:51:23,882 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_27 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.70it/s]\u001b[A\n",
      "2024-12-04:23:51:23,914 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_28 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.24it/s]\u001b[A\n",
      "2024-12-04:23:51:23,945 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_29 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.27it/s]\u001b[A\n",
      "2024-12-04:23:51:23,976 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_30 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.89it/s]\u001b[A\n",
      "2024-12-04:23:51:24,007 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_31 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 161.27it/s]\u001b[A\n",
      "2024-12-04:23:51:24,043 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_32 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.99it/s]\u001b[A\n",
      "2024-12-04:23:51:24,074 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_33 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.61it/s]\u001b[A\n",
      "2024-12-04:23:51:24,105 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_34 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.12it/s]\u001b[A\n",
      "2024-12-04:23:51:24,136 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_35 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.45it/s]\u001b[A\n",
      "2024-12-04:23:51:24,167 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_36 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.37it/s]\u001b[A\n",
      "2024-12-04:23:51:24,198 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_37 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.23it/s]\u001b[A\n",
      "2024-12-04:23:51:24,228 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_38 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.37it/s]\u001b[A\n",
      "2024-12-04:23:51:24,260 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_39 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.21it/s]\u001b[A\n",
      "2024-12-04:23:51:24,291 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_40 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.54it/s]\u001b[A\n",
      "2024-12-04:23:51:24,321 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_41 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.62it/s]\u001b[A\n",
      "2024-12-04:23:51:24,352 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_42 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.15it/s]\u001b[A\n",
      "2024-12-04:23:51:24,383 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_43 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.42it/s]\u001b[A\n",
      "2024-12-04:23:51:24,415 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_44 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 152.95it/s]\u001b[A\n",
      "2024-12-04:23:51:24,446 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_45 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.52it/s]\u001b[A\n",
      "2024-12-04:23:51:24,476 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_46 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 149.57it/s]\u001b[A\n",
      "2024-12-04:23:51:24,508 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_47 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 152.87it/s]\u001b[A\n",
      "2024-12-04:23:51:24,539 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_48 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.74it/s]\u001b[A\n",
      "2024-12-04:23:51:24,571 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_49 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.27it/s]\u001b[A\n",
      "2024-12-04:23:51:24,601 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_50 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.62it/s]\u001b[A\n",
      "2024-12-04:23:51:24,632 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_51 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.90it/s]\u001b[A\n",
      "2024-12-04:23:51:24,661 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_52 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.58it/s]\u001b[A\n",
      "2024-12-04:23:51:24,691 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_53 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.35it/s]\u001b[A\n",
      "2024-12-04:23:51:24,722 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_54 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.77it/s]\u001b[A\n",
      "2024-12-04:23:51:24,753 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_55 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.76it/s]\u001b[A\n",
      "2024-12-04:23:51:24,783 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_56 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.19it/s]\u001b[A\n",
      "2024-12-04:23:51:24,814 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_57 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.80it/s]\u001b[A\n",
      "2024-12-04:23:51:24,844 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_58 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.54it/s]\u001b[A\n",
      "2024-12-04:23:51:24,874 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_59 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.66it/s]\u001b[A\n",
      "2024-12-04:23:51:24,905 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_60 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.33it/s]\u001b[A\n",
      "2024-12-04:23:51:24,936 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_61 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.81it/s]\u001b[A\n",
      "2024-12-04:23:51:24,965 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_62 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 127.03it/s]\u001b[A\n",
      "2024-12-04:23:51:25,001 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_63 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.09it/s]\u001b[A\n",
      "2024-12-04:23:51:25,032 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_64 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.98it/s]\u001b[A\n",
      "2024-12-04:23:51:25,063 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_65 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.15it/s]\u001b[A\n",
      "2024-12-04:23:51:25,092 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_66 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.24it/s]\u001b[A\n",
      "2024-12-04:23:51:25,123 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_67 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.12it/s]\u001b[A\n",
      "2024-12-04:23:51:25,153 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_68 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.50it/s]\u001b[A\n",
      "2024-12-04:23:51:25,183 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_69 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.41it/s]\u001b[A\n",
      "2024-12-04:23:51:25,214 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_70 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.67it/s]\u001b[A\n",
      "2024-12-04:23:51:25,244 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_71 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.95it/s]\u001b[A\n",
      "2024-12-04:23:51:25,274 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_72 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.48it/s]\u001b[A\n",
      "2024-12-04:23:51:25,306 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_73 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.89it/s]\u001b[A\n",
      "2024-12-04:23:51:25,336 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_74 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.37it/s]\u001b[A\n",
      "2024-12-04:23:51:25,366 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_75 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.94it/s]\u001b[A\n",
      "2024-12-04:23:51:25,396 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_76 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.46it/s]\u001b[A\n",
      "2024-12-04:23:51:25,427 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_77 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 150.34it/s]\u001b[A\n",
      "2024-12-04:23:51:25,459 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_78 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.37it/s]\u001b[A\n",
      "2024-12-04:23:51:25,489 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_79 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.44it/s]\u001b[A\n",
      "2024-12-04:23:51:25,519 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_80 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.63it/s]\u001b[A\n",
      "2024-12-04:23:51:25,550 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_81 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.56it/s]\u001b[A\n",
      "2024-12-04:23:51:25,579 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_82 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.82it/s]\u001b[A\n",
      "2024-12-04:23:51:25,609 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_83 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.12it/s]\u001b[A\n",
      "2024-12-04:23:51:25,640 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_84 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.55it/s]\u001b[A\n",
      "2024-12-04:23:51:25,670 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_85 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.52it/s]\u001b[A\n",
      "2024-12-04:23:51:25,702 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_86 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.21it/s]\u001b[A\n",
      "2024-12-04:23:51:25,732 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_87 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.38it/s]\u001b[A\n",
      "2024-12-04:23:51:25,762 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_88 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.52it/s]\u001b[A\n",
      "2024-12-04:23:51:25,792 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_89 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.09it/s]\u001b[A\n",
      "2024-12-04:23:51:25,823 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_90 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.16it/s]\u001b[A\n",
      "2024-12-04:23:51:25,853 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_91 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 165.46it/s]\u001b[A\n",
      "2024-12-04:23:51:25,883 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_92 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.06it/s]\u001b[A\n",
      "2024-12-04:23:51:25,914 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_93 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.89it/s]\u001b[A\n",
      "2024-12-04:23:51:25,944 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_94 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.18it/s]\u001b[A\n",
      "2024-12-04:23:51:25,975 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_95 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.67it/s]\u001b[A\n",
      "2024-12-04:23:51:26,006 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_96 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.40it/s]\u001b[A\n",
      "2024-12-04:23:51:26,037 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_97 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 166.15it/s]\u001b[A\n",
      "2024-12-04:23:51:26,066 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_98 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.27it/s]\u001b[A\n",
      "2024-12-04:23:51:26,097 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_99 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.63it/s]\u001b[A\n",
      "2024-12-04:23:51:26,128 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_100 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.25it/s]\u001b[A\n",
      "2024-12-04:23:51:26,157 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_101 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.45it/s]\u001b[A\n",
      "2024-12-04:23:51:26,188 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_102 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.92it/s]\u001b[A\n",
      "2024-12-04:23:51:26,217 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_103 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 163.74it/s]\u001b[A\n",
      "2024-12-04:23:51:26,253 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_104 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.87it/s]\u001b[A\n",
      "2024-12-04:23:51:26,285 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_105 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.53it/s]\u001b[A\n",
      "2024-12-04:23:51:26,315 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_106 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.10it/s]\u001b[A\n",
      "2024-12-04:23:51:26,345 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_107 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 152.91it/s]\u001b[A\n",
      "2024-12-04:23:51:26,377 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_108 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.15it/s]\u001b[A\n",
      "2024-12-04:23:51:26,407 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_109 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.94it/s]\u001b[A\n",
      "2024-12-04:23:51:26,437 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_110 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.28it/s]\u001b[A\n",
      "2024-12-04:23:51:26,468 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_111 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.54it/s]\u001b[A\n",
      "2024-12-04:23:51:26,498 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_112 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.06it/s]\u001b[A\n",
      "2024-12-04:23:51:26,528 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_113 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.67it/s]\u001b[A\n",
      "2024-12-04:23:51:26,559 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_114 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.74it/s]\u001b[A\n",
      "2024-12-04:23:51:26,589 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_115 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 123.97it/s]\u001b[A\n",
      "2024-12-04:23:51:26,626 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_116 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.24it/s]\u001b[A\n",
      "2024-12-04:23:51:26,656 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_117 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.21it/s]\u001b[A\n",
      "2024-12-04:23:51:26,686 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_118 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.33it/s]\u001b[A\n",
      "2024-12-04:23:51:26,716 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_119 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.63it/s]\u001b[A\n",
      "2024-12-04:23:51:26,746 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_120 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.09it/s]\u001b[A\n",
      "2024-12-04:23:51:26,777 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_121 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.75it/s]\u001b[A\n",
      "2024-12-04:23:51:26,807 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_122 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 141.62it/s]\u001b[A\n",
      "2024-12-04:23:51:26,842 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_123 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.10it/s]\u001b[A\n",
      "2024-12-04:23:51:26,873 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_124 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.67it/s]\u001b[A\n",
      "2024-12-04:23:51:26,903 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_125 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 157.70it/s]\u001b[A\n",
      "2024-12-04:23:51:26,940 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_126 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.58it/s]\u001b[A\n",
      "2024-12-04:23:51:26,971 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_127 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.21it/s]\u001b[A\n",
      "2024-12-04:23:51:27,001 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_128 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.27it/s]\u001b[A\n",
      "2024-12-04:23:51:27,031 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_129 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.95it/s]\u001b[A\n",
      "2024-12-04:23:51:27,062 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_130 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.17it/s]\u001b[A\n",
      "2024-12-04:23:51:27,092 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_131 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.72it/s]\u001b[A\n",
      "2024-12-04:23:51:27,123 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_132 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.67it/s]\u001b[A\n",
      "2024-12-04:23:51:27,153 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_133 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.03it/s]\u001b[A\n",
      "2024-12-04:23:51:27,183 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_134 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.30it/s]\u001b[A\n",
      "2024-12-04:23:51:27,213 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_135 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.77it/s]\u001b[A\n",
      "2024-12-04:23:51:27,243 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_136 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.14it/s]\u001b[A\n",
      "2024-12-04:23:51:27,273 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_137 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.34it/s]\u001b[A\n",
      "2024-12-04:23:51:27,303 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_138 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.35it/s]\u001b[A\n",
      "2024-12-04:23:51:27,334 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_139 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.03it/s]\u001b[A\n",
      "2024-12-04:23:51:27,364 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_140 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.10it/s]\u001b[A\n",
      "2024-12-04:23:51:27,395 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_141 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.44it/s]\u001b[A\n",
      "2024-12-04:23:51:27,425 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_142 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.48it/s]\u001b[A\n",
      "2024-12-04:23:51:27,456 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_143 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.47it/s]\u001b[A\n",
      "2024-12-04:23:51:27,486 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_144 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.96it/s]\u001b[A\n",
      "2024-12-04:23:51:27,516 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_145 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.36it/s]\u001b[A\n",
      "2024-12-04:23:51:27,546 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_146 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.86it/s]\u001b[A\n",
      "2024-12-04:23:51:27,576 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_147 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.24it/s]\u001b[A\n",
      "2024-12-04:23:51:27,606 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_148 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.61it/s]\u001b[A\n",
      "2024-12-04:23:51:27,637 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_149 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.34it/s]\u001b[A\n",
      "2024-12-04:23:51:27,667 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_150 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.91it/s]\u001b[A\n",
      "2024-12-04:23:51:27,697 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_151 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 160.14it/s]\u001b[A\n",
      "2024-12-04:23:51:27,735 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_152 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.82it/s]\u001b[A\n",
      "2024-12-04:23:51:27,765 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_153 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.61it/s]\u001b[A\n",
      "2024-12-04:23:51:27,795 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_154 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 154.76it/s]\u001b[A\n",
      "2024-12-04:23:51:27,826 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_155 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.13it/s]\u001b[A\n",
      "2024-12-04:23:51:27,856 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_156 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.05it/s]\u001b[A\n",
      "2024-12-04:23:51:27,886 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_157 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 151.03it/s]\u001b[A\n",
      "2024-12-04:23:51:27,918 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_158 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.00it/s]\u001b[A\n",
      "2024-12-04:23:51:27,948 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_159 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.67it/s]\u001b[A\n",
      "2024-12-04:23:51:27,978 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_160 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.04it/s]\u001b[A\n",
      "2024-12-04:23:51:28,009 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_161 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.58it/s]\u001b[A\n",
      "2024-12-04:23:51:28,039 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_162 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 152.93it/s]\u001b[A\n",
      "2024-12-04:23:51:28,070 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_163 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.86it/s]\u001b[A\n",
      "2024-12-04:23:51:28,100 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_164 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.12it/s]\u001b[A\n",
      "2024-12-04:23:51:28,131 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_165 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.23it/s]\u001b[A\n",
      "2024-12-04:23:51:28,161 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_166 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 161.98it/s]\u001b[A\n",
      "2024-12-04:23:51:28,197 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_167 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 163.53it/s]\u001b[A\n",
      "2024-12-04:23:51:28,228 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_168 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 164.61it/s]\u001b[A\n",
      "2024-12-04:23:51:28,257 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_169 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.93it/s]\u001b[A\n",
      "2024-12-04:23:51:28,288 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_170 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.08it/s]\u001b[A\n",
      "2024-12-04:23:51:28,318 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_171 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.93it/s]\u001b[A\n",
      "2024-12-04:23:51:28,348 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_172 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.11it/s]\u001b[A\n",
      "2024-12-04:23:51:28,379 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_173 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.37it/s]\u001b[A\n",
      "2024-12-04:23:51:28,408 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_174 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.24it/s]\u001b[A\n",
      "2024-12-04:23:51:28,440 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_175 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.64it/s]\u001b[A\n",
      "2024-12-04:23:51:28,470 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_176 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.92it/s]\u001b[A\n",
      "2024-12-04:23:51:28,500 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_177 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.75it/s]\u001b[A\n",
      "2024-12-04:23:51:28,531 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_178 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 164.34it/s]\u001b[A\n",
      "2024-12-04:23:51:28,567 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_179 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.23it/s]\u001b[A\n",
      "2024-12-04:23:51:28,596 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_180 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 159.44it/s]\u001b[A\n",
      "2024-12-04:23:51:28,627 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_181 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.63it/s]\u001b[A\n",
      "2024-12-04:23:51:28,657 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_182 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.93it/s]\u001b[A\n",
      "2024-12-04:23:51:28,687 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_183 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.98it/s]\u001b[A\n",
      "2024-12-04:23:51:28,718 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_184 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 162.09it/s]\u001b[A\n",
      "2024-12-04:23:51:28,748 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_185 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.61it/s]\u001b[A\n",
      "2024-12-04:23:51:28,778 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_186 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.01it/s]\u001b[A\n",
      "2024-12-04:23:51:28,809 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_187 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.11it/s]\u001b[A\n",
      "2024-12-04:23:51:28,839 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_188 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.71it/s]\u001b[A\n",
      "2024-12-04:23:51:28,870 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_189 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.49it/s]\u001b[A\n",
      "2024-12-04:23:51:28,900 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_190 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.88it/s]\u001b[A\n",
      "2024-12-04:23:51:28,930 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_191 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 158.14it/s]\u001b[A\n",
      "2024-12-04:23:51:28,961 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_192 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.24it/s]\u001b[A\n",
      "2024-12-04:23:51:28,991 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_193 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 157.53it/s]\u001b[A\n",
      "2024-12-04:23:51:29,022 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_194 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 160.55it/s]\u001b[A\n",
      "2024-12-04:23:51:29,052 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_195 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 156.97it/s]\u001b[A\n",
      "2024-12-04:23:51:29,083 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_196 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 161.14it/s]\u001b[A\n",
      "2024-12-04:23:51:29,113 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_197 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.11it/s]\u001b[A\n",
      "2024-12-04:23:51:29,143 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_198 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 153.19it/s]\u001b[A\n",
      "2024-12-04:23:51:29,174 INFO     [task.py:416] Building contexts for mmlu_multi_prompt_astronomy_199 on rank 0...\n",
      "\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 155.44it/s]\u001b[A\n",
      "2024-12-04:23:51:29,205 INFO     [evaluator.py:503] Running loglikelihood requests\n",
      "\n",
      "Running loglikelihood requests:   0%|                                                                                                                                              | 0/2432 [00:00<?, ?it/s]\u001b[A\n",
      "Running loglikelihood requests:   0%|                                                                                                                                      | 1/2432 [00:00<15:38,  2.59it/s]\u001b[A\n",
      "Running loglikelihood requests:   1%|▉                                                                                                                                    | 17/2432 [00:00<01:30, 26.81it/s]\u001b[A\n",
      "Running loglikelihood requests:   1%|█▊                                                                                                                                   | 33/2432 [00:01<01:08, 35.26it/s]\u001b[A\n",
      "Running loglikelihood requests:   2%|██▋                                                                                                                                  | 49/2432 [00:01<01:00, 39.59it/s]\u001b[A\n",
      "Running loglikelihood requests:   3%|███▌                                                                                                                                 | 65/2432 [00:01<00:56, 42.14it/s]\u001b[A\n",
      "Running loglikelihood requests:   3%|████▍                                                                                                                                | 81/2432 [00:02<00:53, 43.87it/s]\u001b[A\n",
      "Running loglikelihood requests:   4%|█████▎                                                                                                                               | 97/2432 [00:02<00:51, 45.08it/s]\u001b[A\n",
      "Running loglikelihood requests:   5%|██████▏                                                                                                                             | 113/2432 [00:02<00:50, 45.89it/s]\u001b[A\n",
      "Running loglikelihood requests:   5%|███████                                                                                                                             | 129/2432 [00:03<00:49, 46.65it/s]\u001b[A\n",
      "Running loglikelihood requests:   6%|███████▊                                                                                                                            | 145/2432 [00:03<00:48, 47.21it/s]\u001b[A\n",
      "Running loglikelihood requests:   7%|████████▋                                                                                                                           | 161/2432 [00:03<00:47, 47.58it/s]\u001b[A\n",
      "Running loglikelihood requests:   7%|█████████▌                                                                                                                          | 177/2432 [00:04<00:47, 47.84it/s]\u001b[A\n",
      "Running loglikelihood requests:   8%|██████████▍                                                                                                                         | 193/2432 [00:04<00:46, 48.02it/s]\u001b[A\n",
      "Running loglikelihood requests:   9%|███████████▎                                                                                                                        | 209/2432 [00:04<00:46, 48.18it/s]\u001b[A\n",
      "Running loglikelihood requests:   9%|████████████▏                                                                                                                       | 225/2432 [00:05<00:45, 48.29it/s]\u001b[A\n",
      "Running loglikelihood requests:  10%|█████████████                                                                                                                       | 241/2432 [00:05<00:45, 48.39it/s]\u001b[A\n",
      "Running loglikelihood requests:  11%|█████████████▉                                                                                                                      | 257/2432 [00:05<00:44, 48.45it/s]\u001b[A\n",
      "Running loglikelihood requests:  11%|██████████████▊                                                                                                                     | 273/2432 [00:06<00:44, 48.52it/s]\u001b[A\n",
      "Running loglikelihood requests:  12%|███████████████▋                                                                                                                    | 289/2432 [00:06<00:44, 48.56it/s]\u001b[A\n",
      "Running loglikelihood requests:  13%|████████████████▌                                                                                                                   | 305/2432 [00:06<00:43, 48.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  13%|█████████████████▍                                                                                                                  | 321/2432 [00:07<00:42, 49.18it/s]\u001b[A\n",
      "Running loglikelihood requests:  14%|██████████████████▎                                                                                                                 | 337/2432 [00:07<00:42, 49.48it/s]\u001b[A\n",
      "Running loglikelihood requests:  15%|███████████████████▏                                                                                                                | 353/2432 [00:07<00:41, 49.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  15%|████████████████████                                                                                                                | 369/2432 [00:08<00:41, 49.92it/s]\u001b[A\n",
      "Running loglikelihood requests:  16%|████████████████████▉                                                                                                               | 385/2432 [00:08<00:40, 50.10it/s]\u001b[A\n",
      "Running loglikelihood requests:  16%|█████████████████████▊                                                                                                              | 401/2432 [00:08<00:40, 50.20it/s]\u001b[A\n",
      "Running loglikelihood requests:  17%|██████████████████████▋                                                                                                             | 417/2432 [00:08<00:40, 50.28it/s]\u001b[A\n",
      "Running loglikelihood requests:  18%|███████████████████████▌                                                                                                            | 433/2432 [00:09<00:39, 50.34it/s]\u001b[A\n",
      "Running loglikelihood requests:  18%|████████████████████████▎                                                                                                           | 449/2432 [00:09<00:39, 50.41it/s]\u001b[A\n",
      "Running loglikelihood requests:  19%|█████████████████████████▏                                                                                                          | 465/2432 [00:09<00:38, 50.49it/s]\u001b[A\n",
      "Running loglikelihood requests:  20%|██████████████████████████                                                                                                          | 481/2432 [00:10<00:38, 50.49it/s]\u001b[A\n",
      "Running loglikelihood requests:  20%|██████████████████████████▉                                                                                                         | 497/2432 [00:10<00:38, 50.52it/s]\u001b[A\n",
      "Running loglikelihood requests:  21%|███████████████████████████▊                                                                                                        | 513/2432 [00:10<00:37, 50.58it/s]\u001b[A\n",
      "Running loglikelihood requests:  22%|████████████████████████████▋                                                                                                       | 529/2432 [00:11<00:37, 50.50it/s]\u001b[A\n",
      "Running loglikelihood requests:  22%|█████████████████████████████▌                                                                                                      | 545/2432 [00:11<00:37, 50.48it/s]\u001b[A\n",
      "Running loglikelihood requests:  23%|██████████████████████████████▍                                                                                                     | 561/2432 [00:11<00:36, 50.58it/s]\u001b[A\n",
      "Running loglikelihood requests:  24%|███████████████████████████████▎                                                                                                    | 577/2432 [00:12<00:36, 50.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  24%|████████████████████████████████▏                                                                                                   | 593/2432 [00:12<00:36, 50.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  25%|█████████████████████████████████                                                                                                   | 609/2432 [00:12<00:35, 50.68it/s]\u001b[A\n",
      "Running loglikelihood requests:  26%|█████████████████████████████████▉                                                                                                  | 625/2432 [00:13<00:35, 50.62it/s]\u001b[A\n",
      "Running loglikelihood requests:  26%|██████████████████████████████████▊                                                                                                 | 641/2432 [00:13<00:35, 50.63it/s]\u001b[A\n",
      "Running loglikelihood requests:  27%|███████████████████████████████████▋                                                                                                | 657/2432 [00:13<00:34, 51.00it/s]\u001b[A\n",
      "Running loglikelihood requests:  28%|████████████████████████████████████▌                                                                                               | 673/2432 [00:14<00:34, 51.19it/s]\u001b[A\n",
      "Running loglikelihood requests:  28%|█████████████████████████████████████▍                                                                                              | 689/2432 [00:14<00:33, 51.32it/s]\u001b[A\n",
      "Running loglikelihood requests:  29%|██████████████████████████████████████▎                                                                                             | 705/2432 [00:14<00:33, 51.36it/s]\u001b[A\n",
      "Running loglikelihood requests:  30%|███████████████████████████████████████▏                                                                                            | 721/2432 [00:14<00:33, 51.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  30%|████████████████████████████████████████                                                                                            | 737/2432 [00:15<00:32, 51.40it/s]\u001b[A\n",
      "Running loglikelihood requests:  31%|████████████████████████████████████████▊                                                                                           | 753/2432 [00:15<00:32, 51.45it/s]\u001b[A\n",
      "Running loglikelihood requests:  32%|█████████████████████████████████████████▋                                                                                          | 769/2432 [00:15<00:32, 51.47it/s]\u001b[A\n",
      "Running loglikelihood requests:  32%|██████████████████████████████████████████▌                                                                                         | 785/2432 [00:16<00:31, 51.55it/s]\u001b[A\n",
      "Running loglikelihood requests:  33%|███████████████████████████████████████████▍                                                                                        | 801/2432 [00:16<00:31, 51.56it/s]\u001b[A\n",
      "Running loglikelihood requests:  34%|████████████████████████████████████████████▎                                                                                       | 817/2432 [00:16<00:31, 51.55it/s]\u001b[A\n",
      "Running loglikelihood requests:  34%|█████████████████████████████████████████████▏                                                                                      | 833/2432 [00:17<00:31, 51.58it/s]\u001b[A\n",
      "Running loglikelihood requests:  35%|██████████████████████████████████████████████                                                                                      | 849/2432 [00:17<00:30, 51.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  36%|██████████████████████████████████████████████▉                                                                                     | 865/2432 [00:17<00:30, 51.68it/s]\u001b[A\n",
      "Running loglikelihood requests:  36%|███████████████████████████████████████████████▊                                                                                    | 881/2432 [00:18<00:30, 51.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  37%|████████████████████████████████████████████████▋                                                                                   | 897/2432 [00:18<00:29, 51.65it/s]\u001b[A\n",
      "Running loglikelihood requests:  38%|█████████████████████████████████████████████████▌                                                                                  | 913/2432 [00:18<00:29, 51.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  38%|██████████████████████████████████████████████████▍                                                                                 | 929/2432 [00:18<00:29, 51.78it/s]\u001b[A\n",
      "Running loglikelihood requests:  39%|███████████████████████████████████████████████████▎                                                                                | 945/2432 [00:19<00:28, 51.66it/s]\u001b[A\n",
      "Running loglikelihood requests:  40%|████████████████████████████████████████████████████▏                                                                               | 961/2432 [00:19<00:28, 51.62it/s]\u001b[A\n",
      "Running loglikelihood requests:  40%|█████████████████████████████████████████████████████                                                                               | 977/2432 [00:19<00:28, 51.67it/s]\u001b[A\n",
      "Running loglikelihood requests:  41%|█████████████████████████████████████████████████████▉                                                                              | 993/2432 [00:20<00:27, 51.73it/s]\u001b[A\n",
      "Running loglikelihood requests:  41%|██████████████████████████████████████████████████████▎                                                                            | 1009/2432 [00:20<00:27, 51.73it/s]\u001b[A\n",
      "Running loglikelihood requests:  42%|███████████████████████████████████████████████████████▏                                                                           | 1025/2432 [00:20<00:27, 51.65it/s]\u001b[A\n",
      "Running loglikelihood requests:  43%|████████████████████████████████████████████████████████                                                                           | 1041/2432 [00:21<00:26, 51.66it/s]\u001b[A\n",
      "Running loglikelihood requests:  43%|████████████████████████████████████████████████████████▉                                                                          | 1057/2432 [00:21<00:26, 51.73it/s]\u001b[A\n",
      "Running loglikelihood requests:  44%|█████████████████████████████████████████████████████████▊                                                                         | 1073/2432 [00:21<00:26, 51.69it/s]\u001b[A\n",
      "Running loglikelihood requests:  45%|██████████████████████████████████████████████████████████▋                                                                        | 1089/2432 [00:22<00:26, 51.64it/s]\u001b[A\n",
      "Running loglikelihood requests:  45%|███████████████████████████████████████████████████████████▌                                                                       | 1105/2432 [00:22<00:25, 51.99it/s]\u001b[A\n",
      "Running loglikelihood requests:  46%|████████████████████████████████████████████████████████████▍                                                                      | 1121/2432 [00:22<00:25, 52.29it/s]\u001b[A\n",
      "Running loglikelihood requests:  47%|█████████████████████████████████████████████████████████████▏                                                                     | 1137/2432 [00:22<00:24, 52.32it/s]\u001b[A\n",
      "Running loglikelihood requests:  47%|██████████████████████████████████████████████████████████████                                                                     | 1153/2432 [00:23<00:24, 52.48it/s]\u001b[A\n",
      "Running loglikelihood requests:  48%|██████████████████████████████████████████████████████████████▉                                                                    | 1169/2432 [00:23<00:24, 52.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  49%|███████████████████████████████████████████████████████████████▊                                                                   | 1185/2432 [00:23<00:23, 52.64it/s]\u001b[A\n",
      "Running loglikelihood requests:  49%|████████████████████████████████████████████████████████████████▋                                                                  | 1201/2432 [00:24<00:23, 52.64it/s]\u001b[A\n",
      "Running loglikelihood requests:  50%|█████████████████████████████████████████████████████████████████▌                                                                 | 1217/2432 [00:24<00:23, 52.57it/s]\u001b[A\n",
      "Running loglikelihood requests:  51%|██████████████████████████████████████████████████████████████████▍                                                                | 1233/2432 [00:24<00:22, 52.63it/s]\u001b[A\n",
      "Running loglikelihood requests:  51%|███████████████████████████████████████████████████████████████████▎                                                               | 1249/2432 [00:25<00:22, 52.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  52%|████████████████████████████████████████████████████████████████████▏                                                              | 1265/2432 [00:25<00:22, 52.65it/s]\u001b[A\n",
      "Running loglikelihood requests:  53%|█████████████████████████████████████████████████████████████████████                                                              | 1281/2432 [00:25<00:21, 52.63it/s]\u001b[A\n",
      "Running loglikelihood requests:  53%|█████████████████████████████████████████████████████████████████████▊                                                             | 1297/2432 [00:26<00:21, 52.68it/s]\u001b[A\n",
      "Running loglikelihood requests:  54%|██████████████████████████████████████████████████████████████████████▋                                                            | 1313/2432 [00:26<00:21, 52.67it/s]\u001b[A\n",
      "Running loglikelihood requests:  55%|███████████████████████████████████████████████████████████████████████▌                                                           | 1329/2432 [00:26<00:20, 52.67it/s]\u001b[A\n",
      "Running loglikelihood requests:  55%|████████████████████████████████████████████████████████████████████████▍                                                          | 1345/2432 [00:26<00:20, 52.66it/s]\u001b[A\n",
      "Running loglikelihood requests:  56%|█████████████████████████████████████████████████████████████████████████▎                                                         | 1361/2432 [00:27<00:20, 52.61it/s]\u001b[A\n",
      "Running loglikelihood requests:  57%|██████████████████████████████████████████████████████████████████████████▏                                                        | 1377/2432 [00:27<00:20, 52.63it/s]\u001b[A\n",
      "Running loglikelihood requests:  57%|███████████████████████████████████████████████████████████████████████████                                                        | 1393/2432 [00:27<00:19, 52.75it/s]\u001b[A\n",
      "Running loglikelihood requests:  58%|███████████████████████████████████████████████████████████████████████████▉                                                       | 1409/2432 [00:28<00:19, 52.86it/s]\u001b[A\n",
      "Running loglikelihood requests:  59%|████████████████████████████████████████████████████████████████████████████▊                                                      | 1425/2432 [00:28<00:19, 52.96it/s]\u001b[A\n",
      "Running loglikelihood requests:  59%|█████████████████████████████████████████████████████████████████████████████▌                                                     | 1441/2432 [00:28<00:18, 52.87it/s]\u001b[A\n",
      "Running loglikelihood requests:  60%|██████████████████████████████████████████████████████████████████████████████▍                                                    | 1457/2432 [00:29<00:18, 52.81it/s]\u001b[A\n",
      "Running loglikelihood requests:  61%|███████████████████████████████████████████████████████████████████████████████▎                                                   | 1473/2432 [00:29<00:18, 52.85it/s]\u001b[A\n",
      "Running loglikelihood requests:  61%|████████████████████████████████████████████████████████████████████████████████▏                                                  | 1489/2432 [00:29<00:17, 52.82it/s]\u001b[A\n",
      "Running loglikelihood requests:  62%|█████████████████████████████████████████████████████████████████████████████████                                                  | 1505/2432 [00:29<00:17, 52.79it/s]\u001b[A\n",
      "Running loglikelihood requests:  63%|█████████████████████████████████████████████████████████████████████████████████▉                                                 | 1521/2432 [00:30<00:17, 52.83it/s]\u001b[A\n",
      "Running loglikelihood requests:  63%|██████████████████████████████████████████████████████████████████████████████████▊                                                | 1537/2432 [00:30<00:16, 52.79it/s]\u001b[A\n",
      "Running loglikelihood requests:  64%|███████████████████████████████████████████████████████████████████████████████████▋                                               | 1553/2432 [00:30<00:16, 52.90it/s]\u001b[A\n",
      "Running loglikelihood requests:  65%|████████████████████████████████████████████████████████████████████████████████████▌                                              | 1569/2432 [00:31<00:16, 52.88it/s]\u001b[A\n",
      "Running loglikelihood requests:  65%|█████████████████████████████████████████████████████████████████████████████████████▍                                             | 1585/2432 [00:31<00:16, 52.82it/s]\u001b[A\n",
      "Running loglikelihood requests:  66%|██████████████████████████████████████████████████████████████████████████████████████▏                                            | 1601/2432 [00:31<00:15, 52.83it/s]\u001b[A\n",
      "Running loglikelihood requests:  66%|███████████████████████████████████████████████████████████████████████████████████████                                            | 1617/2432 [00:32<00:15, 52.89it/s]\u001b[A\n",
      "Running loglikelihood requests:  67%|███████████████████████████████████████████████████████████████████████████████████████▉                                           | 1633/2432 [00:32<00:15, 52.86it/s]\u001b[A\n",
      "Running loglikelihood requests:  68%|████████████████████████████████████████████████████████████████████████████████████████▊                                          | 1649/2432 [00:32<00:14, 52.90it/s]\u001b[A\n",
      "Running loglikelihood requests:  68%|█████████████████████████████████████████████████████████████████████████████████████████▋                                         | 1665/2432 [00:32<00:14, 52.85it/s]\u001b[A\n",
      "Running loglikelihood requests:  69%|██████████████████████████████████████████████████████████████████████████████████████████▌                                        | 1681/2432 [00:33<00:14, 53.18it/s]\u001b[A\n",
      "Running loglikelihood requests:  70%|███████████████████████████████████████████████████████████████████████████████████████████▍                                       | 1697/2432 [00:33<00:13, 53.32it/s]\u001b[A\n",
      "Running loglikelihood requests:  70%|████████████████████████████████████████████████████████████████████████████████████████████▎                                      | 1713/2432 [00:33<00:13, 53.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  71%|█████████████████████████████████████████████████████████████████████████████████████████████▏                                     | 1729/2432 [00:34<00:13, 53.44it/s]\u001b[A\n",
      "Running loglikelihood requests:  72%|█████████████████████████████████████████████████████████████████████████████████████████████▉                                     | 1745/2432 [00:34<00:12, 53.48it/s]\u001b[A\n",
      "Running loglikelihood requests:  72%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                    | 1761/2432 [00:34<00:12, 53.48it/s]\u001b[A\n",
      "Running loglikelihood requests:  73%|███████████████████████████████████████████████████████████████████████████████████████████████▋                                   | 1777/2432 [00:35<00:12, 53.58it/s]\u001b[A\n",
      "Running loglikelihood requests:  74%|████████████████████████████████████████████████████████████████████████████████████████████████▌                                  | 1793/2432 [00:35<00:11, 53.58it/s]\u001b[A\n",
      "Running loglikelihood requests:  74%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 1809/2432 [00:35<00:11, 53.55it/s]\u001b[A\n",
      "Running loglikelihood requests:  75%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                                | 1825/2432 [00:35<00:11, 53.09it/s]\u001b[A\n",
      "Running loglikelihood requests:  76%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                               | 1841/2432 [00:36<00:11, 53.22it/s]\u001b[A\n",
      "Running loglikelihood requests:  76%|████████████████████████████████████████████████████████████████████████████████████████████████████                               | 1857/2432 [00:36<00:10, 53.28it/s]\u001b[A\n",
      "Running loglikelihood requests:  77%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                              | 1873/2432 [00:36<00:10, 53.39it/s]\u001b[A\n",
      "Running loglikelihood requests:  78%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊                             | 1889/2432 [00:37<00:10, 53.41it/s]\u001b[A\n",
      "Running loglikelihood requests:  78%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                            | 1905/2432 [00:37<00:09, 53.53it/s]\u001b[A\n",
      "Running loglikelihood requests:  79%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                           | 1921/2432 [00:37<00:09, 53.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  80%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 1937/2432 [00:38<00:09, 53.72it/s]\u001b[A\n",
      "Running loglikelihood requests:  80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 1953/2432 [00:38<00:08, 53.70it/s]\u001b[A\n",
      "Running loglikelihood requests:  81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                         | 1969/2432 [00:38<00:08, 53.70it/s]\u001b[A\n",
      "Running loglikelihood requests:  82%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 1985/2432 [00:38<00:08, 53.78it/s]\u001b[A\n",
      "Running loglikelihood requests:  82%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 2001/2432 [00:39<00:08, 53.73it/s]\u001b[A\n",
      "Running loglikelihood requests:  83%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 2017/2432 [00:39<00:07, 53.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                     | 2033/2432 [00:39<00:07, 53.79it/s]\u001b[A\n",
      "Running loglikelihood requests:  84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 2049/2432 [00:40<00:07, 53.77it/s]\u001b[A\n",
      "Running loglikelihood requests:  85%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 2065/2432 [00:40<00:06, 53.72it/s]\u001b[A\n",
      "Running loglikelihood requests:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 2081/2432 [00:40<00:06, 53.73it/s]\u001b[A\n",
      "Running loglikelihood requests:  86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 2097/2432 [00:41<00:06, 53.72it/s]\u001b[A\n",
      "Running loglikelihood requests:  87%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 2113/2432 [00:41<00:05, 53.78it/s]\u001b[A\n",
      "Running loglikelihood requests:  88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 2129/2432 [00:41<00:05, 53.77it/s]\u001b[A\n",
      "Running loglikelihood requests:  88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 2145/2432 [00:41<00:05, 53.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 2161/2432 [00:42<00:05, 53.74it/s]\u001b[A\n",
      "Running loglikelihood requests:  90%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 2177/2432 [00:42<00:04, 54.36it/s]\u001b[A\n",
      "Running loglikelihood requests:  90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 2193/2432 [00:42<00:04, 54.68it/s]\u001b[A\n",
      "Running loglikelihood requests:  91%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 2209/2432 [00:43<00:04, 54.98it/s]\u001b[A\n",
      "Running loglikelihood requests:  91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 2225/2432 [00:43<00:03, 55.20it/s]\u001b[A\n",
      "Running loglikelihood requests:  92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 2241/2432 [00:43<00:03, 55.34it/s]\u001b[A\n",
      "Running loglikelihood requests:  93%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 2257/2432 [00:43<00:03, 55.47it/s]\u001b[A\n",
      "Running loglikelihood requests:  93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 2273/2432 [00:44<00:02, 55.60it/s]\u001b[A\n",
      "Running loglikelihood requests:  94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 2289/2432 [00:44<00:02, 55.65it/s]\u001b[A\n",
      "Running loglikelihood requests:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 2305/2432 [00:44<00:02, 55.69it/s]\u001b[A\n",
      "Running loglikelihood requests:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 2321/2432 [00:45<00:01, 55.71it/s]\u001b[A\n",
      "Running loglikelihood requests:  96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 2337/2432 [00:45<00:01, 55.76it/s]\u001b[A\n",
      "Running loglikelihood requests:  97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 2353/2432 [00:45<00:01, 55.72it/s]\u001b[A\n",
      "Running loglikelihood requests:  97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 2369/2432 [00:45<00:01, 55.72it/s]\u001b[A\n",
      "Running loglikelihood requests:  98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 2385/2432 [00:46<00:00, 56.21it/s]\u001b[A\n",
      "Running loglikelihood requests:  99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 2401/2432 [00:46<00:00, 56.42it/s]\u001b[A\n",
      "Running loglikelihood requests: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2432/2432 [00:46<00:00, 51.97it/s]\u001b[A\n",
      "100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [08:25<00:00, 252.86s/it]"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "CPU times: user 3min 16s, sys: 24.7 s, total: 3min 41s\n",
      "Wall time: 8min 25s\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "results = {}\n",
    "for topic in tqdm(TOPICS):\n",
    "    results[topic] = simple_evaluate(\n",
    "        model=\"hf\",\n",
    "        model_args=f\"pretrained={MODEL_DIR}\",\n",
    "        tasks=f\"mmlu_multi_prompt_{topic}\",\n",
    "        batch_size=4,\n",
    "        num_fewshot=5,\n",
    "        examples=examples_dict[topic],\n",
    "        log_samples=True,\n",
    "        device=\"cuda\"\n",
    "    )"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f5dd0f1-e9f4-4a8a-9c98-b0a418aa2adc",
   "metadata": {},
   "source": [
    "Processing the data to a format we can apply PromptEval:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "id": "c5616f7f-faf0-4af1-b8a8-425010b7efe8",
   "metadata": {},
   "outputs": [],
   "source": [
    "Ys = {}\n",
    "for topic in TOPICS:\n",
    "    Ys[topic] = -np.ones((N_TEMPLATES, N_TOPICS[topic]))\n",
    "    for i in range(N_TEMPLATES):\n",
    "        temp = list(results[topic]['samples'].values())[i]\n",
    "        for d in temp:\n",
    "            Ys[topic][i,d['doc_id']] = d['acc']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 130,
   "id": "c66dcfcc-02c8-4038-aeb6-1293a97f4365",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "182fa8d6a56846049b38aa456ff5fabb",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Batches:   0%|          | 0/7 [00:00<?, ?it/s]"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "pca_dim = 25\n",
    "pca = PCA(n_components=pca_dim)\n",
    "X = pca.fit_transform(model.encode([t[-1] for t in templates]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 134,
   "id": "938772df-b710-4c8a-851b-11d8e6090e07",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkIAAAGxCAYAAACOSdkqAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMCwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy80BEi2AAAACXBIWXMAAA9hAAAPYQGoP6dpAABKl0lEQVR4nO3deVhUZf8/8PcwMAODgig5LCK4krup6YOGaFGoadqmKT/E3UrKxBU3XFLR0rQyTUutvhZWZpkbj6G44oaapoi5hQsgloIsMjBz//7w4eTIoAzbwJz367rmupx7zjnzOXOAeXvf9zlHIYQQICIiIpIhG0sXQERERGQpDEJEREQkWwxCREREJFsMQkRERCRbDEJEREQkWwxCREREJFsMQkRERCRbDEJEREQkW7aWLqCyGQwG3LhxAzVr1oRCobB0OURERFQCQgjcvXsXHh4esLEpv34c2QWhGzduwMvLy9JlEBERUSlcvXoV9erVK7ftyS4I1axZE8D9D9LJycnC1RAREVFJZGZmwsvLS/oeLy+yC0KFw2FOTk4MQkRERNVMeU9r4WRpIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki2LBqG9e/eiT58+8PDwgEKhwM8///zYdeLi4tCuXTuo1Wo0btwY69atq/A6iYiIyDpZNAhlZ2ejTZs2WL58eYmWv3z5Ml588UV0794dJ0+exHvvvYcRI0YgJiamgislIiIia2TRm6727NkTPXv2LPHyK1euRIMGDbB48WIAQLNmzbB//3589NFHCAoKqqgyiYiIyEpVq7vPx8fHIzAw0KgtKCgI7733nmUKIiLrJwSQn2PpKkimhBDIzddbuowqIScrs0K2W62CUGpqKrRarVGbVqtFZmYmcnNz4eDgUGSdvLw85OXlSc8zMyvmgySiKqqsQUaXA3zYuPzqITKDAoDG0kVUEQV5okK2W62CUGksWLAAs2fPtnQZRGQp+TnAfA9LV0FEVVS1CkJubm5IS0szaktLS4OTk5PJ3iAAiIiIQHh4uPQ8MzMTXl5eFVonEVmpCRcAVdX+/zmHUipejk4P/0W7K/19903qDo1KWenvW1XkZGYCUfXLfbvVKgj5+flh27ZtRm07d+6En59fseuo1Wqo1eqKLo2IqoOyBhk7DaBQlF89FSBXV4Dm7/NM2opnDwA4Nj2w0sKJg50Siir+81eRCgwVs+8WDUJZWVm4cOGC9Pzy5cs4efIkateujfr16yMiIgLXr1/H119/DQB488038emnn2LSpEkYNmwYdu3ahe+//x5bt2611C4QUXWi0gAqR0tXYTZzenlydOwNqkwalRIaVbXqU6CHWPToHTt2DN27d5eeFw5hhYaGYt26dUhJSUFycrL0eoMGDbB161aMGzcOy5YtQ7169fDFF1/w1Hkismq5+Xo0n2l+L09l9lbIlYMdP9/qzqJBqFu3bhCi+Fngpq4a3a1bN5w4caICqyIiKl9lnbdT2l4e9lYQPR5/Q4jIOhR3mrzO8tcAKm2Pjinm9PKwt4Lo8RiEiMg6yOQ0efbyEJUv/jYREZWT4obAHhzaKuu8HfbyEJUvBiEisj7FnSZvV7HXACrJEBh7dIiqFv42EpH1qaanyRNR5WMQIiKqAMUNgXFoi6hqYRAiourH1BliVeDssAdxCIyoeuBvKRFVP5V4hhiv6kxk3RiEiIgeoTyvAUREVQ+DEBFVb6bOEKvgs8OIyHowCBFR9VaJZ4jxqs5E1odBiIjof0zNB3pw3g8nQBNZH/5GExH9D+cDEckPgxARyU5JboVBRPLAIEREslOSnh9T84E474fI+jAIERGZwPlARPLA33IikjXeCoNI3hiEiEjW2PNDJG/87SeiqsvUPcUAs+4r9rhT4olI3hiEiKjqKod7ivGUeCJ6FBtLF0BERERkKewRIqLqwdQ9xQCz7ivGU+KJ6GEMQkRUPZTDPcU4MZqIHsahMSIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItXlCDiKyCqXuKAbyvGBE9GoMQEVkF3lOMiEqDQ2NEREQkW+wRIiKrY+qeYgDvK0ZERTEIEZHV4T3FiKikODRGREREssUgRERERLLFIERERESyxSBEREREssUgRERERLLFIERERESyxfNLiahqEALIzzFu0+UUs2jR22nwVhpEVBoMQkRUNeTnAPM9SrQob6dBROWFQ2NEREQkW+wRIqKqZ8IFQKUxbrPTmFzU1O00eCsNIiopBiEiqnpUGkDlWKJFeTsNIioLDo0RERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWxZPAgtX74cPj4+sLe3R6dOnXDkyJFHLr906VL4+vrCwcEBXl5eGDduHO7du1dJ1RIREZE1sWgQ2rBhA8LDwxEZGYnjx4+jTZs2CAoKws2bN00u/+2332LKlCmIjIxEYmIivvzyS2zYsAFTp06t5MqJiIjIGlg0CC1ZsgQjR47E0KFD0bx5c6xcuRIajQZr1qwxufzBgwfRpUsXDBo0CD4+PnjhhRcwcODAx/YiEREREZlisSCk0+mQkJCAwMDAf4uxsUFgYCDi4+NNrtO5c2ckJCRIwefSpUvYtm0bevXqVez75OXlITMz0+hBREREBAC2lnrjW7duQa/XQ6vVGrVrtVqcO3fO5DqDBg3CrVu38Mwzz0AIgYKCArz55puPHBpbsGABZs+eXa61E1HlEEIgN19fpD1HV7SNiKg0LBaESiMuLg7z58/HZ599hk6dOuHChQsYO3Ys5s6dixkzZphcJyIiAuHh4dLzzMxMeHl5VVbJRFQGufl6NJ8ZY+kyiMiKWSwIubq6QqlUIi0tzag9LS0Nbm5uJteZMWMGQkJCMGLECABAq1atkJ2djVGjRmHatGmwsSk60qdWq6FWq8t/B4iIiKjas1gQUqlUaN++PWJjY9GvXz8AgMFgQGxsLMLCwkyuk5OTUyTsKJVKAPe70InIeh2bHgiNSlmk3cGuaBsRUUlZdGgsPDwcoaGh6NChAzp27IilS5ciOzsbQ4cOBQAMHjwYnp6eWLBgAQCgT58+WLJkCZ566ilpaGzGjBno06ePFIiIyDppVEpoVNVqNJ+IqgGL/lUZMGAA0tPTMXPmTKSmpqJt27bYsWOHNIE6OTnZqAdo+vTpUCgUmD59Oq5fv44nnngCffr0wbx58yy1C0RERFSNKYTMxpQyMzPh7OyMjIwMODk5WbocIiqkywbme9z/99QbgMoROboCabL02TlB7BEikrGK+v62+C02iIiIiCyFQYiIiIhki0GIiIiIZIsD7kRUuYQA8nOKtutMtBERVTAGISKqXPk5/06KJiKyMA6NERERkWyxR4iILGfCBUClKdpuZ6KNiKgCMAgRkeWoNIDK0dJVEJGMcWiMiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiIiIiGSLQYiIiIhky9bSBRARAYAQArn5eqO2HJ2+mKWJiMoHgxARVQm5+Xo0nxlj6TKISGY4NEZERESyxR4hIqpyjk0PhEalNGpzsFMWszQRUekxCBFRlaNRKaFR8c8TEVU8Do0RERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbDEIERERkWwxCBEREZFsMQgRERGRbFk8CC1fvhw+Pj6wt7dHp06dcOTIkUcuf+fOHYwZMwbu7u5Qq9Vo2rQptm3bVknVEhERkTWxteSbb9iwAeHh4Vi5ciU6deqEpUuXIigoCElJSahbt26R5XU6HZ5//nnUrVsXP/74Izw9PfHXX3+hVq1alV88ERERVXsWDUJLlizByJEjMXToUADAypUrsXXrVqxZswZTpkwpsvyaNWvwzz//4ODBg7CzswMA+Pj4VGbJREREZEUsNjSm0+mQkJCAwMDAf4uxsUFgYCDi4+NNrrN582b4+flhzJgx0Gq1aNmyJebPnw+9Xl/s++Tl5SEzM9PoQURERARYMAjdunULer0eWq3WqF2r1SI1NdXkOpcuXcKPP/4IvV6Pbdu2YcaMGVi8eDHef//9Yt9nwYIFcHZ2lh5eXl7luh9ERERUfVl8srQ5DAYD6tati1WrVqF9+/YYMGAApk2bhpUrVxa7TkREBDIyMqTH1atXK7FiIiIiqsosNkfI1dUVSqUSaWlpRu1paWlwc3MzuY67uzvs7OygVCqltmbNmiE1NRU6nQ4qlarIOmq1Gmq1unyLJyIiIqtgsR4hlUqF9u3bIzY2VmozGAyIjY2Fn5+fyXW6dOmCCxcuwGAwSG3nz5+Hu7u7yRBERERE9CgWHRoLDw/H6tWr8dVXXyExMRFvvfUWsrOzpbPIBg8ejIiICGn5t956C//88w/Gjh2L8+fPY+vWrZg/fz7GjBljqV0gIiKiasyip88PGDAA6enpmDlzJlJTU9G2bVvs2LFDmkCdnJwMG5t/s5qXlxdiYmIwbtw4tG7dGp6enhg7diwmT55sqV0gIiKiasyiQQgAwsLCEBYWZvK1uLi4Im1+fn44dOhQBVdFREREclCtzhojIiIiKk8MQkRERCRbDEJEREQkWwxCREREJFsMQkRERCRbDEJEREQkWwxCREREJFsWv44QEVkxIYD8HOM2XY7pZYmILMCsIDR48GAsX74cNWvWBAD8/vvvaN68Oezs7CqkOCKq5vJzgPkelq6CiKhYZg2NrV+/Hrm5udJzf39/XL16tdyLIiIiIqoMZvUICSEe+ZyIqFgTLgAqjXGbncb0skRElYRzhIiocqg0gMrR0lUQERkxOwidPXsWqampAO73CJ07dw5ZWVlGy7Ru3bp8qiMiIiKqQGYHoeeee85oSKx3794AAIVCASEEFAoF9Hp9+VVIREREVEHMCkKXL1+uqDqIiIiIKp1ZQcjb27ui6iAiIiKqdKWaLP3nn3/il19+wZUrV6BQKNCgQQP069cPDRs2LO/6iIiIiCqM2UFowYIFmDlzJgwGA+rWrQshBNLT0zFlyhTMnz8fEyZMqIg6iYiIiMqdWRdU3L17N6ZPn45p06bh1q1bSElJQWpqqhSEpkyZgr1791ZUrURERETlyqweoZUrV2LEiBGYNWuWUXvt2rUxZ84cpKamYsWKFejatWt51khERERUIczqETpy5AhCQkKKfT0kJASHDh0qc1FERERElcGsHqG0tDT4+PgU+3qDBg2kiy0SEZkihEBuftFrjeXoeP0xIqp8ZgWhe/fuQaVSFfu6nZ0ddDpdmYsiIuuVm69H85kxli6DiAhAKc4a++KLL1CjRg2Tr929e7fMBRERERFVFrOCUP369bF69erHLkNEVBLHpgdCo1IWaXewK9pGRFQRzApCV65cqaAyiEiONColNKpSXdeViKhcmHXW2K5du9C8eXNkZmYWeS0jIwMtWrTAvn37yq04IiIioopkVhBaunQpRo4cCScnpyKvOTs7Y/To0ViyZEm5FUdERERUkcwKQr///jt69OhR7OsvvPACEhISylwUERERUWUwKwilpaXBzs6u2NdtbW2Rnp5e5qKIiIiIKoNZQcjT0xN//PFHsa+fOnUK7u7uZS6KiIiIqDKYFYR69eqFGTNm4N69e0Vey83NRWRkJHr37l1uxRERERFVJLPOW50+fTp++uknNG3aFGFhYfD19QUAnDt3DsuXL4der8e0adMqpFAiIiKi8mZWENJqtTh48CDeeustREREQAgBAFAoFAgKCsLy5cuh1WorpFAiIiKi8mb2lcy8vb2xbds23L59GxcuXIAQAk2aNIGLi0tF1EdERERUYUp9SVcXFxc8/fTT5VkLERERUaUya7I0ERERkTVhECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZYhAiIiIi2WIQIiIiItliECIiIiLZqhJBaPny5fDx8YG9vT06deqEI0eOlGi96OhoKBQK9OvXr2ILJCIiIqtk8SC0YcMGhIeHIzIyEsePH0ebNm0QFBSEmzdvPnK9K1euYMKECfD396+kSomIiMjaWDwILVmyBCNHjsTQoUPRvHlzrFy5EhqNBmvWrCl2Hb1ej+DgYMyePRsNGzasxGqJiIjImlg0COl0OiQkJCAwMFBqs7GxQWBgIOLj44tdb86cOahbty6GDx9eGWUSERGRlbK15JvfunULer0eWq3WqF2r1eLcuXMm19m/fz++/PJLnDx5skTvkZeXh7y8POl5ZmZmqeslIiIi62LxoTFz3L17FyEhIVi9ejVcXV1LtM6CBQvg7OwsPby8vCq4SiIiIqouLNoj5OrqCqVSibS0NKP2tLQ0uLm5FVn+4sWLuHLlCvr06SO1GQwGAICtrS2SkpLQqFEjo3UiIiIQHh4uPc/MzGQYIqokQggo/vfvHF0BgALk6PSWLImIyIhFg5BKpUL79u0RGxsrnQJvMBgQGxuLsLCwIss/+eSTOH36tFHb9OnTcffuXSxbtsxkwFGr1VCr1RVSPxE9Wm6+Hpr//bv9+78hF/YWrYeI6GEWDUIAEB4ejtDQUHTo0AEdO3bE0qVLkZ2djaFDhwIABg8eDE9PTyxYsAD29vZo2bKl0fq1atUCgCLtRERERI9j8SA0YMAApKenY+bMmUhNTUXbtm2xY8cOaQJ1cnIybGyq1VQmIjJh36Tu0NRwMmpzsFNaqBoiovsUQghh6SIqU2ZmJpydnZGRkQEnJ6fHr0BEpZaTlQHNh/Xv/3tCMjQ1nC1cERFVVxX1/c2uFiIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItBiEiIiKSLQYhIiIiki0GISIiIpItW0sXQERWQAggP6dou6k2IqIqhEGIiMouPweY71GkWWOBUoiIzMGhMSIiIpIt9ggRUfmacAFQ3e8LytEVoP37vwEAEuzYP0REVQ+DEBGVL5UGUDn+70kBcmF//58KhcVKIiIqDofGiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2bC1dABFVf0IIKP737xxdAYCC//1bb7GaiIhKgkGIiMosN18Pzf/+3f7935ALe4vWQ0RUUhwaIyIiItlijxARlat9k7pDU8OpSLuDndIC1RARPRqDEBGVK41KCY2Kf1qIqHrg0BgRERHJFoMQERERyRaDEBEREckWgxARERHJFoMQERERyRaDEBEREckWz3ElIrMIIZCbb3zrjBzdv1eWJiKqThiEiMgsufl6NJ8ZY9TmgHtI5F01iKga4tAYERERyRZ7hIio1I5ND4RGpQR02cCH99t4Kw0iqk4YhIio1P69nca/f0oUCoXlCiIiMhOHxoiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLYYhIiIiEi2GISIiIhIthiEiIiISLaqRBBavnw5fHx8YG9vj06dOuHIkSPFLrt69Wr4+/vDxcUFLi4uCAwMfOTyRERERMWxeBDasGEDwsPDERkZiePHj6NNmzYICgrCzZs3TS4fFxeHgQMHYvfu3YiPj4eXlxdeeOEFXL9+vZIrJyIiourO4kFoyZIlGDlyJIYOHYrmzZtj5cqV0Gg0WLNmjcnl169fj7fffhtt27bFk08+iS+++AIGgwGxsbGVXDkRERFVdxYNQjqdDgkJCQgMDJTabGxsEBgYiPj4+BJtIycnB/n5+ahdu7bJ1/Py8pCZmWn0ICIiIgIsHIRu3boFvV4PrVZr1K7VapGamlqibUyePBkeHh5GYepBCxYsgLOzs/Tw8vIqc91ERERkHSw+NFYWUVFRiI6OxqZNm2Bvb29ymYiICGRkZEiPq1evVnKVREREVFXZWvLNXV1doVQqkZaWZtSelpYGNze3R6774YcfIioqCr/99htat25d7HJqtRpqtbpc6iWSEyEEcvP1RdpzdEXbiIiqK4sGIZVKhfbt2yM2Nhb9+vUDAGnic1hYWLHrLVq0CPPmzUNMTAw6dOhQSdUSyUtuvh7NZ8ZYugwiogpl0SAEAOHh4QgNDUWHDh3QsWNHLF26FNnZ2Rg6dCgAYPDgwfD09MSCBQsAAAsXLsTMmTPx7bffwsfHR5pLVKNGDdSoUcNi+0FERETVj8WD0IABA5Ceno6ZM2ciNTUVbdu2xY4dO6QJ1MnJybCx+Xcq04oVK6DT6fDaa68ZbScyMhKzZs2qzNKJZOPY9EBoVMoi7Q52RduIiKoTiwchAAgLCyt2KCwuLs7o+ZUrVyq+ICIyolEpoVFViT8XRETlqlqfNUZERERUFgxCREREJFsMQkRERCRbDEJEREQkWwxCREREJFs8DYSIzCMEkJ9j3KbLMb0sEVEVxyBERObJzwHme1i6CiKicsGhMSIiIpIt9ggRUelNuACoNMZtdhrTyxIRVUEMQkRUeioNoHK0dBVERKXGIEREVk8IgYKCAuj1ekuXQkSPYGdnB6Wycu9hyCBERFZNp9MhJSUFOTk8s42oqlMoFKhXrx5q1KhRae/JIEREVstgMODy5ctQKpXw8PCASqWCQqGwdFlEZIIQAunp6bh27RqaNGlSaT1DDEJEZLV0Oh0MBgO8vLyg0XASN1FV98QTT+DKlSvIz8+vtCDE0+eJyOrZ2PBPHVF1YIkeW/YIEZFsCCGQm2+ZCdMOdkoOyxFVQQxCRCQbufl6NJ8ZY5H3PjsnCBoV/+SWtytXrqBBgwY4ceIE2rZta+lyqBpifzERURU0ZMgQKBQKKBQKqFQqNG7cGHPmzEFBQYGlSysiLi4OCoUCd+7cMWp/cB8efPTo0cMyhRKZwP+eEJHJIaMcnXVfc+fY9EBoVBU7GTNHp0eH938r9fo9evTA2rVrkZeXh23btmHMmDGws7NDRESE0XI6nQ4qlaqs5VaIwn14kFqttlA1REWxR4iIpCGjBx9l+QKvDjQqJTQq2wp+lC1oqdVquLm5wdvbG2+99RYCAwOxefNmDBkyBP369cO8efPg4eEBX19fAMDp06fx7LPPwsHBAXXq1MGoUaOQlZUlba9wvfnz50Or1aJWrVpSL9PEiRNRu3Zt1KtXzyi4XLlyBQqFAtHR0ejcuTPs7e3RsmVL7NmzR3q9e/fuAAAXFxcoFAoMGTKkyD48+HBxcQEADBo0CAMGDDDa5/z8fLi6uuLrr78GAOzYsQPPPPMMatWqhTp16qB37964ePFimT5XogcxCBERVRMODg7Q6XQAgNjYWCQlJWHnzp3YsmULsrOzERQUBBcXFxw9ehQ//PADfvvtN4SFhRltY9euXbhx4wb27t2LJUuWIDIyEr1794aLiwsOHz6MN998E6NHj8a1a9eM1ps4cSLGjx+PEydOwM/PD3369MHff/8NLy8vbNy4EQCQlJSElJQULFu2rET7ExwcjF9//dUorMXExCAnJwcvv/wyACA7Oxvh4eE4duwYYmNjYWNjg5dffhkGg6HUnyPRgzg0RiQjxZ019eAwmKkhIwe7yr3kPRkTQiA2NhYxMTF45513kJ6eDkdHR3zxxRfSkNjq1atx7949fP3113B0vH//t08//RR9+vTBwoULodVqAQC1a9fGxx9/DBsbG/j6+mLRokXIycnB1KlTAQARERGIiorC/v378cYbb0g1hIWF4dVXXwUArFixAjt27MCXX36JSZMmoXbt2gCAunXrolatWka1b9mypchVgqdOnYqpU6ciKCgIjo6O2LRpE0JCQgAA3377LV566SXUrFkTAKT3LLRmzRo88cQTOHv2LFq2bFnmz5aIQYhIRkpy1lThkBFZXmGIyM/Ph8FgwKBBgzBr1iyMGTMGrVq1MpoXlJiYiDZt2kghCAC6dOkCg8GApKQkKQi1aNHC6LpKWq3WKFAolUrUqVMHN2/eNKrFz89P+retrS06dOiAxMTEx+5D9+7dsWLFCqO2wuBka2uL/v37Y/369QgJCUF2djZ++eUXREdHS8v++eefmDlzJg4fPoxbt25JPUHJyckMQlQu+NeOiKiKKgwRKpUKHh4esLX990/2g4HHHHZ2dkbPFQqFybbyGnpydHRE48aNi309ODgYAQEBuHnzJnbu3AkHBwejs8r69OkDb29vrF69Gh4eHjAYDGjZsqU0REhUVgxCRDJV3FlTHAarOh4XIh7UrFkzrFu3DtnZ2VJIOnDggDQEVlaHDh1C165dAQAFBQVISEiQ5h8V9kzp9eafadi5c2d4eXlhw4YN2L59O15//XUpmP39999ISkrC6tWr4e/vDwDYv39/mfeF6EEMQkQyJfchsMq4PEBlXoIgODgYkZGRCA0NxaxZs5Ceno533nkHISEh0rBYWSxfvhxNmjRBs2bN8NFHH+H27dsYNmwYAMDb2xsKhQJbtmxBr1694ODgIM0LysvLQ2pqqtG2bG1t4erqKj0fNGgQVq5cifPnz2P37t1Su4uLC+rUqYNVq1bB3d0dycnJmDJlSpn3hehB8v0rSESyZm2XB9BoNIiJicHYsWPx9NNPQ6PR4NVXX8WSJUvKZftRUVGIiorCyZMn0bhxY2zevFkKM56enpg9ezamTJmCoUOHYvDgwVi3bh2A+6e/u7u7G23L19cX586dk54HBwdj3rx58Pb2RpcuXaR2GxsbREdH491330XLli3h6+uLjz/+GN26dSuXfSICAIUQQli6iMqUmZkJZ2dnZGRkwMnJydLlEFWqHF2BNFm61Ld80GUD8z3u/3vqDUBVurkqleHevXu4fPkyGjRoAHt7e6P9r2zV9RYbvIUFVaaHf2cfVFHf39Xvt5KISkSOV4t+HAc7Jc7OCbLYexNR1cMgRGSlLHmD0apKoVBUy14ZIqo4/ItAVM2V5CKJRKXl4+MDmc2gIJlhECKq5krS88OrRRMRmcYgRCQDcj9VnoioOPzLSGRFeJFEIiLzMAgRWRH2/BARmcfm8YsQERERWSf+15GI5EMIID/HMu9tpwEUCsu8NxEVi0GIqAoq7pR4U3iavBnyc/69KnZlq+JX4a6uSnrl66SkJAQEBODPP/9EzZo1K6/AKiAuLg7du3fH7du3UatWLYvVMWXKFGRnZ+OTTz6xWA2mMAgRVUG8GKK8DRkyBF999RUAwM7ODvXr18fgwYMxdepU2NpWvT/bxX3RPrgfDwoKCsKOHTsqsUIgIiIC77zzTplDUIMGDbB69WoEBgaWU2UVr3PnzkhJSYGzs3OJ1+nWrRvatm2LpUuXllsdEyZMQMOGDTFu3Dg0bNiw3LZbVlXvN4rICpjTo2MKe3kqwYQLgEpTse+hywE+bFyqVXv06IG1a9ciLy8P27Ztw5gxY2BnZ4eIiIiib6PTQaVSlbXaClG4Hw9Sq9WVWkNycjK2bNlS5p6IU6dO4fbt2wgICCinyipefn4+VCoV3NzcLF0KXF1dERQUhBUrVuCDDz6wdDkSTpYmKgMhBHJ0BUUef2fr0HxmTKkfD94Z/dj0QJydE1SiB0+TN4NKc3+oqkIfpQ9aarUabm5u8Pb2xltvvYXAwEBs3rwZwP2eln79+mHevHnw8PCAr68vAOD06dN49tln4eDggDp16mDUqFHIysqStlm43vz586HValGrVi3MmTMHBQUFmDhxImrXro169eoZBZcrV65AoVAgOjoanTt3hr29PVq2bIk9e/ZIr3fv3h0A4OLiAoVCgSFDhhTZjwcfLi4uAIBBgwZhwIABRvudn58PV1dXfP311wDu373+mWeeQa1atVCnTh307t0bFy9eNOuz/P7779GmTRt4enoCuP97+8QTT+DHH3+Ulmnbti3c3d2l5/v374darUZOzr9zyn755Rf06NEDdnZ2Jt/nzp07GD16NLRarfQ5bdmyRXp948aNaNGiBdRqNXx8fLB48WLptalTp6JTp05FttmmTRvMmTMHAHD06FE8//zzcHV1hbOzMwICAnD8+HGj5RUKBVasWIGXXnoJjo6OmDdvHuLi4qBQKHDnzh0AwN9//42BAwfC09MTGo0GrVq1wnfffSdtY8iQIdizZw+WLVsGhUIBhUKBK1euAAD++OMP9OzZEzVq1IBWq0VISAhu3bolrfvjjz+iVatW0s9gYGAgsrOzpdf79OmD6Ohok5+fpTAIEZVB4RDWo4JMWRWeEl+Sh4KTca2Wg4MDdDqd9Dw2NhZJSUnYuXMntmzZguzsbAQFBcHFxQVHjx7FDz/8gN9++w1hYWFG29m1axdu3LiBvXv3YsmSJYiMjETv3r3h4uKCw4cP480338To0aNx7do1o/UmTpyI8ePH48SJE/Dz80OfPn3w999/w8vLCxs3bgRwfx5OSkoKli1bVqJ9Cg4Oxq+//moU1mJiYpCTk4OXX34ZAJCdnY3w8HAcO3YMsbGxsLGxwcsvvwyDwVDiz27fvn3o0KGD9FyhUKBr166Ii4sDANy+fRuJiYnIzc3FuXPnAAB79uzB008/DY3m3zC7efNm9O3b1+R7GAwG9OzZEwcOHMD//d//4ezZs4iKioJSef8/JwkJCejfvz/eeOMNnD59GrNmzcKMGTOwbt066bM4cuSIUcg7c+YMTp06hUGDBgEA7t69i9DQUOzfvx+HDh1CkyZN0KtXL9y9e9eollmzZuHll1/G6dOnMWzYsCK13rt3D+3bt8fWrVvxxx9/YNSoUQgJCcGRI0cAAMuWLYOfnx9GjhyJlJQUpKSkwMvLC3fu3MGzzz6Lp556CseOHcOOHTuQlpaG/v37AwBSUlIwcOBADBs2DImJiYiLi8Mrr7xidIuWjh074tq1a1KwqhKEzGRkZAgAIiMjw9KlkBXIzssX3pO3PPKRfveeyM7LL/XDYDBYejeN5WUJEel0/5GXZelqHik3N1ecPXtW5Obm3m+o7NpL+X6hoaGib9++QgghDAaD2Llzp1Cr1WLChAnS61qtVuTl5UnrrFq1Sri4uIisrH/fZ+vWrcLGxkakpqZK63l7ewu9Xi8t4+vrK/z9/aXnBQUFwtHRUXz33XdCCCEuX74sAIioqChpmfz8fFGvXj2xcOFCIYQQu3fvFgDE7du3i+yHUqkUjo6ORo958+ZJ23F1dRVff/21tM7AgQPFgAEDiv1s0tPTBQBx+vRpo/pOnDhR7Dpt2rQRc+bMMWr7+OOPRYsWLYQQQvz888+iU6dOom/fvmLFihVCCCECAwPF1KlTpeWvXbsmVCpVkX0sFBMTI2xsbERSUpLJ1wcNGiSef/55o7aJEyeK5s2bF1tnRESE6NSpU7H7pdfrRc2aNcWvv/4qtQEQ7733ntFyxR2fB7344oti/Pjx0vOAgAAxduxYo2Xmzp0rXnjhBaO2q1evCgAiKSlJJCQkCADiypUrxb5P4XdwXFycydeL/M6aWLe8v785R4ionDzqqs7sqSFzbdmyBTVq1EB+fj4MBgMGDRqEWbNmSa+3atXKaF5QYmIi2rRpA0fHf89M69KlCwwGA5KSkqDVagEALVq0gI3Nv4MBWq0WLVu2lJ4rlUrUqVMHN2/eNKrHz89P+retrS06dOiAxMTEx+5H9+7dsWLFCqO22rVrS9vp378/1q9fj5CQEGRnZ+OXX34xGjr5888/MXPmTBw+fBi3bt2SeoKSk5ON6n6U3Nxc2NvbG7UFBARg7NixSE9Px549e9CtWze4ubkhLi4Ow4cPx8GDBzFp0iRp+c2bN0tDdKacPHkS9erVQ9OmTU2+npiYWKQ3qUuXLli6dCn0ej2USiWCg4OxZs0azJgxA0IIfPfddwgPD5eWT0tLw/Tp0xEXF4ebN29Cr9cjJycHycnJRtt9sPfLFL1ej/nz5+P777/H9evXodPpkJeXZ9T7Zcrvv/+O3bt3o0aNGkVeu3jxIl544QU899xzaNWqFYKCgvDCCy/gtddek4ZCgfs9mwCMhhwtjUGIqJxY3VWdi7vmjq7q/AGzZoUBQqVSwcPDo8jZYg8GHnM8PL9FoVCYbDNn6OlRHB0d0bhx8RPGg4ODERAQgJs3b2Lnzp1wcHBAjx49pNf79OkDb29vrF69Gh4eHjAYDGjZsqXRMOHjuLq64vbt20ZtrVq1Qu3atbFnzx7s2bMH8+bNg5ubGxYuXIijR48iPz8fnTt3lpbfvHkzXnrppWLfo/ALviwGDhyIyZMn4/jx48jNzcXVq1eN5lCFhobi77//xrJly+Dt7Q21Wg0/P78in8XjfjY++OADLFu2DEuXLkWrVq3g6OiI995777GfaVZWFvr06YOFCxcWec3d3R1KpRI7d+7EwYMH8d///heffPIJpk2bhsOHD6NBgwYAgH/++QcA8MQTT5ToM6kMVvRXm4jKlSWvuUOPDRAPa9asGdatW4fs7Gzpi/DAgQOwsbGRJlOXxaFDh9C1a1cAQEFBARISEqT5R4U9U3q9+Wc7du7cGV5eXtiwYQO2b9+O119/XQpmf//9N5KSkrB69Wr4+/sDuD+J2VxPPfUUzp49a9SmUCjg7++PX375BWfOnMEzzzwDjUaDvLw8fP755+jQoYP0OWZlZWH37t1FerYe1Lp1a1y7dg3nz5832SvUrFkzHDhwwKjtwIEDaNq0qTSPqF69eggICMD69euRm5uL559/HnXr1jVa/rPPPkOvXr0AAFevXjWaqFxSBw4cQN++ffH//t//A3B/ftP58+fRvHlzaRmVSlXkeLZr1w4bN26Ej49PsZdxUCgU6NKlC7p06YKZM2fC29sbmzZtknq2/vjjD9jZ2aFFixZm111ROFma6CGimDPBTD94mnu1pcsBdNkV/Ki83rPg4GDY29sjNDQUf/zxB3bv3o133nkHISEh0rBYWSxfvhybNm3CuXPnMGbMGNy+fVuaiOvt7Q2FQoEtW7YgPT3daPJzXl4eUlNTjR4Pf3kPGjQIK1euxM6dOxEcHCy1u7i4oE6dOli1ahUuXLiAXbt2GQ0VlVRQUBDi4+OLfLF369YN3333Hdq2bYsaNWrAxsYGXbt2xfr1641Okd+xYweaNm0KHx+fYt8jICAAXbt2xauvvoqdO3fi8uXL2L59u3S9pPHjxyM2NhZz587F+fPn8dVXX+HTTz/FhAkTjLYTHByM6Oho/PDDD0afBQA0adIE33zzDRITE3H48GEEBweXqieqSZMmUs9NYmIiRo8ejbS0NKNlfHx8cPjwYVy5ckUakhwzZgz++ecfDBw4EEePHsXFixcRExODoUOHQq/X4/Dhw5g/fz6OHTuG5ORk/PTTT0hPT0ezZs2k7e7btw/+/v7l0oNWXtgjRPQQXszQhOKuuWNXwdfhqUilvL5PVaXRaBATE4OxY8dKZzu9+uqrWLJkSblsPyoqClFRUTh58iQaN26MzZs3w9XVFQDg6emJ2bNnY8qUKRg6dCgGDx4snQ21Y8cOo9PSAcDX11c6Owu4/+U/b948eHt7o0uXLlK7jY0NoqOj8e6776Jly5bw9fXFxx9/jG7duplVe8+ePWFra4vffvsNQUFBUntAQAD0er3R9rp164ZffvnFqO2XX3555LBYoY0bN2LChAkYOHAgsrOz0bhxY0RFRQG435vy/fffY+bMmZg7dy7c3d0xZ84co0sNAMBrr72GsLAwKJVK9OvXz+i1L7/8EqNGjUK7du3g5eWF+fPnFwlSJTF9+nRcunQJQUFB0Gg0GDVqFPr164eMjAxpmQkTJiA0NBTNmzdHbm4uLl++DB8fHxw4cACTJ0/GCy+8gLy8PHh7e6NHjx6wsbGBk5MT9u7di6VLlyIzMxPe3t5YvHgxevbsKW03OjraaK5bVaAQ4oHz2mQgMzMTzs7OyMjIgJOTk6XLoSooR1dQqiB0dk6Qdc0R0mX/OzRWTW8Pce/ePVy+fBkNGjS4P1n2wX2qbNX0MyzpLSyquuXLl2Pz5s2IiTHvd7ugoABarRbbt29Hx44dK6g6edi+fTvGjx+PU6dOFTu0VuR39gEV9f1tRX+1icpfcWeCmcKLGVYDdpr7gcRS700WM3r0aNy5cwd379416zYb//zzD8aNG4enn366AquTh+zsbKxdu7bK3SamalVDVMVY3ZlgcqdQVMteGSo7W1tbTJs2zez16tati+nTp1dARfLz2muvWboEk/gXnmRNmLgnGCdAE/3Lx8cHMptBQTLDIESyxonRRETyxiAkQ6Z6QeSKvT9ERPLGICRD7AUxzdTEaE6Atg4c2iGqHizxu8ogZOU4B6bkZD0x2tTtNKzgVhqFVyjOycmpUhdwIyLTCm/zUXi17cog07/61Zs5Q1s5Oj06vP9bsa+bc3q4tZN174+V3k5DqVSiVq1a0g1ENRoNb4BLVEUZDAakp6dDo9FU6in2DELVUHkObcm6F4Rkwc3NDQCK3E2diKoeGxsb1K9fv1L/w8JvQBnhHBgq0R3lTd1OoxpfDFChUMDd3R1169ZFfn6+pcshokdQqVSwsanc26BWiSC0fPlyfPDBB0hNTUWbNm3wySefPPJS5j/88ANmzJiBK1euoEmTJli4cKF0N165MffKxxwWkLmSDIGpNFZ50UGlUlmp8w6IqHqw+N3nN2zYgPDwcERGRuL48eNo06YNgoKCiu3GPnjwIAYOHIjhw4fjxIkT6NevH/r164c//vijkiuveMXfBf3f+UGFQ1sleTAEyYwQFr0bOhFRdWDxm6526tQJTz/9ND799FMA9ydLeXl54Z133sGUKVOKLD9gwABkZ2djy5YtUtt//vMftG3bFitXrnzs+1Wnm66W5OafVnejTyo/j7vB6KPuKM/QTERVjFXedFWn0yEhIQERERFSm42NDQIDAxEfH29ynfj4eISHhxu1BQUF4eeffzbrvXOyMmBrU7WvLZKj08MB9x69kC4bVWSEk6qax/X+WOkQGBGROSz6DXrr1i3o9XpotVqjdq1Wi3PnzplcJzU11eTyqampJpfPy8tDXl6e9DwjIwMAUPBhcxSoq/b/elUADj+mxIJ5QGalVEPV2jsnAdVD19HJLQDu8aeHiKqHzMz7f6/KeyDL6rsSFixYgNmzZxdp9/ooywLVEFlIVCNLV0BEVC7+/vtvODs7l9v2LBqEXF1doVQqkZaWZtSelpYmXfvjYW5ubmYtHxERYTSUdufOHXh7eyM5OblcP0gyX2ZmJry8vHD16tUqP19LDng8qg4ei6qDx6LqyMjIQP369VG7du1y3a5Fg5BKpUL79u0RGxuLfv36Abg/WTo2NhZhYWEm1/Hz80NsbCzee+89qW3nzp3w8/MzubxarYZarS7S7uzszB/qKsLJyYnHogrh8ag6eCyqDh6LqqO8rzNk8aGx8PBwhIaGokOHDujYsSOWLl2K7OxsDB06FAAwePBgeHp6YsGCBQCAsWPHIiAgAIsXL8aLL76I6OhoHDt2DKtWrbLkbhAREVE1ZPEgNGDAAKSnp2PmzJlITU1F27ZtsWPHDmlCdHJyslH669y5M7799ltMnz4dU6dORZMmTfDzzz+jZcuWltoFIiIiqqYsHoQAICwsrNihsLi4uCJtr7/+Ol5//fVSvZdarUZkZKTJ4TKqXDwWVQuPR9XBY1F18FhUHRV1LCx+QUUiIiIiS7H4LTaIiIiILIVBiIiIiGSLQYiIiIhkyyqD0PLly+Hj4wN7e3t06tQJR44ceeTyP/zwA5588knY29ujVatW2LZtWyVVav3MORarV6+Gv78/XFxc4OLigsDAwMceOzKPub8bhaKjo6FQKKTrfVHZmXss7ty5gzFjxsDd3R1qtRpNmzbl36pyYu6xWLp0KXx9feHg4AAvLy+MGzcO9+495r6Q9Fh79+5Fnz594OHhAYVCUaJ7iMbFxaFdu3ZQq9Vo3Lgx1q1bZ/4bCysTHR0tVCqVWLNmjThz5owYOXKkqFWrlkhLSzO5/IEDB4RSqRSLFi0SZ8+eFdOnTxd2dnbi9OnTlVy59TH3WAwaNEgsX75cnDhxQiQmJoohQ4YIZ2dnce3atUqu3DqZezwKXb58WXh6egp/f3/Rt2/fyinWypl7LPLy8kSHDh1Er169xP79+8Xly5dFXFycOHnyZCVXbn3MPRbr168XarVarF+/Xly+fFnExMQId3d3MW7cuEqu3Pps27ZNTJs2Tfz0008CgNi0adMjl7906ZLQaDQiPDxcnD17VnzyySdCqVSKHTt2mPW+VheEOnbsKMaMGSM91+v1wsPDQyxYsMDk8v379xcvvviiUVunTp3E6NGjK7ROOTD3WDysoKBA1KxZU3z11VcVVaKslOZ4FBQUiM6dO4svvvhChIaGMgiVE3OPxYoVK0TDhg2FTqerrBJlw9xjMWbMGPHss88atYWHh4suXbpUaJ1yU5IgNGnSJNGiRQujtgEDBoigoCCz3suqhsZ0Oh0SEhIQGBgotdnY2CAwMBDx8fEm14mPjzdaHgCCgoKKXZ5KpjTH4mE5OTnIz88v9/vKyFFpj8ecOXNQt25dDB8+vDLKlIXSHIvNmzfDz88PY8aMgVarRcuWLTF//nzo9frKKtsqleZYdO7cGQkJCdLw2aVLl7Bt2zb06tWrUmqmf5XX93eVuKBiebl16xb0er10VepCWq0W586dM7lOamqqyeVTU1MrrE45KM2xeNjkyZPh4eFR5AedzFea47F//358+eWXOHnyZCVUKB+lORaXLl3Crl27EBwcjG3btuHChQt4++23kZ+fj8jIyMoo2yqV5lgMGjQIt27dwjPPPAMhBAoKCvDmm29i6tSplVEyPaC47+/MzEzk5ubCwcGhRNuxqh4hsh5RUVGIjo7Gpk2bYG9vb+lyZOfu3bsICQnB6tWr4erqaulyZM9gMKBu3bpYtWoV2rdvjwEDBmDatGlYuXKlpUuTnbi4OMyfPx+fffYZjh8/jp9++glbt27F3LlzLV0alZJV9Qi5urpCqVQiLS3NqD0tLQ1ubm4m13FzczNreSqZ0hyLQh9++CGioqLw22+/oXXr1hVZpmyYezwuXryIK1euoE+fPlKbwWAAANja2iIpKQmNGjWq2KKtVGl+N9zd3WFnZwelUim1NWvWDKmpqdDpdFCpVBVas7UqzbGYMWMGQkJCMGLECABAq1atkJ2djVGjRmHatGnlfmd0Kl5x399OTk4l7g0CrKxHSKVSoX379oiNjZXaDAYDYmNj4efnZ3IdPz8/o+UBYOfOncUuTyVTmmMBAIsWLcLcuXOxY8cOdOjQoTJKlQVzj8eTTz6J06dP4+TJk9LjpZdeQvfu3XHy5El4eXlVZvlWpTS/G126dMGFCxekMAoA58+fh7u7O0NQGZTmWOTk5BQJO4UBVfCOVZWq3L6/zZvHXfVFR0cLtVot1q1bJ86ePStGjRolatWqJVJTU4UQQoSEhIgpU6ZIyx84cEDY2tqKDz/8UCQmJorIyEiePl9OzD0WUVFRQqVSiR9//FGkpKRIj7t371pqF6yKucfjYTxrrPyYeyySk5NFzZo1RVhYmEhKShJbtmwRdevWFe+//76ldsFqmHssIiMjRc2aNcV3330nLl26JP773/+KRo0aif79+1tqF6zG3bt3xYkTJ8SJEycEALFkyRJx4sQJ8ddffwkhhJgyZYoICQmRli88fX7ixIkiMTFRLF++nKfPF/rkk09E/fr1hUqlEh07dhSHDh2SXgsICBChoaFGy3///feiadOmQqVSiRYtWoitW7dWcsXWy5xj4e3tLQAUeURGRlZ+4VbK3N+NBzEIlS9zj8XBgwdFp06dhFqtFg0bNhTz5s0TBQUFlVy1dTLnWOTn54tZs2aJRo0aCXt7e+Hl5SXefvttcfv27cov3Mrs3r3b5HdA4ecfGhoqAgICiqzTtm1boVKpRMOGDcXatWvNfl/efZ6IiIhky6rmCBERERGZg0GIiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiIiIiGSLQYiIiIhki0GIiIiIZItBiKgEZs2aBa1WC4VCgZ9//tnS5VQJcXFxUCgUuHPnjqVLqXauXLkChUKBkydPAqian+WsWbPQtm3bRy4zZMgQ9OvXr8TbrIr7ScQgRFZjyJAhUCgUUCgUUKlUaNy4MebMmYOCgoIybTcxMRGzZ8/G559/jpSUFPTs2bOcKq7eOnfujJSUFDg7O5d6G4WBQKlU4vr160avpaSkwNbWFgqFAleuXCnT8oWB40GP+lL28fHB0qVLS71fcrFs2TKsW7fO0mUQlQmDEFmVHj16ICUlBX/++SfGjx+PWbNm4YMPPijVtvR6PQwGAy5evAgA6Nu3L9zc3KBWq0u1vfz8/FKtV1WpVCq4ublBoVCUeVuenp74+uuvjdq++uoreHp6lsvyVDGcnZ1Rq1YtS5dBVCYMQmRV1Go13Nzc4O3tjbfeeguBgYHYvHkzACAvLw8TJkyAp6cnHB0d0alTJ8TFxUnrrlu3DrVq1cLmzZvRvHlzqNVqDBs2DH369AEA2NjYSF/6BoMBc+bMQb169aBWq9G2bVvs2LFD2lZhT8SGDRsQEBAAe3t7rF+/XhpKmD9/PrRaLWrVqiX1Wk2cOBG1a9dGvXr1sHbtWqP9mjx5Mpo2bQqNRoOGDRtixowZRsGqcBjjm2++gY+PD5ydnfHGG2/g7t270jIGgwGLFi1C48aNoVarUb9+fcybN096/erVq+jfvz9q1aqF2rVro2/fvlLPiikP96gUfn4xMTFo1qwZatSoIQXTxwkNDS2yz2vXrkVoaGi5LF8Rzpw5g969e8PJyQk1a9aEv7+/FJof9/NREvv374e/vz8cHBzg5eWFd999F9nZ2dLrKSkpePHFF+Hg4IAGDRrg22+/LdKTdefOHYwYMQJPPPEEnJyc8Oyzz+L33383q47PP/8cXl5e0Gg06N+/PzIyMqTXHh4ay8vLw7vvvou6devC3t4ezzzzDI4ePfrI7W/cuBEtWrSAWq2Gj48PFi9ebPT64/Zz2LBh6N27t9E6+fn5qFu3Lr788kuz9pXkiUGIrJqDgwN0Oh0AICwsDPHx8YiOjsapU6fw+uuvo0ePHvjzzz+l5XNycrBw4UJ88cUXOHPmDD7++GPpCzclJUX6Ul+2bBkWL16MDz/8EKdOnUJQUBBeeuklo20BwJQpUzB27FgkJiYiKCgIALBr1y7cuHEDe/fuxZIlSxAZGYnevXvDxcUFhw8fxptvvonRo0fj2rVr0nZq1qyJdevW4ezZs1i2bBlWr16Njz76yOi9Ll68iJ9//hlbtmzBli1bsGfPHkRFRUmvR0REICoqCjNmzMDZs2fx7bffQqvVArj/xREUFISaNWti3759OHDggBRkCj+/ksjJycGHH36Ib775Bnv37kVycjImTJjw2PVeeukl3L59G/v37wdwPwTcvn1bCqFlXb68Xb9+HV27doVarcauXbuQkJCAYcOGScOwJf35KM7FixfRo0cPvPrqqzh16hQ2bNiA/fv3IywsTFpm8ODBuHHjBuLi4rBx40asWrUKN2/eNNrO66+/jps3b2L79u1ISEhAu3bt8Nxzz+Gff/4pUR0XLlzA999/j19//RU7duzAiRMn8Pbbbxe7/KRJk7Bx40Z89dVXOH78OBo3boygoKBi3y8hIQH9+/fHG2+8gdOnT2PWrFmYMWOG0XDb4/ZzxIgR2LFjh1Hg3rJlC3JycjBgwIAS7SfJnNn3qyeqokJDQ0Xfvn2FEEIYDAaxc+dOoVarxYQJE8Rff/0llEqluH79utE6zz33nIiIiBBCCLF27VoBQJw8edJomU2bNomHf1U8PDzEvHnzjNqefvpp8fbbbwshhLh8+bIAIJYuXVqkRm9vb6HX66U2X19f4e/vLz0vKCgQjo6O4rvvvit2Xz/44APRvn176XlkZKTQaDQiMzNTaps4caLo1KmTEEKIzMxMoVarxerVq01u75tvvhG+vr7CYDBIbXl5ecLBwUHExMSYXGf37t0CgLh9+7YQ4t/P78KFC9Iyy5cvF1qtttj9KPycTpw4Id577z0xdOhQIYQQQ4cOFePGjRMnTpwQAMTly5fLvPzj6n+Qt7e3+Oijj4qtOyIiQjRo0EDodDqTr5f056OwrodrGT58uBg1apTR+vv27RM2NjYiNzdXJCYmCgDi6NGj0ut//vmnACDVvW/fPuHk5CTu3btntJ1GjRqJzz//vNh9KxQZGSmUSqW4du2a1LZ9+3ZhY2MjUlJShBDGv3NZWVnCzs5OrF+/Xlpep9MJDw8PsWjRIpP7OWjQIPH8888bve/EiRNF8+bNhRCiRPsphBDNmzcXCxculJ736dNHDBky5LH7SCSEELaVHbyIKtKWLVtQo0YN5Ofnw2AwYNCgQZg1axbi4uKg1+vRtGlTo+Xz8vJQp04d6blKpULr1q0f+R6ZmZm4ceMGunTpYtTepUuXIsMOHTp0KLJ+ixYtYGPzb2esVqtFy5YtpedKpRJ16tQx+l/vhg0b8PHHH+PixYvIyspCQUEBnJycjLbr4+ODmjVrSs/d3d2lbSQmJiIvLw/PPfecyX36/fffceHCBaP1AeDevXvScE9JaDQaNGrUyGQNjzNs2DB07twZ8+fPxw8//ID4+PhHTnQ3d/nS6tmzJ/bt2wcA8Pb2xpkzZ3Dy5En4+/vDzs6uyPLm/HwU5/fff8epU6ewfv16qU0IAYPBgMuXL+P8+fOwtbVFu3btpNcbN24MFxcXo21kZWUZ/XwDQG5ubomPaf369Y3mXfn5+cFgMCApKQlubm5Gy168eBH5+flG+21nZ4eOHTsiMTHR5PYTExPRt29fo7YuXbpg6dKl0Ov1SEpKeux+Avd7hVatWoVJkyYhLS0N27dvx65du0q0j0QMQmRVunfvjhUrVkClUsHDwwO2tvd/xLOysqBUKpGQkAClUmm0To0aNaR/Ozg4lMvk30KOjo5F2h7+8lQoFCbbDAYDACA+Ph7BwcGYPXs2goKC4OzsjOjo6CJzKR61DQcHh0fWmZWVhfbt2xt98RZ64oknHrnu42oQQpRo3VatWuHJJ5/EwIED0axZM7Rs2dLk2V6lXf5hhUEyIyOjyITfO3fuSGfDffHFF8jNzQXw7/497vMsq6ysLIwePRrvvvtukdfq16+P8+fPl2gb7u7uRvPgClnbBOfBgwdjypQpiI+Px8GDB9GgQQP4+/tbuiyqJhiEyKo4OjqicePGRdqfeuop6PV63Lx5s8x/IJ2cnODh4YEDBw4gICBAaj9w4AA6duxYpm2bcvDgQXh7e2PatGlS219//WXWNpo0aQIHBwfExsZixIgRRV5v164dNmzYgLp16xbpaapMw4YNw9tvv40VK1ZUyPIPatKkCWxsbJCQkABvb2+p/dKlS8jIyJB6D02dida6dWt89dVXyM/PLxL+yuPno127djh79qzJn2UA8PX1RUFBAU6cOIH27dsDuD+f5/bt20bbSE1Nha2tLXx8fEr0vg9LTk7GjRs34OHhAQA4dOgQbGxs4OvrW2TZRo0aQaVS4cCBA9LnmZ+fj6NHj+K9994zuf1mzZrhwIEDRm0HDhxA06ZNoVQqS7SfAFCnTh3069cPa9euRXx8PIYOHVqq/SV5YhAiWWjatCmCg4MxePBgLF68GE899RTS09MRGxuL1q1b48UXXzRrexMnTkRkZCQaNWqEtm3bYu3atTh58qTJHpWyatKkCZKTkxEdHY2nn34aW7duxaZNm8zahr29PSZPnoxJkyZBpVKhS5cuSE9Px5kzZzB8+HAEBwfjgw8+QN++faWznf766y/89NNPmDRpEurVq1fu+2XKyJEj8frrr5e4x6KkyyclJRVpa9GiBUaMGIHx48fD1tYWrVq1wtWrVzF58mT85z//QefOnYvdXlhYGD755BO88cYbiIiIgLOzMw4dOoSOHTvC19e3zD8fhTWEhYVhxIgRcHR0xNmzZ7Fz5058+umnePLJJxEYGIhRo0ZhxYoVsLOzw/jx4416NAMDA+Hn54d+/fph0aJFaNq0KW7cuIGtW7fi5ZdfNjls+zB7e3uEhobiww8/RGZmJt59913079+/yLAYcP8/IW+99ZZ09mP9+vWxaNEi5OTkYPjw4Sa3P378eDz99NOYO3cuBgwYgPj4eHz66af47LPPAKBE+1loxIgR6N27N/R6faWePUjVH4MQycbatWvx/vvvY/z48bh+/TpcXV3xn//8p8iptyXx7rvvIiMjA+PHj8fNmzfRvHlzbN68GU2aNCn3ul966SWMGzcOYWFhyMvLw4svvogZM2Zg1qxZZm1nxowZsLW1xcyZM3Hjxg24u7vjzTffBHB/bs/evXsxefJkvPLKK7h79y48PT3x3HPPVWoPka2tLVxdXct9+TfeeKNI29WrV7Fs2TJERUVh8uTJ+Ouvv+Dm5obnn38e8+bNe+QQaZ06dbBr1y5MnDgRAQEBUCqVaNu2rTQ/pqw/H61bt8aePXswbdo0+Pv7QwiBRo0aGZ0F9fXXX2P48OHo2rUr3NzcsGDBApw5cwb29vYA7g9Lbtu2DdOmTcPQoUORnp4ONzc3dO3aVTpb8HEaN26MV155Bb169cI///yD3r17SyHFlKioKBgMBoSEhODu3bvo0KEDYmJiiszpKdSuXTt8//33mDlzJubOnQt3d3fMmTMHQ4YMKfF+FgoMDIS7uztatGgh9WARlYRClHQAn4iIqqxr167By8sLv/32W7GT4q1BcfuZlZUFT09PrF27Fq+88ooFK6TqhkGIiKga2rVrF7KystCqVSukpKRg0qRJuH79Os6fP2/ybLbq6nH7aTAYcOvWLSxevBjR0dG4ePGidJIEUUnwp4WIqBrKz8/H1KlTcenSJdSsWROdO3fG+vXrSxyCWrRoUeyk+88//xzBwcHlWW6pPW4/k5OT0aBBA9SrVw/r1q1jCCKzsUeIiEiG/vrrr2Lvf6fVaotcU4rIWjEIERERkWzxXmNEREQkWwxCREREJFsMQkRERCRbDEJEREQkWwxCREREJFsMQkRERCRbDEJEREQkWwxCREREJFv/H7whhpHiJGRjAAAAAElFTkSuQmCC",
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAkIAAAGwCAYAAABFFQqPAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjkuMCwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy80BEi2AAAACXBIWXMAAA9hAAAPYQGoP6dpAABM6UlEQVR4nO3deViU5f4/8PcwMAPDqhKrBCpquJcooSl6okjLpVPKUX6Ka5ZLJq4oiUtupYYVR4+WWh0VWrQ8avg1DDU0LZWyBJTEpRJcjoKAMjDcvz88PDExCAMDA/O8X9c11+XczzKfZ54Z5uO9KoQQAkREREQyZGXuAIiIiIjMhYkQERERyRYTISIiIpItJkJEREQkW0yEiIiISLaYCBEREZFsMREiIiIi2bI2dwANraysDH/88QccHR2hUCjMHQ4RERHVgBACd+7cgZeXF6ysTFePI7tE6I8//oCPj4+5wyAiIqJauHLlClq2bGmy88kuEXJ0dARw/410cnIyczRERERUE/n5+fDx8ZF+x01FdolQeXOYk5MTEyEiIqImxtTdWthZmoiIiGSLiRARERHJFhMhIiIiki3Z9RGqKZ1Oh5KSEnOHQUQPYGNjA6VSae4wiKgJYyL0F0II5OTk4Pbt2+YOhYhqwMXFBR4eHpwXjIhqhYnQX5QnQW5ubtBoNPzjStRICSFQVFSEa9euAQA8PT3NHBERNUVMhCrQ6XRSEtSiRQtzh0NE1bCzswMAXLt2DW5ubmwmIyKjsbN0BeV9gjQajZkjIaKaKv++sk8fEdUGEyED2BxG1HTw+0pEdcGmsWoIIXC3RGeW17azUfKPPBERUT1iIlSNuyU6dFi43yyvfXZJGDQq3iIiIqL6YtamscOHD2PQoEHw8vKCQqHAF198Ue0xKSkpeOyxx6BWq+Hv74+tW7fWe5xkOS5evAiFQoG0tDRzh0JERI2AWasbCgsL0bVrV4wbNw5///vfq90/Ozsbzz77LF5++WVs27YNycnJmDBhAjw9PREWFlbv8f4QEwqNqn5HpRRpdQh842ujjxszZgw+/PBDAPcnmXv44YcxevRozJ8/H9bWjatWKSUlBf3798etW7fg4uIilVe8horCwsKQlJTUgBESEZFcmPUXcsCAARgwYECN99+wYQNatWqFNWvWAAACAgLw7bff4u23326QREijUjbqpqpnnnkGW7ZsQXFxMfbt24cpU6bAxsYG0dHRevtptVqoVCozRflg5ddQkVqtNlM0RBZECKCkyNxRkImYs/+quRQV5NfLeRvvr7oBx44dQ2hoqF5ZWFgYXnvttSqPKS4uRnFxsfQ8P79+3sjGQK1Ww8PDAwDwyiuvYNeuXdi9ezcyMzNx+/Zt9OjRA/Hx8VCr1cjOzsaZM2cwffp0HDt2DBqNBi+88ALWrl0LBwcHAPdraG7fvo2ePXti3bp1KC4uRlRUFObPn4/o6Gh88MEH0Gg0WLp0KcaOHQvgftNTq1atsGPHDrzzzjs4deoU/P39ER8fj5CQEFy8eBH9+/cHADRr1gwAEBkZKTVxVryGvxo5ciR0Oh0SExOlspKSEnh6emLt2rUYPXo0kpKS8MYbb+Dnn3+GUqlEcHAw1q1bhzZt2tTLe07UIEyRxGiLgNX+pomHzE4BQG4TvZQWi3o5b5NKhHJycuDu7q5X5u7ujvz8fNy9e1eaXK2iFStWYPHixQ0VYqNiZ2eHmzdvAgCSk5Ph5OSEAwcOALjfLBkWFobg4GB8//33uHbtGiZMmICpU6fq9bs6ePAgWrZsicOHDyM1NRXjx4/H0aNH0bdvXxw/fhyJiYmYNGkSnnrqKbRs2VI6bvbs2YiLi0OHDh2wdu1aDBo0CNnZ2fDx8cHnn3+OF154AZmZmXBycjJ43wyJiIjAsGHDUFBQICVr+/fvR1FREZ5//nnpuqKiotClSxcUFBRg4cKFeP7555GWlgYrK84WQU1USRGw3MvcURBZpCaVCNVGdHQ0oqKipOf5+fnw8fExY0T1TwiB5ORk7N+/H9OmTcP169dhb2+P999/X2oS27RpE+7du4ePPvoI9vb2AID33nsPgwYNwqpVq6SEs3nz5njnnXdgZWWF9u3b480330RRURHmz58P4P77u3LlSnz77bf4xz/+IcUwdepUvPDCCwCA9evXIykpCR988AHmzJmD5s2bAwDc3Nz0+ggBwJ49e6Qkp9z8+fMxf/58hIWFwd7eHrt27cKoUaMAANu3b8fgwYPh6OgIANJrltu8eTMeeughnD17Fp06darze0tkEWZlASq51SfUryJtKbrXon+nKRyZ07/e+682BkX5+cDKh01+3iaVCHl4eCA3N1evLDc394G1Cmq1WjZ9TMqTiJKSEpSVlWHkyJFYtGgRpkyZgs6dO+v1C0pPT0fXrl2lJAgAevfujbKyMmRmZkqJUMeOHfVqUtzd3fUSCqVSiRYtWkjrPZULDg6W/m1tbY3AwECkp6dXew39+/fH+vXr9crKEydra2sMHz4c27Ztw6hRo1BYWIgvv/wSCQkJ0r7nz5/HwoULcfz4cdy4cQNlZWUAgMuXLzMRIstgiiTGRgNwjjITK8Vd2AJomIE1FcllzrnSsvq5xiaVCAUHB2Pfvn16ZQcOHND70ZWz8iRCpVLBy8tLb7RYxYTHGDY2NnrPFQqFwbLyhKOu7O3t4e9fdT+GiIgIhISE4Nq1azhw4ADs7OzwzDPPSNsHDRoEX19fbNq0CV5eXigrK0OnTp2g1WpNEh+R2ak0gKp232cyDUMdlYu0fz5v7ANrSJ9Z71RBQQGysrKk59nZ2UhLS0Pz5s3x8MMPIzo6Gr///js++ugjAMDLL7+M9957D3PmzMG4ceNw8OBBfPLJJ9i7d2+DxFvxg94YX6O6JKKigIAAbN26FYWFhVKSlJqaKjWB1dV3332Hvn37AgBKS0tx8uRJTJ06FQCkmimdzvhr7dWrF3x8fJCYmIivvvoKw4YNkxKzmzdvIjMzE5s2bUKfPn0AAN9++22dr4WIqCJzTrRLpmfWROiHH36QRhABkPrylI8iunr1Ki5fvixtb9WqFfbu3YsZM2Zg3bp1aNmyJd5///0GGToPoFbz+zRWERERiI2NRWRkJBYtWoTr169j2rRpGDVqVKUO6bURHx+Ptm3bIiAgAG+//TZu3bqFcePGAQB8fX2hUCiwZ88eDBw4EHZ2dlK/oOLiYuTk5Oidy9raGq6urtLzkSNHYsOGDTh37hy++eYbqbxZs2Zo0aIFNm7cCE9PT1y+fBnz5s2r87UQNShDI8S0HPZuDlUNUW+I/xRTwzFrItSvXz8IUfVwOEOzRvfr1w+nT5+ux6jkQaPRYP/+/Zg+fTp69OihN3zeFFauXImVK1ciLS0N/v7+2L17t5TMeHt7Y/HixZg3bx7Gjh2L0aNHS/c6KSkJnp6eeudq3749MjIypOcRERFYtmwZfH190bt3b6ncysoKCQkJePXVV9GpUye0b98e77zzDvr162eSayJqEBwh1mjUpObHUH8gOxvL77hsSRTiQZmIBcrPz4ezszPy8vLg5OSkt+3evXvIzs5Gq1atYGt7v9MbF101Tvk8QqdPn0a3bt3MHQ7JgKHvbZNQ1dxA1c33M/8P9hFqIEXa0moTIa4J2XAe9PtdF7x71VAoFPyQE5Hp1aTmx9AIMRsOe6+puv5HtmITWFUjwVj70/TxF56IqLHiCLE6MWWnZo4Es1y8q2RSfn5+D+z3RUQGVDU3EGt/iOodEyEiInNjzU+9q+skh2wCs1xMhIiIqEmryTB3Nm1RVfipICKiJo0THFJdMBEiIqpvnCSRqNFiIlSdqub6aAhcGJHIMnCSRJOpbp0vDnMnYzERqo45/4Bx4rR6UdNJHzMzMxESEoLz58/D0dGx4QJsBFJSUtC/f3/cunULLi4uZotj3rx5KCwsxLvvvmu2GKhxqa4ZjH2ByFhW5g6ATGPMmDFQKBRQKBRQqVTw9/fHkiVLUFpaau7QDEpJSYFCocDt27f1yiteR8VHxRXmG0p0dDSmTZtW5ySoVatW+PrrprVOXa9evXD16lU4OzvX+Jh+/frhtddeM2kcs2bNwocffogLFy6Y9LxmNSvr/n9yKj5kPkxeCIEibWkNH1zni0yLabMxqprrw5Sqm17/AZ555hls2bIFxcXF2LdvH6ZMmQIbGxtER0dXfhmtVloFvrEpv46K1Gp1g8Zw+fJl7Nmzp841ET/99BNu3bqFkJAQE0VW/0pKSqBSqeDh4WHuUODq6oqwsDCsX78eb731lrnDMQ0Ola+ktp2duc4XmQJrhIxR/gesXh+1T7TUajU8PDzg6+uLV155BaGhodi9ezeA+zUtQ4cOxbJly+Dl5YX27dsDAM6cOYO//e1vsLOzQ4sWLfDSSy+hoKBAOmf5ccuXL4e7uztcXFykmqbZs2ejefPmaNmypV7icvHiRSgUCiQkJKBXr16wtbVFp06dcOjQIWl7//79AdxfMV6hUGDMmDGVrqPio1mzZgDurzwfHh6ud90lJSVwdXXFRx99BOD+wq1PPPEEXFxc0KJFCzz33HP49ddfjXovP/nkE3Tt2hXe3t4A7v+P9aGHHsJnn30m7dOtWze9BWK//fZbqNVqFBX92afsyy+/xDPPPAMbGxuDr3P79m1MmjQJ7u7u0vu0Z88eafvnn3+Ojh07Qq1Ww8/PD2vWrJG2zZ8/H0FBQZXO2bVrVyxZsgQA8P333+Opp56Cq6srnJ2dERISglOnTuntr1AosH79egwePBj29vZYtmxZpRq7mzdvYsSIEfD29oZGo0Hnzp2xY8cO6RxjxozBoUOHsG7dOqkW7+LFiwCAn3/+GQMGDICDgwPc3d0xatQo3LhxQzr2s88+Q+fOnaXPYGhoKAoLC6XtgwYNQkJCgsH3r9ERAtAWGniwY3R9KG8Gq/hoauszkvmxRsiC2dnZ4ebNm9Lz5ORkODk54cCBAwCAwsJChIWFITg4GN9//z2uXbuGCRMmYOrUqdJq8ABw8OBBtGzZEocPH0ZqairGjx+Po0ePom/fvjh+/DgSExMxadIkPPXUU2jZsqV03OzZsxEXF4cOHTpg7dq1GDRoELKzs+Hj44PPP/8cL7zwAjIzM+Hk5AQ7O7saXVNERASGDRuGgoICODg4AAD279+PoqIiPP/889J1RUVFoUuXLigoKMDChQvx/PPPIy0tDVZWNcv9jxw5gsDAQOm5QqFA3759kZKSghdffBG3bt1Ceno67OzskJGRgUceeQSHDh1Cjx49oNH8mczu3r0bUVFRBl+jrKwMAwYMwJ07d/Dvf/8bbdq0wdmzZ6FU3v8f7cmTJzF8+HAsWrQI4eHhOHr0KCZPnowWLVpgzJgxiIiIwIoVK/Drr7+iTZs2AIBffvkFP/30Ez7//HMAwJ07dxAZGYl3330XQgisWbMGAwcOrNTvadGiRVi5ciXi4uJgbW1dqSnq3r176N69O+bOnQsnJyfs3bsXo0aNQps2bdCzZ0+sW7cO586dQ6dOnaQk7KGHHsLt27fxt7/9DRMmTMDbb7+Nu3fvYu7cuRg+fDgOHjyIq1evYsSIEXjzzTfx/PPP486dOzhy5Ije7OQ9e/bEb7/9hosXL8LPz69G989s2Cm6zoyZ+JC1P2QSQmby8vIEAJGXl1dp2927d8XZs2fF3bt3/ywsLhAi1un+o7ig/gOs5etFRkaKIUOGCCGEKCsrEwcOHBBqtVrMmjVL2u7u7i6Ki4ulYzZu3CiaNWsmCgr+fJ29e/cKKysrkZOTIx3n6+srdDqdtE/79u1Fnz59pOelpaXC3t5e7NixQwghRHZ2tgAgVq5cKe1TUlIiWrZsKVatWiWEEOKbb74RAMStW7cqXYdSqRT29vZ6j2XLlknncXV1FR999JF0zIgRI0R4eHiV783169cFAHHmzBm9+E6fPl3lMV27dhVLlizRK3vnnXdEx44dhRBCfPHFFyIoKEgMGTJErF+/XgghRGhoqJg/f760/2+//SZUKlWlayy3f/9+YWVlJTIzMw1uHzlypHjqqaf0ymbPni06dOhQZZzR0dEiKCioyuvS6XTC0dFR/Oc//5HKAIjXXntNb7+q7k9Fzz77rJg5c6b0PCQkREyfPl1vn6VLl4qnn35ar+zKlSsCgMjMzBQnT54UAMTFixerfJ3y72xKSorB7Qa/t+ZS8ftb1aMh/o40MYXFJcJ37h7hO3ePKCwuMXc41Eg96Pe7Ltg0ZkH27NkDBwcH2NraYsCAAQgPD8eiRYuk7Z07d9brF5Seno6uXbvC3v7P/gq9e/dGWVkZMjMzpbKOHTvq1aS4u7ujc+fO0nOlUokWLVrg2rVrevEEBwdL/7a2tkZgYCDS09OrvY7+/fsjLS1N7/Hyyy9L5xk+fDi2bdsG4H7tz5dffomIiAjp+PPnz2PEiBFo3bo1nJycpFqEy5cvV/va5e7evQtbW1u9spCQEJw9exbXr1/HoUOH0K9fP/Tr1w8pKSkoKSnB0aNH0a9fP2n/3bt3S010hqSlpaFly5Zo166dwe3p6eno3bu3Xlnv3r1x/vx56HT3O4xGRERg+/btAO433+3YsUPvvcjNzcXEiRPRtm1bODs7w8nJCQUFBZXei4q1X4bodDosXboUnTt3RvPmzeHg4ID9+/dX+57++OOP+Oabb+Dg4CA9HnnkEQDAr7/+iq5du+LJJ59E586dMWzYMGzatAm3bt3SO0d5bWHFJscmwVCnaJl3jBZVdopmB2gyHzaNWZD+/ftj/fr1UKlU8PLygrW1/u2tmPAY46/9WxQKhcGysrKyWp3/r+zt7eHvX3WH8YiICISEhODatWs4cOAA7Ozs9EaVDRo0CL6+vti0aRO8vLxQVlaGTp06QavV1jgGV1fXSj/I5UnAoUOHcOjQISxbtgweHh5YtWoVvv/+e5SUlKBXr17S/rt378bgwYOrfI2aNgc+yIgRIzB37lycOnUKd+/exZUrV/T6UEVGRuLmzZtYt24dfH19oVarERwcXOm9qO6z8dZbb2HdunWIi4tD586dYW9vj9dee63a97SgoACDBg3CqlWrKm3z9PSEUqnEgQMHcPToUfzf//0f3n33XSxYsADHjx9Hq1atAAD//e9/AdxvamtS2Cm6Es4ATY0Ra4QsSHkC8fDDD1dKggwJCAjAjz/+qNcxNTU1FVZWVlJn6rr47rvvpH+Xlpbi5MmTCAgIAACpZqq8ZsMYvXr1go+PDxITE7Ft2zYMGzZMSsxu3ryJzMxMxMTE4Mknn0RAQEClhKYmHn30UZw9e1avTKFQoE+fPvjyyy/xyy+/4IknnkCXLl1QXFyMf/3rXwgMDJQSioKCAnzzzTcYMmRIla/RpUsX/Pbbbzh37pzB7QEBAUhNTdUrS01NRbt27aR+RC1btkRISAi2bduGbdu24amnnoKbm5ve/q+++ioGDhwodbqu2FG5plJTUzFkyBD8v//3/9C1a1e0bt26UtwqlarS/Xzsscfwyy+/wM/PD/7+/nqP8vdKoVCgd+/eWLx4MU6fPg2VSoVdu3ZJ5/j5559hY2ODjh07Gh03EVF1WCNkjIYY+dGAo0siIiIQGxuLyMhILFq0CNevX8e0adMwatQouLu71/n88fHxaNu2LQICAvD222/j1q1bGDduHADA19cXCoUCe/bswcCBA2FnZyd1fi4uLkZOTo7euaytreHq6io9HzlyJDZs2IBz587hm2++kcqbNWuGFi1aYOPGjfD09MTly5cxb948o2MPCwvDhAkToNPppKQDuD9XzsyZMxEYGCjF27dvX2zbtg2zZ8+W9ktKSkK7du0e2Lk3JCQEffv2xQsvvIC1a9fC398fGRkZ0rxJM2fORI8ePbB06VKEh4fj2LFjeO+99/DPf/5T7zzl91Gr1eLtt9/W29a2bVt8/PHHCAwMRH5+PmbPnl2rmqi2bdvis88+w9GjR9GsWTOsXbsWubm56NChg7SPn58fjh8/josXL8LBwQHNmzfHlClTsGnTJowYMQJz5sxB8+bNkZWVhYSEBLz//vv44YcfkJycjKeffhpubm44fvw4rl+/LiXMwP2O63369DFJDRo1HpwBmhoLJkLGqOX8Po2VRqPB/v37MX36dGm0U/mPsimsXLkSK1euRFpaGvz9/bF7924pmfH29sbixYsxb948jB07FqNHj5ZGqiUlJekNSweA9u3bIyMjQ3oeERGBZcuWwdfXV68fjZWVFRISEvDqq6+iU6dOaN++Pd555x29vjs1MWDAAFhbW+Prr79GWFiYVB4SEgKdTqd3vn79+uHLL7/UK/vyyy8f2CxW7vPPP8esWbMwYsQIFBYWwt/fHytXrgRwvzblk08+wcKFC7F06VJ4enpiyZIlelMNAMCLL76IqVOnQqlUYujQoXrbPvjgA7z00kt47LHH4OPjg+XLl2PWrFlGvRcAEBMTgwsXLiAsLAwajQYvvfQShg4diry8PGmfWbNmITIyEh06dMDdu3eRnZ0NPz8/pKamYu7cuXj66adRXFwMX19fPPPMM7CysoKTkxMOHz6MuLg45Ofnw9fXF2vWrMGAAQOk8yYkJOj1dWs0uH5YnXAGaGosFEJUGKcqA/n5+XB2dkZeXh6cnJz0tt27dw/Z2dlo1arVnx1ltYVcYsNINV3CorGLj4/H7t27sX+/cX0aSktL4e7ujq+++go9e/asp+jk4auvvsLMmTPx008/Vdnca/B72xCq+9vQRL+/9alIWyr1ETq7JIyJEBnlQb/fdcFPYXVsNPf/oJnrtclsJk2ahNu3b+POnTtGLbPx3//+FzNmzECPHj3qMTp5KCwsxJYtW2rU540aD2FgYVQAHB1GjRL/ulRHoeD/6mTK2toaCxYsMPo4Nzc3xMTE1ENE8vPiiy+aO4SaMbT8joz/I8PRYdSUMBEik/Pz84PMWlxJ7jhUnqjJYiJERET1hqPDqLFjImQAazOImg5+Xxs3jg6jxo6fzgrKJ+UrKirinCVETUT50ht/ne2cGoahjtHsFE1NCROhCpRKJVxcXKQ1szQaDRQKhZmjIiJDhBAoKirCtWvX4OLiojfxJTUcdoympo6J0F94eHgAQKUFRImocXJxcZG+t/XC0MSJACdPJLIQTIT+QqFQwNPTE25ubigpKTF3OET0ADY2NvVfE1RSZL5JVZsYQx2j2SmaGjsmQlVQKpWsaiciMgI7RlNTxE8sEVFNGZo4EZD15IlETR0TISKimuLEiUQWh4kQEVE5rihPJDtMhIiIyrFjNJHsWJk7ACIiIiJzYY0QEZEhXFFej6EZpAHOIk1NHxMhIiJD2DFaD2eQJkvFRIiIiPRw/TCSEyZCRESkp7raH0MzSAOcRZqaJiZCRERkFM4gTZaEn2QiIqoS1w8jS8dEiIhIpmoyEoy1P2Tp+OkmIpIpjgQjYiJERCQLHAlGZBgTISIiC/Kg5q7AN76u8jiOBCO5YiJERGRBatvcxb5AJFf81BOR/BhaZR6QzUrzHAlG9CcmQkQkPzJZZf5BzV0KhcIMERE1PkyEiIiaqOo6QLO5i6h6/IYQkbwZWmUeaBIrzXP4O1HdMREiInnjKvNEssZEiIjIArADNFHtMBEiIrIA7A9EVDv81hARmUFVEx8agzNDE9UdEyEiIjNgR2eixsHK3AEQERERmQtrhIiIzKyqiQ+NwY7RRLXDRIiIyMzY0ZnIfPjNIyKqZ9XNAE1E5mP2PkLx8fHw8/ODra0tgoKCcOLEiQfuHxcXh/bt28POzg4+Pj6YMWMG7t2710DREhEZr7xjdMVH4BtfmzssIoKZE6HExERERUUhNjYWp06dQteuXREWFoZr164Z3H/79u2YN28eYmNjkZ6ejg8++ACJiYmYP39+A0dORERElsCsTWNr167FxIkTMXbsWADAhg0bsHfvXmzevBnz5s2rtP/Ro0fRu3dvjBw5EgDg5+eHESNG4Pjx41W+RnFxMYqLi6Xn+fn5Jr4KIqKa4wzQRI2L2WqEtFotTp48idDQ0D+DsbJCaGgojh07ZvCYXr164eTJk1Lz2YULF7Bv3z4MHDiwytdZsWIFnJ2dpYePj49pL4SIyAjlHaMrPhQKhbnDIpIts9UI3bhxAzqdDu7u7nrl7u7uyMjIMHjMyJEjcePGDTzxxBMQQqC0tBQvv/zyA5vGoqOjERUVJT3Pz89nMkREREQAGkFnaWOkpKRg+fLl+Oc//4lTp05h586d2Lt3L5YuXVrlMWq1Gk5OTnoPIiIiIsCMNUKurq5QKpXIzc3VK8/NzYWHh4fBY15//XWMGjUKEyZMAAB07twZhYWFeOmll7BgwQJYWTWpvI6IiIjMzGyZg0qlQvfu3ZGcnCyVlZWVITk5GcHBwQaPKSoqqpTsKJX3OxkKIeovWCIiIrJIZh01FhUVhcjISAQGBqJnz56Ii4tDYWGhNIps9OjR8Pb2xooVKwAAgwYNwtq1a/Hoo48iKCgIWVlZeP311zFo0CApISIiIiKqKbMmQuHh4bh+/ToWLlyInJwcdOvWDUlJSVIH6suXL+vVAMXExEChUCAmJga///47HnroIQwaNAjLli0z1yUQERFRE6YQMmtTys/Ph7OzM/Ly8thxmkiutIXAcq/7/57/B6Cyr9eXK9KWosPC/QCAs0vCuK4YUS3U1+83excTERGRbPG/JUREJmJocVWAC6wSNWZMhIjIsgkBlBTpl2mLDO9bR+WLqxJR08FEiIgsW0nRn/2BiIj+gokQEVE9MLS4KsAFVokaGyZCRCQfs7IAlUa/zEZjeN86Kl9clYgaN35LiUg+VJp6HypPRE0Lh88TERGRbDERIiIiItli0xgRUS0YmjOI8wURNT1MhIiIaoFzBhFZBjaNERERkWyxRoiIqI4MzRnE+YKImgYmQkREdcQ5g4iaLjaNERERkWwxESIiIiLZYiJEREREssVEiIiIiGSLvfuIiB7A0MSJACdPJLIUTISIiB6AEycSWTY2jREREZFssUaIiKiGDE2cCHDyRKKmjIkQEVENceJEIsvDpjEiIiKSLSZCREREJFtMhIiIiEi2mAgRERGRbDERIiIiItliIkRERESyxXGgRGQZhABKiiqXaw2UVXmKystpcCkNIsvGRIiILENJEbDcq06n4HIaRPLDpjEiIiKSLdYIEZHlmZUFqDSVy20MlFXB0HIaXEqDyPIwESIiy6PSACr7Op2Cy2kQyQObxoiIiEi2mAgRERGRbDERIiIiItliIkRERESyxUSIiIiIZIuJEBEREckWEyEiIiKSLSZCREREJFtMhIiIiEi2mAgRERGRbDERIiIiItniQjpEJDtCCNwt0VUqL9JWLiMiy8ZEiIiaHiGAkiL9Mm2R4X0NuFuiQ4eF+00cFBE1RUyEiKjpKSkClnuZOwoisgBMhIhI1n6ICYVGpaxUbmdTuYyILA8TISJq2mZlASqNfpmNxvC+BmhUSmhU/FNIJFf89hNR06bSACp7c0dBRE0Uh88TERGRbDERIiIiItliIkRERESyxUSIiIiIZIudpYnIohmaRZozSBNROSZCRGTROIs0ET0Im8aIiIhItlgjRESyYWgWac4gTSRvZq8Rio+Ph5+fH2xtbREUFIQTJ048cP/bt29jypQp8PT0hFqtRrt27bBv374GipaImrLyWaQrPhQKhbnDIiIzMmuNUGJiIqKiorBhwwYEBQUhLi4OYWFhyMzMhJubW6X9tVotnnrqKbi5ueGzzz6Dt7c3Ll26BBcXl4YPnoiIiJo8syZCa9euxcSJEzF27FgAwIYNG7B3715s3rwZ8+bNq7T/5s2b8d///hdHjx6FjY0NAMDPz68hQyYiIiILYramMa1Wi5MnTyI0NPTPYKysEBoaimPHjhk8Zvfu3QgODsaUKVPg7u6OTp06Yfny5dDpqh4KW1xcjPz8fL0HEVkeIQSKtKUGHhwqT0RVM1uN0I0bN6DT6eDu7q5X7u7ujoyMDIPHXLhwAQcPHkRERAT27duHrKwsTJ48GSUlJYiNjTV4zIoVK7B48WKTx09EjQuHyRNRbZi9s7QxysrK4Obmho0bN6J79+4IDw/HggULsGHDhiqPiY6ORl5envS4cuVKA0ZMREREjZnZaoRcXV2hVCqRm5urV56bmwsPDw+Dx3h6esLGxgZK5Z/DXQMCApCTkwOtVguVSlXpGLVaDbVabdrgiahRMzRMHuBQeSKqzGw1QiqVCt27d0dycrJUVlZWhuTkZAQHBxs8pnfv3sjKykJZWZlUdu7cOXh6ehpMgohIngwNk+dQeSIyxKxNY1FRUdi0aRM+/PBDpKen45VXXkFhYaE0imz06NGIjo6W9n/llVfw3//+F9OnT8e5c+ewd+9eLF++HFOmTDHXJRAREVETZtbh8+Hh4bh+/ToWLlyInJwcdOvWDUlJSVIH6suXL8PK6s9czcfHB/v378eMGTPQpUsXeHt7Y/r06Zg7d665LoGIiIiaMLMvsTF16lRMnTrV4LaUlJRKZcHBwfjuu+/qOSoiIiKSgyY1aoyIiIjIlJgIERERkWwxESIiIiLZYiJEREREssVEiIiIiGTL7KPGiIiqJARQUlS5XGugjIioFpgIEVHjVVIELPcydxREZMHYNEZERESyZVSN0OjRoxEfHw9HR0cAwI8//ogOHTrAxsamXoIjIpLMygJUGgCAEAJ3S3T3y4UK0JaiSKszY3BE1FQZlQht27YNq1evlhKhPn36IC0tDa1bt66X4IiIJCoNoLIHANzVlqLDG/vNHBARWQKjmsaEEA98TkRERNSUsLM0ETVpP8SEQqNS6pXZ2Sir2JuISJ/RidDZs2eRk5MD4H6NUEZGBgoKCvT26dKli2miIyKqhkalhEbF/9MRUe0Y/dfjySef1GsSe+655wAACoUCQggoFArodOy0SERERI2fUYlQdnZ2fcVBRERE1OCMSoR8fX3rKw4iIiKiBlerhvXz58/jyy+/xMWLF6FQKNCqVSsMHTqUw+iJiIioSTE6EVqxYgUWLlyIsrIyuLm5QQiB69evY968eVi+fDlmzZpVH3ESERERmZxR8wh98803iImJwYIFC3Djxg1cvXoVOTk5UiI0b948HD58uL5iJSIiIjIpo2qENmzYgAkTJmDRokV65c2bN8eSJUuQk5OD9evXo2/fvqaMkYiIiKheGFUjdOLECYwaNarK7aNGjcJ3331X56CIiIiIGoJRiVBubi78/Pyq3N6qVStpskUiIiKixs6oROjevXtQqVRVbrexsYFWq61zUEREREQNwehRY++//z4cHBwMbrtz506dAyIiIiJqKEYlQg8//DA2bdpU7T5ERERETYFRidDFixfrKQwiIiKihmdUH6GDBw+iQ4cOyM/Pr7QtLy8PHTt2xJEjR0wWHBHJiBCAtvAvjyJzR0VEFs6oGqG4uDhMnDgRTk5OlbY5Oztj0qRJWLt2Lfr06WOyAIlIJkqKgOVeVW4u0pYCKP3fv3UNFBQRWTqjEqEff/wRq1atqnL7008/jdWrV9c5KCKiv+r+xte4C1tzh0FEFsaoRCg3Nxc2NjZVn8zaGtevX69zUEQkc7OyAJUGRdpSdH/jawDAXajNHBQRWSKjEiFvb2/8/PPP8Pf3N7j9p59+gqenp0kCIyIZU2kAlT2AUqkW6IeYUGhUykq72tlULiMiqimjOksPHDgQr7/+Ou7du1dp2927dxEbG4vnnnvOZMEREZXTqJTQqKwrPRQKhblDI6ImzKgaoZiYGOzcuRPt2rXD1KlT0b59ewBARkYG4uPjodPpsGDBgnoJlIiIiMjUjEqE3N3dcfToUbzyyiuIjo6GEAIAoFAoEBYWhvj4eLi7u9dLoERERESmZvQSG76+vti3bx9u3bqFrKwsCCHQtm1bNGvWrD7iIyIiIqo3RidC5Zo1a4YePXqYMhYiIiKiBmVUZ2kiIiIiS8JEiIiIiGSLiRARERHJFhMhIiIiki0mQkRERCRbTISIiIhItpgIERERkWwxESIiIiLZYiJEREREslXrmaWJiExJCIHydeSLtKUASlGk1ZkzJCKSASZCRNQo3C3RQfO/f3d/42vcha1Z4yEieWDTGBEREckWa4SIqNE5Mqc/NA5OemV2NkozRUNEloyJEBE1OhqVEhoV/zwRUf1j0xgRERHJFhMhIiIiki0mQkRERCRbTISIiIhItpgIERERkWwxESIiIiLZYiJEREREssVEiIiIiGSLiRARERHJVqNIhOLj4+Hn5wdbW1sEBQXhxIkTNTouISEBCoUCQ4cOrd8AiYiIyCKZPRFKTExEVFQUYmNjcerUKXTt2hVhYWG4du3aA4+7ePEiZs2ahT59+jRQpERERGRpzJ4IrV27FhMnTsTYsWPRoUMHbNiwARqNBps3b67yGJ1Oh4iICCxevBitW7duwGiJqK6EECjSlhp46MwdGhHJkFlXNdRqtTh58iSio6OlMisrK4SGhuLYsWNVHrdkyRK4ublh/PjxOHLkyANfo7i4GMXFxdLz/Pz8ugdORLV2t0SHDgv3Vyq3wz2k25ohICKSNbMmQjdu3IBOp4O7u7teubu7OzIyMgwe8+233+KDDz5AWlpajV5jxYoVWLx4cV1DJSJTEQJ2uFepWINiAzsTEdUvsyZCxrpz5w5GjRqFTZs2wdXVtUbHREdHIyoqSnqen58PHx+f+gqRiKpTUoR023EP3MXORtlAwRCR3Jk1EXJ1dYVSqURubq5eeW5uLjw8PCrt/+uvv+LixYsYNGiQVFZWVgYAsLa2RmZmJtq0aaN3jFqthlqtrofoiai+KBQKc4dARDJh1kRIpVKhe/fuSE5OlobAl5WVITk5GVOnTq20/yOPPIIzZ87olcXExODOnTtYt24da3qImpii6RnQ2DtV3mCjafhgiEiWzN40FhUVhcjISAQGBqJnz56Ii4tDYWEhxo4dCwAYPXo0vL29sWLFCtja2qJTp056x7u4uABApXIiagJsNIDK3txREJGMmT0RCg8Px/Xr17Fw4ULk5OSgW7duSEpKkjpQX758GVZWZh/lT0S1IITA3RL9YfFFWh1Y30NEjYVCCCHMHURDys/Ph7OzM/Ly8uDkZKBKnohMpkhbWmmo/P1h8vc7SxfNugyNg7M5QiOiJqa+fr9Z1UJERESyZfamMSKShx9iQqFRKQFtIbD6fhmHyRORuTERIqIGoVEpoVFZo+KfHQ6TJyJzY9MYERERyRYTISIiIpItJkJEREQkW0yEiIiISLaYCBEREZFsMREiIiIi2WIiRERERLLFRIiIiIhki4kQERERyRYTISIiIpItJkJEREQkW0yEiIiISLaYCBEREZFscfV5IqozIQTulugqlRdpK5cRETUmTISIqM7ulujQYeF+c4dBRGQ0No0RERGRbLFGiIhM6oeYUGhUyvtPhABKigAAduIeoFUA2iIzRkdEpI+JEBGZlEalhEb1vz8t2kJg9cPmDYiI6AHYNEZERESyxRohImoYs7IAlUa/zEZjeF8iogbCRIiIGoZKA6jszR0FEZEeNo0RERGRbDERIiIiItliIkRERESyxUSIiIiIZIudpYnIKIbWFeOaYkTUVDERIiKjcF0xIrIkbBojIiIi2WKNEBHVmt66Yv9jZ6OsYm8iosaHiRAR1ZreumJERE0Qm8aIiIhItpgIERERkWyxTpuI6k4IoKSocrnWQBkRUSPCRIiI6q6kCFjuZe4oiIiMxqYxIiIiki3WCBGRac3KAlSayuU2BsqIiMyMiRARmZZKA6jszR0FEVGNsGmMiIiIZIuJEBEREckWEyEiIiKSLSZCREREJFvsLE1EBgkhcLdEV6m8SFu5jIioqWIiREQG3S3RocPC/eYOg4ioXrFpjIiIiGSLNUJEVK0fYkKhUSkrldvZVC4jImpKmAgRUbU0KiU0Kv65ICLLw6YxIiIiki0mQkRERCRbrOsmIoND5TlMnojkgIkQEXGoPBHJFpvGiIiISLZYI0REegwNlecweSKyVEyEiEgPh8oTkZywaYyIiIhki4kQERERyRYTISIiIpItJkJEREQkW40iEYqPj4efnx9sbW0RFBSEEydOVLnvpk2b0KdPHzRr1gzNmjVDaGjoA/cnoj8JIVCkLTXw4OSJRCRPZh8akpiYiKioKGzYsAFBQUGIi4tDWFgYMjMz4ebmVmn/lJQUjBgxAr169YKtrS1WrVqFp59+Gr/88gu8vb3NcAVEjVNVs0UHvvG1mSIiImp8FEIIYc4AgoKC0KNHD7z33nsAgLKyMvj4+GDatGmYN29etcfrdDo0a9YM7733HkaPHl1pe3FxMYqLi6Xn+fn58PHxQV5eHpycnEx3IUSNTJG2tFazRZ9dEmb88HltIbDc6/6/5/8BqOyNfl0iogfJz8+Hs7OzyX+/zVojpNVqcfLkSURHR0tlVlZWCA0NxbFjx2p0jqKiIpSUlKB58+YGt69YsQKLFy82SbxEjZGhmh+g+rXCDE2cCNRg8kQhgJIi/TJtkeF9iYgaObMmQjdu3IBOp4O7u7teubu7OzIyMmp0jrlz58LLywuhoaEGt0dHRyMqKkp6Xl4jRGQparJOWFWzRSsUCuNfsKToz9ofIqImzux9hOpi5cqVSEhIQEpKCmxtbQ3uo1aroVarGzgyosaFs0UTERlm1r+Mrq6uUCqVyM3N1SvPzc2Fh4fHA49dvXo1Vq5cia+//hpdunSpzzCJmoxaN3fV1qwsQKXRL7PRGN6XiKgRMuvweZVKhe7duyM5OVkqKysrQ3JyMoKDg6s87s0338TSpUuRlJSEwMDAhgiVqEkor/n566NWTWA1odLc7xhd8VFfr0VEVA/MXlceFRWFyMhIBAYGomfPnoiLi0NhYSHGjh0LABg9ejS8vb2xYsUKAMCqVauwcOFCbN++HX5+fsjJyQEAODg4wMHBwWzXQURERE2P2ROh8PBwXL9+HQsXLkROTg66deuGpKQkqQP15cuXYWX1Z8XV+vXrodVq8eKLL+qdJzY2FosWLWrI0ImIiKiJM3siBABTp07F1KlTDW5LSUnRe37x4sX6D4iokapqkkQiIqqdRpEIEVHN1GSoPBER1RwTISIzq2pCRENY+0NEZFpMhIjMrLa1PFVNkkhERDXHRIioieIkiUREdce/okSNSFUTIhrC2h8iorpjIkTUiLCWh4ioYZl1ZmkiIiIic2IiRERERLLFOngiMkwIoKSocrnWQBkRURPFRIiIDCspApZ7mTsKIqJ6xUSIqIFUNXEiJ0kkIjIfJkJEDaRJL48xKwtQaSqX2xgoIyJqQpgIEVH1VBpAZW/uKIiITI6JEJEZVDVxIidJJCJqWEyEiMyAEycSETUO/EtMVA8MdYxmp2giosaHiRBRPWjSHaOJiGSEiRBRHXBIPBFR08ZEiKiGqmruCnzj6wceZ6hjNDtFExE1DkyEiGqots1d7BhNRNR48a8zkYlwSDwRUdPDRIioFqpq7lIoFGaKiIiIaoOJENFf1KQDtMU1dxlaaZ6rzBORDFjQX3Ii05Dl0HeuNE9EMsVEiGSNEx8SEckbEyGStepqf2TZAdrQSvNcZZ6ILBQTIaIHsLi+QDXBleaJSEZk9heeqGqc+JCISH6YCBH9jyxrf4iIZM7K3AEQERERmQsTISIiIpIttgOQLHCVeCIiMoSJEMmCLCdJJCKiarFpjIiIiGSLNUIkO7KcJLGcoTXFAK4rRkSyxUSIZEfWw+S5phgRkR6Z/hqQJaiqA7Qh7BRNRESGMBGiJosdoOvI0JpiANcVIyJZYSJETQJXia8HXFOMiIiJEDUNtV0l3hBZdIomIqIaYSJEjUptJz6UdQfoqhgaIcbRYUREevjLQWbxoIQn8I2vH3gsV4mvIY4QIyKqFhMhMou6dHRm7Q8REZkKf02o3tW2o7OsJz40NUMjxDg6jIiIiRDVv9p2dLazUUKhUNRnaPLBEWJERAYxESKTYUdnM+GyGUREtcZfHzKZmvT7YUfnesBO0UREtcZEiBoUa3+IiKgx4S8S1Up1HaDZ0dlMuGwGEZFRmAhRrVTXDMaaHzNhp2giIqPwl0qGjFm1vSpc54uIiCwBEyEZMvWq7ewATURETRUTIQthTC2PqWtz2AxGRERNFX+9LERta3mMWbW9Kqz9ISKipoqJUCPWELU8rM1pYriiPBGRSfEXsB7VtVNyTVZiN8SYWh7W5jQxnDyRiMikmAjVI1N3Sq4p1vIQERHVDH8tTaC2a2wZg7U8VAlXlCciqjMmQiZQ2zW2jMGV2KkSTp5IRFRnVuYOAADi4+Ph5+cHW1tbBAUF4cSJEw/c/9NPP8UjjzwCW1tbdO7cGfv27TN5TEIIFGlLa/iovuanvLmqtg8mQRZMCEBbWMMHO0YTEZmS2WuEEhMTERUVhQ0bNiAoKAhxcXEICwtDZmYm3NzcKu1/9OhRjBgxAitWrMBzzz2H7du3Y+jQoTh16hQ6depksrhMPRydzVVUJXaAJiIyG4UQQpgzgKCgIPTo0QPvvfceAKCsrAw+Pj6YNm0a5s2bV2n/8PBwFBYWYs+ePVLZ448/jm7dumHDhg3Vvl5+fj6cnZ1x9ffLcHJyqnK/Iq0Ofd78xujrORkTyo7KZBxtEbDa3/jj5v/BpjEiko3y3++8vLwH/n4by6y/2FqtFidPnkR0dLRUZmVlhdDQUBw7dszgMceOHUNUVJReWVhYGL744guD+xcXF6O4uFh6npeXBwAoXd0Bpeqqm5tUAI7XojWqdBmQb/xhRPdNSwNUdjXb924pcI+fNiKSh/z8+3/vTF1/Y9ZE6MaNG9DpdHB3d9crd3d3R0ZGhsFjcnJyDO6fk5NjcP8VK1Zg8eLFlcp93i6oZdRE9WhlG3NHQETUqN28eRPOzs4mO5/Ft+FER0fr1SDdvn0bvr6+uHz5sknfSDJefn4+fHx8cOXKFZNWc1Lt8H40HrwXjQfvReORl5eHhx9+GM2bNzfpec2aCLm6ukKpVCI3N1evPDc3Fx4eHgaP8fDwMGp/tVoNtVpdqdzZ2Zkf6kbCycmJ96IR4f1oPHgvGg/ei8bDysq0A97NOnxepVKhe/fuSE5OlsrKysqQnJyM4OBgg8cEBwfr7Q8ABw4cqHJ/IiIioqqYvWksKioKkZGRCAwMRM+ePREXF4fCwkKMHTsWADB69Gh4e3tjxYoVAIDp06cjJCQEa9aswbPPPouEhAT88MMP2Lhxozkvg4iIiJogsydC4eHhuH79OhYuXIicnBx069YNSUlJUofoy5cv61WD9erVC9u3b0dMTAzmz5+Ptm3b4osvvqjxHEJqtRqxsbEGm8uoYfFeNC68H40H70XjwXvReNTXvTD7PEJERERE5tIoltggIiIiMgcmQkRERCRbTISIiIhItpgIERERkWxZZCIUHx8PPz8/2NraIigoCCdOnHjg/p9++ikeeeQR2NraonPnzti3b18DRWr5jLkXmzZtQp8+fdCsWTM0a9YMoaGh1d47Mo6x341yCQkJUCgUGDp0aP0GKCPG3ovbt29jypQp8PT0hFqtRrt27fi3ykSMvRdxcXFo37497Ozs4OPjgxkzZuDevXsNFK3lOnz4MAYNGgQvLy8oFIoq1xCtKCUlBY899hjUajX8/f2xdetW419YWJiEhAShUqnE5s2bxS+//CImTpwoXFxcRG5ursH9U1NThVKpFG+++aY4e/asiImJETY2NuLMmTMNHLnlMfZejBw5UsTHx4vTp0+L9PR0MWbMGOHs7Cx+++23Bo7cMhl7P8plZ2cLb29v0adPHzFkyJCGCdbCGXsviouLRWBgoBg4cKD49ttvRXZ2tkhJSRFpaWkNHLnlMfZebNu2TajVarFt2zaRnZ0t9u/fLzw9PcWMGTMaOHLLs2/fPrFgwQKxc+dOAUDs2rXrgftfuHBBaDQaERUVJc6ePSveffddoVQqRVJSklGva3GJUM+ePcWUKVOk5zqdTnh5eYkVK1YY3H/48OHi2Wef1SsLCgoSkyZNqtc45cDYe/FXpaWlwtHRUXz44Yf1FaKs1OZ+lJaWil69eon3339fREZGMhEyEWPvxfr160Xr1q2FVqttqBBlw9h7MWXKFPG3v/1NrywqKkr07t27XuOUm5okQnPmzBEdO3bUKwsPDxdhYWFGvZZFNY1ptVqcPHkSoaGhUpmVlRVCQ0Nx7Ngxg8ccO3ZMb38ACAsLq3J/qpna3Iu/KioqQklJickX2JOj2t6PJUuWwM3NDePHj2+IMGWhNvdi9+7dCA4OxpQpU+Du7o5OnTph+fLl0Ol0DRW2RarNvejVqxdOnjwpNZ9duHAB+/btw8CBAxskZvqTqX6/zT6ztCnduHEDOp1OmpW6nLu7OzIyMgwek5OTY3D/nJyceotTDmpzL/5q7ty58PLyqvRBJ+PV5n58++23+OCDD5CWltYAEcpHbe7FhQsXcPDgQURERGDfvn3IysrC5MmTUVJSgtjY2IYI2yLV5l6MHDkSN27cwBNPPAEhBEpLS/Hyyy9j/vz5DREyVVDV73d+fj7u3r0LOzu7Gp3HomqEyHKsXLkSCQkJ2LVrF2xtbc0djuzcuXMHo0aNwqZNm+Dq6mrucGSvrKwMbm5u2LhxI7p3747w8HAsWLAAGzZsMHdospOSkoLly5fjn//8J06dOoWdO3di7969WLp0qblDo1qyqBohV1dXKJVK5Obm6pXn5ubCw8PD4DEeHh5G7U81U5t7UW716tVYuXIlvv76a3Tp0qU+w5QNY+/Hr7/+iosXL2LQoEFSWVlZGQDA2toamZmZaNOmTf0GbaFq893w9PSEjY0NlEqlVBYQEICcnBxotVqoVKp6jdlS1eZevP766xg1ahQmTJgAAOjcuTMKCwvx0ksvYcGCBXprY1L9qur328nJqca1QYCF1QipVCp0794dycnJUllZWRmSk5MRHBxs8Jjg4GC9/QHgwIEDVe5PNVObewEAb775JpYuXYqkpCQEBgY2RKiyYOz9eOSRR3DmzBmkpaVJj8GDB6N///5IS0uDj49PQ4ZvUWrz3ejduzeysrKkZBQAzp07B09PTyZBdVCbe1FUVFQp2SlPUAWX7mxQJvv9Nq4fd+OXkJAg1Gq12Lp1qzh79qx46aWXhIuLi8jJyRFCCDFq1Cgxb948af/U1FRhbW0tVq9eLdLT00VsbCyHz5uIsfdi5cqVQqVSic8++0xcvXpVety5c8dcl2BRjL0ff8VRY6Zj7L24fPmycHR0FFOnThWZmZliz549ws3NTbzxxhvmugSLYey9iI2NFY6OjmLHjh3iwoUL4v/+7/9EmzZtxPDhw811CRbjzp074vTp0+L06dMCgFi7dq04ffq0uHTpkhBCiHnz5olRo0ZJ+5cPn589e7ZIT08X8fHxHD5f7t133xUPP/ywUKlUomfPnuK7776TtoWEhIjIyEi9/T/55BPRrl07oVKpRMeOHcXevXsbOGLLZcy98PX1FQAqPWJjYxs+cAtl7HejIiZCpmXsvTh69KgICgoSarVatG7dWixbtkyUlpY2cNSWyZh7UVJSIhYtWiTatGkjbG1thY+Pj5g8ebK4detWwwduYb755huDvwHl739kZKQICQmpdEy3bt2ESqUSrVu3Flu2bDH6dRVCsC6PiIiI5Mmi+ggRERERGYOJEBEREckWEyEiIiKSLSZCREREJFtMhIiIiEi2mAgRERGRbDERIiIiItliIkRERESyxUSIqAEsWrQI7u7uUCgU+OKLL8wdTqOQkpIChUKB27dvmzsUIpIxJkJE/zNmzBgoFAooFAqoVCr4+/tjyZIlKC0trdN509PTsXjxYvzrX//C1atXMWDAABNF3LT16tULV69ehbOzc63PcfHiRSgUCiiVSvz+++96265evQpra2soFApcvHixTvunpaVVeu0HJXJ+fn6Ii4ur9XVVZ9GiRejWrVu9nZ9ITpgIEVXwzDPP4OrVqzh//jxmzpyJRYsW4a233qrVuXQ6HcrKyvDrr78CAIYMGQIPDw+o1epana+kpKRWxzVWKpUKHh4eUCgUdT6Xt7c3PvroI72yDz/8EN7e3ibZv6mytM8MUX1gIkRUgVqthoeHB3x9ffHKK68gNDQUu3fvBgAUFxdj1qxZ8Pb2hr29PYKCgpCSkiIdu3XrVri4uGD37t3o0KED1Go1xo0bh0GDBgEArKyspB/9srIyLFmyBC1btoRarUa3bt2QlJQknau8JiIxMREhISGwtbXFtm3bMGbMGAwdOhTLly+Hu7s7XFxcpFqr2bNno3nz5mjZsiW2bNmid11z585Fu3btoNFo0Lp1a7z++ut6P5LlNQwff/wx/Pz84OzsjH/84x+4c+eOtE9ZWRnefPNN+Pv7Q61W4+GHH8ayZcuk7VeuXMHw4cPh4uKC5s2bY8iQIVLNiiF/rVEpf//279+PgIAAODg4SIlpdSIjIytd85YtWxAZGWmS/U1Np9Nh/PjxaNWqFezs7NC+fXusW7dOb5+UlBT07NkT9vb2cHFxQe/evXHp0iVs3boVixcvxo8//ijVYG7duhUAoFAosH79egwePBj29vbS/Vm/fj3atGkDlUqF9u3b4+OPP9Z7LYVCgffffx/PP/88NBoN2rZtK33uyx06dAg9e/aEWq2Gp6cn5s2bp1db2q9fP0ybNg2vvfYamjVrBnd3d2zatAmFhYUYO3YsHB0d4e/vj6+++goAIISAv78/Vq9erfc6aWlpUCgUyMrKMsl7TVStOi4WS2QxDK2uPnjwYPHYY48JIYSYMGGC6NWrlzh8+LDIysoSb731llCr1eLcuXNCCCG2bNkibGxsRK9evURqaqrIyMgQeXl5YsuWLQKAuHr1qrh69aoQQoi1a9cKJycnsWPHDpGRkSHmzJkjbGxspHNlZ2cLAMLPz098/vnn4sKFC+KPP/4QkZGRwtHRUUyZMkVkZGSIDz74QAAQYWFhYtmyZeLcuXNi6dKlwsbGRly5ckW6jqVLl4rU1FSRnZ0tdu/eLdzd3cWqVauk7bGxscLBwUH8/e9/F2fOnBGHDx8WHh4eYv78+dI+c+bMEc2aNRNbt24VWVlZ4siRI2LTpk1CCCG0Wq0ICAgQ48aNEz/99JM4e/asGDlypGjfvr0oLi42+H6XrzRdvmp3+fsXGhoqvv/+e3Hy5EkREBAgRo4cWeU9K3+fTpw4IVxdXcWRI0eEEEIcOXJEPPTQQ+LEiRMCgMjOzq7T/qdPn642/op8fX3F22+/XWXcWq1WLFy4UHz//ffiwoUL4t///rfQaDQiMTFRCHF/hXNnZ2cxa9YskZWVJc6ePSu2bt0qLl26JIqKisTMmTNFx44dpc9UUVGREEIIAMLNzU1s3rxZ/Prrr+LSpUti586dwsbGRsTHx4vMzEyxZs0aoVQqxcGDB6V4AIiWLVuK7du3i/Pnz4tXX31VODg4iJs3bwohhPjtt9+ERqMRkydPFunp6WLXrl3C1dVVxMbGSucICQkRjo6OYunSpdLnUKlUigEDBoiNGzeKc+fOiVdeeUW0aNFCFBYWCiGEWLZsmejQoYPee/Pqq6+Kvn37VvneEZkaEyGi/6mYCJWVlYkDBw4ItVotZs2aJS5duiSUSqX4/fff9Y558sknRXR0tBBCSAlPWlqa3j67du0Sf/0/h5eXl1i2bJleWY8ePcTkyZOFEH/+AMfFxVWK0dfXV+h0Oqmsffv2ok+fPtLz0tJSYW9vL3bs2FHltb711luie/fu0vPY2Fih0WhEfn6+VDZ79mwRFBQkhBAiPz9fqNVqKfH5q48//li0b99elJWVSWXFxcXCzs5O7N+/3+AxhhIhACIrK0vaJz4+Xri7u1d5HRUTlddee02MHTtWCCHE2LFjxYwZM8Tp06erTGyM3b+6+CuqLhEyZMqUKeKFF14QQghx8+ZNAUCkpKQY3Dc2NlZ07dq1UjkA8dprr+mV9erVS0ycOFGvbNiwYWLgwIF6x8XExEjPCwoKBADx1VdfCSGEmD9/fqX7Gx8fLxwcHKTPYkhIiHjiiSek7eWfw1GjRkllV69eFQDEsWPHhBBC/P7770KpVIrjx48LIe4niK6urmLr1q1VvEtEpsemMaIK9uzZAwcHB9ja2mLAgAEIDw/HokWLcObMGeh0OrRr1w4ODg7S49ChQ1IfIOB+v5cuXbo88DXy8/Pxxx9/oHfv3nrlvXv3Rnp6ul5ZYGBgpeM7duwIK6s/v7ru7u7o3Lmz9FypVKJFixa4du2aVJaYmIjevXvDw8MDDg4OiImJweXLl/XO6+fnB0dHR+m5p6endI709HQUFxfjySefNHhNP/74I7KysuDo6Ci9N82bN8e9e/f03p/qaDQatGnTxmAM1Rk3bhw+/fRT5OTk4NNPP8W4ceNMun9tDRgwQHpPOnbsKJXHx8eje/fueOihh+Dg4ICNGzdK96R58+YYM2YMwsLCMGjQIKxbt65GTYRA5c9Menp6jT5rFT+39vb2cHJy0rv/wcHBev25evfujYKCAvz2228Gz1H+Oaz42XR3dwcA6bxeXl549tlnsXnzZgDAf/7zHxQXF2PYsGE1ulYiU7A2dwBEjUn//v2xfv16qFQqeHl5wdr6/lekoKAASqUSJ0+ehFKp1DvGwcFB+rednZ1JOv+Ws7e3r1RmY2Oj91yhUBgsKysrAwAcO3YMERERWLx4McLCwuDs7IyEhASsWbOm2vOWn8POzu6BcRYUFKB79+7Ytm1bpW0PPfTQA4+tLgYhRI2O7dy5Mx555BGMGDECAQEB6NSpk8HRXrXd/6+cnJwAAHl5eXBxcdHbdvv2bWk03Pvvv4+7d+8C+PP6EhISMGvWLKxZswbBwcFwdHTEW2+9hePHj0vn2LJlC1599VUkJSUhMTERMTExOHDgAB5//PEHxmXoM1MTD7r/dTlHxbKKfeTKTZgwAaNGjcLbb7+NLVu2IDw8HBqNxtjwiWqNiRBRBfb29vD3969U/uijj0Kn0+HatWvo06dPnV7DyckJXl5eSE1NRUhIiFSempqKnj171unchhw9ehS+vr5YsGCBVHbp0iWjztG2bVvY2dkhOTkZEyZMqLT9scceQ2JiItzc3KQEwRzGjRuHyZMnY/369fWyf0Vt27aFlZUVTp48CV9fX6n8woULyMvLQ7t27QDA4Ei01NRU9OrVC5MnT5bKDNWcPfroo3j00UcRHR2N4OBgbN++HY8//jhUKhV0Ol2N4gwICEBqaqpeR/DU1FR06NChxtcaEBCAzz//HEIIKZlJTU2Fo6MjWrZsWePzGDJw4EDY29tj/fr1SEpKwuHDh+t0PiJjMREiqoF27dohIiICo0ePxpo1a/Doo4/i+vXrSE5ORpcuXfDss88adb7Zs2cjNjYWbdq0Qbdu3bBlyxakpaUZrFGpq7Zt2+Ly5ctISEhAjx49sHfvXuzatcuoc9ja2mLu3LmYM2cOVCoVevfujevXr+OXX37B+PHjERERgbfeegtDhgyRRsNdunQJO3fuxJw5c+r8Y1lTEydOxLBhwyrV0NR1/8zMzEplHTt2xIQJEzBz5kxYW1ujc+fOuHLlCubOnYvHH38cvXr1qvJ8bdu2xUcffYT9+/ejVatW+Pjjj/H999+jVatWAIDs7Gxs3LgRgwcPhpeXFzIzM3H+/HmMHj0awP1mzOzsbKSlpaFly5ZwdHSsclqG2bNnY/jw4Xj00UcRGhqK//znP9i5cye+/vrrGr1HADB58mTExcVh2rRpmDp1KjIzMxEbG4uoqCi9ZtraUCqVGDNmDKKjo9G2bVsEBwfX6XxExmIiRFRDW7ZswRtvvIGZM2fi999/h6urKx5//HE899xzRp/r1VdfRV5eHmbOnIlr166hQ4cO2L17N9q2bWvyuAcPHowZM2Zg6tSpKC4uxrPPPovXX38dixYtMuo8r7/+OqytrbFw4UL88ccf8PT0xMsvvwzgft+ew4cPY+7cufj73/+OO3fuwNvbG08++WSD1hBZW1vD1dXV5Pv/4x//qFR25coVrFu3DitXrsTcuXNx6dIleHh44KmnnsKyZcse2EQ6adIknD59GuHh4VAoFBgxYgQmT54sDS3XaDTIyMjAhx9+iJs3b8LT0xNTpkzBpEmTAAAvvPACdu7cif79++P27dvYsmULxowZY/C1hg4dinXr1mH16tWYPn06WrVqhS1btqBfv37Vv0H/4+3tjX379mH27Nno2rUrmjdvjvHjxyMmJqbG53iQ8ePHY/ny5Rg7dqxJzkdkDIWoaQM8ERFRPThy5AiefPJJXLlyRepQTdRQmAgREZFZFBcX4/r164iMjISHh0e9NA0TVYfD54mIyCx27NgBX19f3L59G2+++aa5wyGZYo0QERERyRZrhIiIiEi2mAgRERGRbDERIiIiItliIkRERESyxUSIiIiIZIuJEBEREckWEyEiIiKSLSZCREREJFv/H1PucCRkKPRIAAAAAElFTkSuQmCC",
      "text/plain": [
       "<Figure size 640x480 with 1 Axes>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "for topic in TOPICS:\n",
    "    #fitting rasch models\n",
    "    rasch = ExtendedRaschModel()\n",
    "    rasch.fit(seen_examples_dict[topic], Ys[topic])\n",
    "    S_hat = rasch.get_Y_hat().mean(1)\n",
    "    \n",
    "    extended_rasch = ExtendedRaschModel()\n",
    "    extended_rasch.fit(seen_examples_dict[topic], Ys[topic], X)\n",
    "    S_extended_hat = extended_rasch.get_Y_hat().mean(1)\n",
    "    \n",
    "    ## ploting\n",
    "    bins = np.linspace(0, 1.1, 100)\n",
    "    plt.hist(S_hat, density=True, cumulative=True, bins=bins, histtype='step', linewidth=1.5, label=f'PromptEval')\n",
    "    plt.hist(S_extended_hat, density=True, cumulative=True, bins=bins, histtype='step', linewidth=1.5, label=f'PromptEval (w/ covariates)')\n",
    "    plt.xlim(0,1)\n",
    "    plt.legend(fontsize=10)\n",
    "    plt.xlabel(f\"Performance in MMLU-{topic}\")\n",
    "    plt.ylabel(\"CDF\")\n",
    "    plt.show()"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}