UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 101: character maps to <undefined>

[jeetendraabvv]

How can we resolve this error?. No error occur when we read the file data using pandas read_csv. or how I can set encoding. My data file contains Text written in Hindi Language.
│ 20 │
│ 21 class IncrementalDecoder(codecs.IncrementalDecoder): │
│ 22 │ def decode(self, input, final=False): │
│ ❱ 23 │ │ return codecs.charmap_decode(input,self.errors,decoding_table) │
│ 24 │
│ 25 class StreamWriter(Codec,codecs.StreamWriter): │
│ 26 │ pass │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ final = False │ │
│ │ input = b',output,input,instruction\r\n0,Worst Car Names of All Time │ │
│ │ \xe0\xa4\x95\xe0\xa4\xad\xe0\xa5\x80-\xe0\xa4\x95\xe0\xa4\xad\x… │ │
│ │ \xe0\xa4\xb5'+8112 │ │
│ │ self = <encodings.cp1252.IncrementalDecoder object at │ │
│ │ 0x00000266E8003D90> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
╰──────────────────────────────────────────────────────────────────────────────╯
UnicodeDecodeError: 'charmap' codec can't decode byte 0x8d in position 101:
character maps to

The above exception was the direct cause of the following exception:

╭───────────────────── Traceback (most recent call last) ──────────────────────╮
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\llmtune\cli\toolki │
│ t.py:123 in run │
│ │
│ 120 │ │ │ config = yaml.safe_load(file) │
│ 121 │ │ │ config = Config(**config) │
│ 122 │ │ │
│ ❱ 123 │ │ run_one_experiment(config, config_path) │
│ 124 │
│ 125 │
│ 126 @generate_app.command("config") │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ config = Config( │ │
│ │ │ save_dir='./experiment/', │ │
│ │ │ ablation=AblationConfig( │ │
│ │ │ │ use_ablate=False, │ │
│ │ │ │ study_name='ablation' │ │
│ │ │ ), │ │
│ │ │ data=DataConfig( │ │
│ │ │ │ file_type='csv', │ │
│ │ │ │ │ │
│ │ path='C:\Users\Administrator\Pictures\lll_tk\jag_ful… │ │
│ │ │ │ prompt='Below is an instruction that describes a │ │
│ │ task. Write a response that appropriat'+89, │ │
│ │ │ │ prompt_stub='{output}', │ │
│ │ │ │ train_size=500, │ │
│ │ │ │ test_size=25, │ │
│ │ │ │ train_test_split_seed=42 │ │
│ │ │ ), │ │
│ │ │ model=ModelConfig( │ │
│ │ │ │ hf_model_ckpt='facebook/opt-125m', │ │
│ │ │ │ device_map='auto', │ │
│ │ │ │ torch_dtype='bfloat16', │ │
│ │ │ │ attn_implementation=None, │ │
│ │ │ │ quantize=True, │ │
│ │ │ │ bitsandbytes=BitsAndBytesConfig( │ │
│ │ │ │ │ load_in_8bit=False, │ │
│ │ │ │ │ llm_int8_threshold=6.0, │ │
│ │ │ │ │ llm_int8_skip_modules=None, │ │
│ │ │ │ │ llm_int8_enable_fp32_cpu_offload=False, │ │
│ │ │ │ │ llm_int8_has_fp16_weight=False, │ │
│ │ │ │ │ load_in_4bit=True, │ │
│ │ │ │ │ bnb_4bit_compute_dtype='bfloat16', │ │
│ │ │ │ │ bnb_4bit_quant_type='nf4', │ │
│ │ │ │ │ bnb_4bit_use_double_quant=True │ │
│ │ │ │ ) │ │
│ │ │ ), │ │
│ │ │ lora=LoraConfig( │ │
│ │ │ │ r=32, │ │
│ │ │ │ task_type='CAUSAL_LM', │ │
│ │ │ │ lora_alpha=64, │ │
│ │ │ │ bias='none', │ │
│ │ │ │ lora_dropout=0.1, │ │
│ │ │ │ target_modules='all-linear', │ │
│ │ │ │ fan_in_fan_out=False, │ │
│ │ │ │ modules_to_save=None, │ │
│ │ │ │ layers_to_transform=None, │ │
│ │ │ │ layers_pattern=None │ │
│ │ │ ), │ │
│ │ │ training=TrainingConfig( │ │
│ │ │ │ training_args=TrainingArgs( │ │
│ │ │ │ │ num_train_epochs=1, │ │
│ │ │ │ │ per_device_train_batch_size=4, │ │
│ │ │ │ │ gradient_accumulation_steps=4, │ │
│ │ │ │ │ gradient_checkpointing=True, │ │
│ │ │ │ │ optim='paged_adamw_32bit', │ │
│ │ │ │ │ logging_steps=1, │ │
│ │ │ │ │ learning_rate=0.0002, │ │
│ │ │ │ │ bf16=True, │ │
│ │ │ │ │ tf32=True, │ │
│ │ │ │ │ fp16=False, │ │
│ │ │ │ │ max_grad_norm=0.3, │ │
│ │ │ │ │ warmup_ratio=0.03, │ │
│ │ │ │ │ lr_scheduler_type='constant', │ │
│ │ │ │ │ save_steps=500 │ │
│ │ │ │ ), │ │
│ │ │ │ sft_args=SftArgs( │ │
│ │ │ │ │ max_seq_length=1024, │ │
│ │ │ │ │ neftune_noise_alpha=None │ │
│ │ │ │ ) │ │
│ │ │ ), │ │
│ │ │ inference=InferenceConfig( │ │
│ │ │ │ max_length=None, │ │
│ │ │ │ max_new_tokens=256, │ │
│ │ │ │ min_length=0, │ │
│ │ │ │ min_new_tokens=None, │ │
│ │ │ │ early_stopping=False, │ │
│ │ │ │ max_time=None, │ │
│ │ │ │ do_sample=True, │ │
│ │ │ │ num_beams=1, │ │
│ │ │ │ num_beam_groups=1, │ │
│ │ │ │ penalty_alpha=None, │ │
│ │ │ │ use_cache=True, │ │
│ │ │ │ temperature=0.8, │ │
│ │ │ │ top_k=50, │ │
│ │ │ │ top_p=0.9, │ │
│ │ │ │ typical_p=1.0, │ │
│ │ │ │ epsilon_cutoff=0.0, │ │
│ │ │ │ eta_cutoff=0.0, │ │
│ │ │ │ diversity_penalty=0.0, │ │
│ │ │ │ repetition_penalty=1.0, │ │
│ │ │ │ encoder_repetition_penalty=1.0, │ │
│ │ │ │ length_penalty=1.0, │ │
│ │ │ │ no_repeat_ngram_size=0, │ │
│ │ │ │ bad_words_ids=None, │ │
│ │ │ │ force_words_ids=None, │ │
│ │ │ │ renormalize_logits=False │ │
│ │ │ ), │ │
│ │ │ qa=QaConfig( │ │
│ │ │ │ llm_metrics=[ │ │
│ │ │ │ │ 'dot_product', │ │
│ │ │ │ │ 'rouge_score', │ │
│ │ │ │ │ 'word_overlap', │ │
│ │ │ │ │ 'verb_percent', │ │
│ │ │ │ │ 'adjective_percent', │ │
│ │ │ │ │ 'noun_percent', │ │
│ │ │ │ │ 'summary_length' │ │
│ │ │ │ ] │ │
│ │ │ ) │ │
│ │ ) │ │
│ │ config_path = './config.yml' │ │
│ │ configs = [ │ │
│ │ │ { │ │
│ │ │ │ 'save_dir': './experiment/', │ │
│ │ │ │ 'ablation': {'use_ablate': False}, │ │
│ │ │ │ 'data': { │ │
│ │ │ │ │ 'file_type': 'csv', │ │
│ │ │ │ │ 'path': │ │
│ │ 'C:\Users\Administrator\Pictures\lll_tk\jag_full_ss.… │ │
│ │ │ │ │ 'prompt': 'Below is an instruction that │ │
│ │ describes a task. Write a response that appropriat'+89, │ │
│ │ │ │ │ 'prompt_stub': '{output}', │ │
│ │ │ │ │ 'test_size': 25, │ │
│ │ │ │ │ 'train_size': 500, │ │
│ │ │ │ │ 'train_test_split_seed': 42 │ │
│ │ │ │ }, │ │
│ │ │ │ 'model': { │ │
│ │ │ │ │ 'hf_model_ckpt': 'facebook/opt-125m', │ │
│ │ │ │ │ 'torch_dtype': 'bfloat16', │ │
│ │ │ │ │ 'quantize': True, │ │
│ │ │ │ │ 'bitsandbytes': { │ │
│ │ │ │ │ │ 'load_in_4bit': True, │ │
│ │ │ │ │ │ 'bnb_4bit_compute_dtype': 'bfloat16', │ │
│ │ │ │ │ │ 'bnb_4bit_quant_type': 'nf4' │ │
│ │ │ │ │ } │ │
│ │ │ │ }, │ │
│ │ │ │ 'lora': { │ │
│ │ │ │ │ 'task_type': 'CAUSAL_LM', │ │
│ │ │ │ │ 'r': 32, │ │
│ │ │ │ │ 'lora_alpha': 64, │ │
│ │ │ │ │ 'lora_dropout': 0.1, │ │
│ │ │ │ │ 'target_modules': 'all-linear' │ │
│ │ │ │ }, │ │
│ │ │ │ 'training': { │ │
│ │ │ │ │ 'training_args': { │ │
│ │ │ │ │ │ 'num_train_epochs': 1, │ │
│ │ │ │ │ │ 'per_device_train_batch_size': 4, │ │
│ │ │ │ │ │ 'gradient_accumulation_steps': 4, │ │
│ │ │ │ │ │ 'gradient_checkpointing': True, │ │
│ │ │ │ │ │ 'optim': 'paged_adamw_32bit', │ │
│ │ │ │ │ │ 'logging_steps': 1, │ │
│ │ │ │ │ │ 'learning_rate': 0.0002, │ │
│ │ │ │ │ │ 'bf16': True, │ │
│ │ │ │ │ │ 'tf32': True, │ │
│ │ │ │ │ │ 'max_grad_norm': 0.3, │ │
│ │ │ │ │ │ ... +2 │ │
│ │ │ │ │ }, │ │
│ │ │ │ │ 'sft_args': {'max_seq_length': 1024} │ │
│ │ │ │ }, │ │
│ │ │ │ 'inference': { │ │
│ │ │ │ │ 'max_new_tokens': 256, │ │
│ │ │ │ │ 'use_cache': True, │ │
│ │ │ │ │ 'do_sample': True, │ │
│ │ │ │ │ 'top_p': 0.9, │ │
│ │ │ │ │ 'temperature': 0.8 │ │
│ │ │ │ }, │ │
│ │ │ │ 'qa': { │ │
│ │ │ │ │ 'llm_metrics': [ │ │
│ │ │ │ │ │ 'dot_product', │ │
│ │ │ │ │ │ 'rouge_score', │ │
│ │ │ │ │ │ 'word_overlap', │ │
│ │ │ │ │ │ 'verb_percent', │ │
│ │ │ │ │ │ 'adjective_percent', │ │
│ │ │ │ │ │ 'noun_percent', │ │
│ │ │ │ │ │ 'summary_length' │ │
│ │ │ │ │ ] │ │
│ │ │ │ } │ │
│ │ │ } │ │
│ │ ] │ │
│ │ dir_helper = <llmtune.utils.save_utils.DirectoryHelper object at │ │
│ │ 0x00000266E7F23190> │ │
│ │ file = <_io.TextIOWrapper │ │
│ │ name='experiment\zYTcZ\config\config.yml' mode='r' │ │
│ │ encoding='cp1252'> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\llmtune\cli\toolki │
│ t.py:47 in run_one_experiment │
│ │
│ 44 │ RichUI.before_dataset_creation() │
│ 45 │ │
│ 46 │ with RichUI.during_dataset_creation("Injecting Values into Prompt" │
│ ❱ 47 │ │ dataset_generator = DatasetGenerator(**config.data.model_dump( │
│ 48 │ │
│ 49 │ _ = dataset_generator.train_columns │
│ 50 │ test_column = dataset_generator.test_column │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ config = Config( │ │
│ │ │ save_dir='./experiment/', │ │
│ │ │ ablation=AblationConfig( │ │
│ │ │ │ use_ablate=False, │ │
│ │ │ │ study_name='ablation' │ │
│ │ │ ), │ │
│ │ │ data=DataConfig( │ │
│ │ │ │ file_type='csv', │ │
│ │ │ │ │ │
│ │ path='C:\Users\Administrator\Pictures\lll_tk\jag_ful… │ │
│ │ │ │ prompt='Below is an instruction that describes a │ │
│ │ task. Write a response that appropriat'+89, │ │
│ │ │ │ prompt_stub='{output}', │ │
│ │ │ │ train_size=500, │ │
│ │ │ │ test_size=25, │ │
│ │ │ │ train_test_split_seed=42 │ │
│ │ │ ), │ │
│ │ │ model=ModelConfig( │ │
│ │ │ │ hf_model_ckpt='facebook/opt-125m', │ │
│ │ │ │ device_map='auto', │ │
│ │ │ │ torch_dtype='bfloat16', │ │
│ │ │ │ attn_implementation=None, │ │
│ │ │ │ quantize=True, │ │
│ │ │ │ bitsandbytes=BitsAndBytesConfig( │ │
│ │ │ │ │ load_in_8bit=False, │ │
│ │ │ │ │ llm_int8_threshold=6.0, │ │
│ │ │ │ │ llm_int8_skip_modules=None, │ │
│ │ │ │ │ llm_int8_enable_fp32_cpu_offload=False, │ │
│ │ │ │ │ llm_int8_has_fp16_weight=False, │ │
│ │ │ │ │ load_in_4bit=True, │ │
│ │ │ │ │ bnb_4bit_compute_dtype='bfloat16', │ │
│ │ │ │ │ bnb_4bit_quant_type='nf4', │ │
│ │ │ │ │ bnb_4bit_use_double_quant=True │ │
│ │ │ │ ) │ │
│ │ │ ), │ │
│ │ │ lora=LoraConfig( │ │
│ │ │ │ r=32, │ │
│ │ │ │ task_type='CAUSAL_LM', │ │
│ │ │ │ lora_alpha=64, │ │
│ │ │ │ bias='none', │ │
│ │ │ │ lora_dropout=0.1, │ │
│ │ │ │ target_modules='all-linear', │ │
│ │ │ │ fan_in_fan_out=False, │ │
│ │ │ │ modules_to_save=None, │ │
│ │ │ │ layers_to_transform=None, │ │
│ │ │ │ layers_pattern=None │ │
│ │ │ ), │ │
│ │ │ training=TrainingConfig( │ │
│ │ │ │ training_args=TrainingArgs( │ │
│ │ │ │ │ num_train_epochs=1, │ │
│ │ │ │ │ per_device_train_batch_size=4, │ │
│ │ │ │ │ gradient_accumulation_steps=4, │ │
│ │ │ │ │ gradient_checkpointing=True, │ │
│ │ │ │ │ optim='paged_adamw_32bit', │ │
│ │ │ │ │ logging_steps=1, │ │
│ │ │ │ │ learning_rate=0.0002, │ │
│ │ │ │ │ bf16=True, │ │
│ │ │ │ │ tf32=True, │ │
│ │ │ │ │ fp16=False, │ │
│ │ │ │ │ max_grad_norm=0.3, │ │
│ │ │ │ │ warmup_ratio=0.03, │ │
│ │ │ │ │ lr_scheduler_type='constant', │ │
│ │ │ │ │ save_steps=500 │ │
│ │ │ │ ), │ │
│ │ │ │ sft_args=SftArgs( │ │
│ │ │ │ │ max_seq_length=1024, │ │
│ │ │ │ │ neftune_noise_alpha=None │ │
│ │ │ │ ) │ │
│ │ │ ), │ │
│ │ │ inference=InferenceConfig( │ │
│ │ │ │ max_length=None, │ │
│ │ │ │ max_new_tokens=256, │ │
│ │ │ │ min_length=0, │ │
│ │ │ │ min_new_tokens=None, │ │
│ │ │ │ early_stopping=False, │ │
│ │ │ │ max_time=None, │ │
�� │ │ │ do_sample=True, │ │
│ │ │ │ num_beams=1, │ │
│ │ │ │ num_beam_groups=1, │ │
│ │ │ │ penalty_alpha=None, │ │
│ │ │ │ use_cache=True, │ │
│ │ │ │ temperature=0.8, │ │
│ │ │ │ top_k=50, │ │
│ │ │ │ top_p=0.9, │ │
│ │ │ │ typical_p=1.0, │ │
│ │ │ │ epsilon_cutoff=0.0, │ │
│ │ │ │ eta_cutoff=0.0, │ │
│ │ │ │ diversity_penalty=0.0, │ │
│ │ │ │ repetition_penalty=1.0, │ │
│ │ │ │ encoder_repetition_penalty=1.0, │ │
│ │ │ │ length_penalty=1.0, │ │
│ │ │ │ no_repeat_ngram_size=0, │ │
│ │ │ │ bad_words_ids=None, │ │
│ │ │ │ force_words_ids=None, │ │
│ │ │ │ renormalize_logits=False │ │
│ │ │ ), │ │
│ │ │ qa=QaConfig( │ │
│ │ │ │ llm_metrics=[ │ │
│ │ │ │ │ 'dot_product', │ │
│ │ │ │ │ 'rouge_score', │ │
│ │ │ │ │ 'word_overlap', │ │
│ │ │ │ │ 'verb_percent', │ │
│ │ │ │ │ 'adjective_percent', │ │
│ │ │ │ │ 'noun_percent', │ │
│ │ │ │ │ 'summary_length' │ │
│ │ │ │ ] │ │
│ │ │ ) │ │
│ │ ) │ │
│ │ config_path = './config.yml' │ │
│ │ dir_helper = <llmtune.utils.save_utils.DirectoryHelper object at │ │
│ │ 0x00000266E7A75C90> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\llmtune\data\datas │
│ et_generator.py:27 in init │
│ │
│ 24 │ │ self.ingestor: Ingestor = get_ingestor(file_type) │
│ 25 │ │ self.ingestor: Ingestor = self.ingestor(path) │
│ 26 │ │ │
│ ❱ 27 │ │ self.dataset: Dataset = self.ingestor.to_dataset() │
│ 28 │ │ self.prompt: str = prompt │
│ 29 │ │ self.prompt_stub: str = prompt_stub │
│ 30 │ │ self.test_size = test_size │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ file_type = 'csv' │ │
│ │ path = 'C:\Users\Administrator\Pictures\lll_tk\ja… │ │
│ │ prompt = 'Below is an instruction that describes a task. │ │
│ │ Write a response that appropriat'+89 │ │
│ │ prompt_stub = '{output}' │ │
│ │ self = <llmtune.data.dataset_generator.DatasetGenerator │ │
│ │ object at 0x00000266E7F54050> │ │
│ │ test_size = 25 │ │
│ │ train_size = 500 │ │
│ │ train_test_split_seed = 42 │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\llmtune\data\inges │
│ tor.py:67 in to_dataset │
│ │
│ 64 │ │ │ │ yield row │
│ 65 │ │
│ 66 │ def to_dataset(self) -> Dataset: │
│ ❱ 67 │ │ return Dataset.from_generator(self._csv_generator) │
│ 68 │
│ 69 │
│ 70 class HuggingfaceIngestor(Ingestor): │
│ │
�� ╭──────────────────────────────── locals ─────────────────────────────────╮ │
│ │ self = <llmtune.data.ingestor.CsvIngestor object at 0x00000266E7F23E90> │ │
│ ╰─────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\arrow_dat │
│ aset.py:1125 in from_generator │
│ │
│ 1122 │ │ │ gen_kwargs=gen_kwargs, │
│ 1123 │ │ │ num_proc=num_proc, │
│ 1124 │ │ │ **kwargs, │
│ ❱ 1125 │ │ ).read() │
│ 1126 │ │
│ 1127 │ @staticmethod │
│ 1128 │ def from_json( │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ cache_dir = None │ │
│ │ features = None │ │
│ │ gen_kwargs = None │ │
│ │ generator = <bound method CsvIngestor._csv_generator │ │
│ │ of <llmtune.data.ingestor.CsvIngestor │ │
│ │ object at 0x00000266E7F23E90>> │ │
│ │ GeneratorDatasetInputStream = <class │ │
│ │ 'datasets.io.generator.GeneratorDatasetIn… │ │
│ │ keep_in_memory = False │ │
│ │ kwargs = {} │ │
│ │ num_proc = None │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\io\genera │
│ tor.py:47 in read │
│ │
│ 44 │ │ │ verification_mode = None │
│ 45 │ │ │ base_path = None │
│ 46 │ │ │ │
│ ❱ 47 │ │ │ self.builder.download_and_prepare( │
│ 48 │ │ │ │ download_config=download_config, │
│ 49 │ │ │ │ download_mode=download_mode, │
│ 50 │ │ │ │ verification_mode=verification_mode, │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ base_path = None │ │
│ │ download_config = None │ │
│ │ download_mode = None │ │
│ │ self = <datasets.io.generator.GeneratorDatasetInputStream │ │
│ │ object at 0x00000266E7F23B90> │ │
│ │ verification_mode = None │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\builder.p │
│ y:1027 in download_and_prepare │
│ │
│ 1024 │ │ │ │ │ │ │ prepare_split_kwargs["max_shard_size"] = │
│ 1025 │ │ │ │ │ │ if num_proc is not None: │
│ 1026 │ │ │ │ │ │ │ prepare_split_kwargs["num_proc"] = num_pr │
│ ❱ 1027 │ │ │ │ │ │ self._download_and_prepare( │
│ 1028 │ │ │ │ │ │ │ dl_manager=dl_manager, │
│ 1029 │ │ │ │ │ │ │ verification_mode=verification_mode, │
│ 1030 │ │ │ │ │ │ │ **prepare_split_kwargs, │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ _dest = 'C:/Users/Administrator/.cache/huggingfac… │ │
│ │ base_path = None │ │
│ │ data_exists = False │ │
│ │ dl_manager = <datasets.download.download_manager.Downl… │ │
│ │ object at 0x00000266E8006650> │ │
│ │ download_and_prepare_kwargs = {} │ │
│ │ download_config = DownloadConfig( │ │
│ │ │ │ │
│ │ cache_dir='C:\Users\Administrator\.cac… │ │
│ │ │ force_download=False, │ │
│ │ │ resume_download=False, │ │
│ │ │ local_files_only=False, │ │
│ │ │ proxies=None, │ │
│ │ │ user_agent=None, │ │
│ │ │ extract_compressed_file=False, │ │
│ │ │ force_extract=False, │ │
│ │ │ delete_extracted=False, │ │
│ │ │ extract_on_the_fly=False, │ │
│ │ │ use_etag=False, │ │
│ │ │ num_proc=None, │ │
│ │ │ max_retries=1, │ │
│ │ │ token=None, │ │
│ │ │ ignore_url_params=False, │ │
│ │ │ storage_options={ │ │
│ │ │ │ 'hf': { │ │
│ │ │ │ │ 'token': None, │ │
│ │ │ │ │ 'endpoint': │ │
│ │ 'https://huggingface.co' │ │
│ │ │ │ } │ │
│ │ │ }, │ │
│ │ │ download_desc=None, │ │
│ │ │ disable_tqdm=False │ │
│ │ ) │ │
│ │ download_mode = <DownloadMode.REUSE_DATASET_IF_EXISTS: │ │
│ │ 'reuse_dataset_if_exists'> │ │
│ │ downloaded_from_gcs = False │ │
│ │ file_format = 'arrow' │ │
│ │ fs = <fsspec.implementations.local.LocalFileSy… │ │
│ │ object at 0x00000266E7887D50> │ │
│ │ ignore_verifications = 'deprecated' │ │
│ │ incomplete_dir = <function │ │
│ │ DatasetBuilder.download_and_prepare.<loca… │ │
│ │ at 0x00000266E7FFE3E0> │ │
│ │ is_local = True │ │
│ │ lock_path = 'C:/Users/Administrator/.cache/huggingfac… │ │
│ │ max_shard_size = None │ │
│ │ num_proc = None │ │
│ │ output_dir = 'C:/Users/Administrator/.cache/huggingfac�� │ │
│ │ prepare_split_kwargs = {'file_format': 'arrow'} │ │
│ │ self = <datasets.packaged_modules.generator.gene… │ │
│ │ object at 0x00000266E7F23AD0> │ │
│ │ storage_options = None │ │
│ │ tmp_output_dir = 'C:/Users/Administrator/.cache/huggingfac… │ │
│ │ token = None │ │
│ │ try_from_hf_gcs = False │ │
│ │ use_auth_token = 'deprecated' │ │
│ │ verification_mode = <VerificationMode.BASIC_CHECKS: │ │
│ │ 'basic_checks'> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\builder.p │
│ y:1789 in _download_and_prepare │
│ │
│ 1786 │ │ yield job_id, True, (total_num_examples, total_num_bytes, wri │
│ 1787 │ │
│ 1788 │ def _download_and_prepare(self, dl_manager, verification_mode, ** │
│ ❱ 1789 │ │ super()._download_and_prepare( │
│ 1790 │ │ │ dl_manager, │
│ 1791 │ │ │ verification_mode, │
│ 1792 │ │ │ check_duplicate_keys=verification_mode == VerificationMod │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ dl_manager = <datasets.download.download_manager.DownloadMan… │ │
│ │ object at 0x00000266E8006650> │ │
│ │ prepare_splits_kwargs = {'file_format': 'arrow'} │ │
│ │ self = <datasets.packaged_modules.generator.generator.… │ │
│ │ object at 0x00000266E7F23AD0> │ │
│ │ verification_mode = <VerificationMode.BASIC_CHECKS: 'basic_checks'> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\builder.p │
│ y:1122 in _download_and_prepare │
│ │
│ 1119 │ │ │ │
│ 1120 │ │ │ try: │
│ 1121 │ │ │ │ # Prepare split will record examples associated to th │
│ ❱ 1122 │ │ │ │ self.prepare_split(split_generator, **prepare_split │
│ 1123 │ │ │ except OSError as e: │
│ 1124 │ │ │ │ raise OSError( │
│ 1125 │ │ │ │ │ "Cannot find data file. " │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ dl_manager = <datasets.download.download_manager.DownloadM… │ │
│ │ object at 0x00000266E8006650> │ │
│ │ prepare_split_kwargs = { │ │
│ │ │ 'check_duplicate_keys': True, │ │
│ │ │ 'file_format': 'arrow' │ │
│ │ } │ │
│ │ self = <datasets.packaged_modules.generator.generato… │ │
│ │ object at 0x00000266E7F23AD0> │ │
│ │ split_dict = { │ │
│ │ │ 'train': SplitInfo( │ │
│ │ │ │ name='train', │ │
│ │ │ │ num_bytes=0, │ │
│ │ │ │ num_examples=0, │ │
│ │ │ │ shard_lengths=None, │ │
│ │ │ │ dataset_name='generator' │ │
│ │ │ ) │ │
│ │ } │ │
│ │ split_generator = SplitGenerator( │ │
│ │ │ name='train', │ │
│ │ │ gen_kwargs={}, │ │
│ │ │ split_info=SplitInfo( │ │
│ │ │ │ name='train', │ │
│ │ │ │ num_bytes=0, │ │
│ │ │ │ num_examples=0, │ │
│ │ │ │ shard_lengths=None, │ │
│ │ │ │ dataset_name='generator' │ │
│ │ │ ) │ │
│ │ ) │ │
│ │ split_generators = [ │ │
│ │ │ SplitGenerator( │ │
│ │ │ │ name='train', │ │
│ │ │ │ gen_kwargs={}, │ │
│ │ │ │ split_info=SplitInfo( │ │
│ │ │ │ │ name='train', │ │
│ │ │ │ │ num_bytes=0, │ │
│ │ │ │ │ num_examples=0, │ │
│ │ │ │ │ shard_lengths=None, │ │
│ │ │ │ │ dataset_name='generator' │ │
│ │ │ │ ) │ │
│ │ │ ) │ │
│ │ ] │ │
│ │ split_generators_kwargs = {} │ │
│ │ verification_mode = <VerificationMode.BASIC_CHECKS: │ │
│ │ 'basic_checks'> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\builder.p │
│ y:1627 in _prepare_split │
│ │
│ 1624 │ │ │ gen_kwargs = split_generator.gen_kwargs │
│ 1625 │ │ │ job_id = 0 │
│ 1626 │ │ │ with pbar: │
│ ❱ 1627 │ │ │ │ for job_id, done, content in self._prepare_split_sing │
│ 1628 │ │ │ │ │ gen_kwargs=gen_kwargs, job_id=job_id, **prepare │
│ 1629 │ │ │ │ ): │
│ 1630 │ │ │ │ │ if done: │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ _prepare_split_args = { │ │
│ │ │ 'fpath': │ │
│ │ 'C:/Users/Administrator/.cache/huggingface/datas… │ │
│ │ │ 'file_format': 'arrow', │ ���
│ │ │ 'max_shard_size': 500000000, │ │
│ │ │ 'split_info': SplitInfo( │ │
│ │ │ │ name='train', │ │
│ │ │ │ num_bytes=0, │ │
│ │ │ │ num_examples=0, │ │
│ │ │ │ shard_lengths=None, │ │
│ │ │ │ dataset_name='generator' │ │
│ │ │ ), │ │
│ │ │ 'check_duplicate_keys': True │ │
│ │ } │ │
│ │ check_duplicate_keys = True │ │
│ │ content = 0 │ │
│ │ done = False │ │
│ │ file_format = 'arrow' │ │
│ │ fname = 'generator-train-JJJJJ-SSSSS-of-NNNNN.arrow' │ │
│ │ fpath = 'C:/Users/Administrator/.cache/huggingface/datas… │ │
│ │ gen_kwargs = {} │ │
│ │ job_id = 0 │ │
│ │ max_shard_size = 500000000 │ │
│ │ num_proc = None │ │
│ │ pbar = <datasets.utils.tqdm.tqdm object at │ │
│ │ 0x00000266E8006190> │ │
│ │ result = None │ │
│ │ self = <datasets.packaged_modules.generator.generator.G… │ │
│ │ object at 0x00000266E7F23AD0> │ │
│ │ split_generator = SplitGenerator( │ │
│ │ │ name='train', │ │
│ │ │ gen_kwargs={}, │ │
│ │ │ split_info=SplitInfo( │ │
│ │ │ │ name='train', │ │
│ │ │ │ num_bytes=0, │ │
│ │ │ │ num_examples=0, │ │
│ │ │ │ shard_lengths=None, │ │
│ │ │ │ dataset_name='generator' │ │
│ │ │ ) │ │
│ │ ) │ │
│ │ split_info = SplitInfo( │ │
│ │ │ name='train', │ │
│ │ │ num_bytes=0, │ │
│ │ │ num_examples=0, │ │
│ │ │ shard_lengths=None, │ │
│ │ │ dataset_name='generator' │ │
│ │ ) │ │
│ │ SUFFIX = '-JJJJJ-SSSSS-of-NNNNN' │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│ │
│ C:\ProgramData\anaconda3\envs\llm-ntkit\Lib\site-packages\datasets\builder.p │
│ y:1784 in _prepare_split_single │
│ │
│ 1781 │ │ │ # Ignore the writer's error for no examples written to th │
│ 1782 │ │ │ if isinstance(e, SchemaInferenceError) and e.context │
│ 1783 │ │ │ │ e = e.context │
│ ❱ 1784 │ │ │ raise DatasetGenerationError("An error occurred while gen │
│ 1785 │ │ │
│ 1786 │ │ yield job_id, True, (total_num_examples, total_num_bytes, wri │
│ 1787 │
│ │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ _time = 1723796203.1039772 │ │
│ │ check_duplicate_keys = True │ │
│ │ embed_local_files = False │ │
│ │ file_format = 'arrow' │ │
│ │ fpath = 'C:/Users/Administrator/.cache/huggingfa… │ │
│ │ gen_kwargs = {} │ │
│ │ generator = <generator object │ │
│ │ Generator._generate_examples at │ │
│ │ 0x00000266E8020440> │ │
│ │ job_id = 0 │ │
│ │ max_shard_size = 500000000 │ │
│ │ num_examples_progress_update = 0 │ │
│ │ num_shards = 1 │ │
│ │ self = <datasets.packaged_modules.generator.gen… │ │
│ │ object at 0x00000266E7F23AD0> │ │
│ │ shard_id = 0 │ │
│ │ shard_lengths = [] │ │
│ │ split_info = SplitInfo( │ │
│ │ │ name='train', │ │
│ │ │ num_bytes=0, │ │
│ │ │ num_examples=0, │ │
│ │ │ shard_lengths=None, │ │
│ │ │ dataset_name='generator' │ │
│ │ ) │ │
│ │ total_num_bytes = 0 │ │
│ │ total_num_examples = 0 │ │
│ │ writer = <datasets.arrow_writer.ArrowWriter object │ │
│ │ at 0x00000266E8004510> │ │
│ │ writer_class = <class │ │
│ │ 'datasets.arrow_writer.ArrowWriter'> │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
╰──────────────────────────────────────────────────────────────────────────────╯
DatasetGenerationError: An error occurred while generating the dataset
PS C:\Users\Administrator\Pictures\lll_tk>