███    ███ ███████ ████████  █████  ███████  ██████ ██████   █████  ██████  ███████ ██████  
████  ████ ██         ██    ██   ██ ██      ██      ██   ██ ██   ██ ██   ██ ██      ██   ██ 
██ ████ ██ █████      ██    ███████ ███████ ██      ██████  ███████ ██████  █████   ██████  
██  ██  ██ ██         ██    ██   ██      ██ ██      ██   ██ ██   ██ ██      ██      ██   ██ 
██      ██ ███████    ██    ██   ██ ███████  ██████ ██   ██ ██   ██ ██      ███████ ██   ██ 

MetaScraper é uma ferramenta em Python para busca, download e análise de arquivos públicos encontrados em sites. Ele usa lynx e wget para encontrar arquivos de tipos específicos (como PDF, DOCX, JPG etc.) e exiftool para extrair seus metadados.

---

⚙️ Funcionalidades

• Busca arquivos públicos usando Google Search (site:<domínio> filetype:<tipo>).
• Faz download de todos os arquivos encontrados com wget.
• Executa exiftool para extrair metadados dos arquivos.
• Salva os arquivos baixados em files_recon/ e os metadados em meta_recon/.

---

🧰 Requisitos

• Python 3.6+
• lynx
• wget
• exiftool
• Linux (recomendado)

Você pode instalar as dependências com:

sudo apt update
sudo apt install lynx wget libimage-exiftool-perl -y

---

🚀 Instalação

Clonando o Repositório

git clone https://github.com/pietrohoff/MetaScraper.git
cd MetaScraper

---

▶️ Executando

python3 main.py <domínio> <tipo>

Exemplos:

python3 main.py interquimica.com.br pdf
python3 main.py exemplo.com jpg

• Tipos disponíveis:
  • a: all.txt
  • m: medium.txt
  • s: small.txt
  • Ou diretamente pdf, jpg, docx etc.

Os arquivos serão salvos em:

• files_recon/ → arquivos baixados
• meta_recon/ → metadados extraídos com exiftool

---

📁 Estrutura do Projeto

/MetaScraper
├── main.py                  # Script principal
├── lynx_installer.py        # Verifica e instala o lynx
├── exiftool_installer.py    # Verifica e instala o exiftool
├── word_lists/
│   ├── all.txt
│   ├── medium.txt
│   └── small.txt
├── files_recon/             # Arquivos baixados (ignorado pelo Git)
├── meta_recon/              # Metadados extraídos (ignorado pelo Git)
└── .gitignore               # Define o que não será versionado

---

🧼 Limpando os diretórios (opcional)

Para apagar os resultados:

rm -rf files_recon/*
rm -rf meta_recon/*

Evite rodar o script como sudo, pois os arquivos ficarão com permissões de root.

---

🤝 Contribuição

1. Faça um fork do projeto
2. Crie uma branch:

   git checkout -b minha-feature

3. Commit:

   git commit -m "Adiciona nova feature"

4. Push:

   git push origin minha-feature

5. Abra um Pull Request

---

📄 Licença

Este projeto está sob a licença MIT. Consulte o arquivo LICENSE para mais informações.