Exportando grandes massas de dados de uma Collection MongoDB usando o script

 

 

 

Neste post, vamos aprender como usar javascript como MongoDB shell script para exportar (campos de) uma coleção.

Geralmente, para exportar dados de uma coleção MongoDB, usamos o seguinte comando -

mongoexport -vvvv --host 127.0.0.1 --db my-db --username='usr' --password='pwd' --collection profiles --csv --out /home/data/usernames.csv -f 'username'

Definitivamente eu prefiro a forma acima mencionada. Mas vamos considerar que você tem milhões ou bilhões de registros em uma coleção MongoDB. E você deseja exportar todos estes.
Provavelmente, dependendo da configuração dos seus servidores ou até mesmo de seu desktop, este processo poderá levar horas ou até mesmo travar. Foi então que a uma solução alternativa para contornar esta situação veio a tona: Criar um script que irá criar vários blocos de dados ao exportar.

var size = 1000000;
var maxCount = 1;
for (x=0;x<maxCount;x=x+1)
{
 var recToSkip = x*size;
 db.profiles.find().skip(recToSkip).limit(size).forEach( function(record){
 var username = record.username;
 print(record.username);
 })
}

E claro para executar o script (se acima javascript está em arquivo chamado - 'usernames.js')

isso só vai travar. Bem, eu não sei o que acontece no seu computador, mas na minha máquina foi apenas preso por horas e, em seguida, I terminou o processo. E veio com solução scripting - onde eu criei vários arquivos (blocos) dos dados exportados.

mongo 127.0.0.1/my-db --username='username' --password='pwd'export-usernames.js > output.txt

O comando shell acima irá prestar toda a saída (de exportação-usernames.js) para o arquivo output.txt. Calma, eu tenho plena consciência de que se trata de um único arquivo onde você receberá todos os dados exportados. Mas se você quiser dividir isso , basta escrever seu script para que faça o wrapper ou executar várias vezes. Isto é com você.

Read More

MongoDB Import And Export

Neste post, vamos ver como fazer e restaurar backups utilizando os comandos mongoexport e mongoimport

1. Efetuando um Backup com o mongoexport

A seguir um exemplo simples de como realizar um Backup de seu banco de dados utilizando o comando mongoexport

Antes vamos rever algumas opções :

$ mongoexport
Export MongoDB data to CSV, TSV or JSON files.
 
options:
  -h [ --host ] arg         mongo host to connect to ( <set name>/s1,s2 for 
  -u [ --username ] arg     username
  -p [ --password ] arg     password
  -d [ --db ] arg           database to use
  -c [ --collection ] arg   collection to use (some commands)
  -q [ --query ] arg        query filter, as a JSON string
  -o [ --out ] arg          output file; if not specified, stdout is used

Read More