Exportando grandes massas de dados de uma Collection MongoDB usando o script

 

 

 

Neste post, vamos aprender como usar javascript como MongoDB shell script para exportar (campos de) uma coleção.

Geralmente, para exportar dados de uma coleção MongoDB, usamos o seguinte comando -

mongoexport -vvvv --host 127.0.0.1 --db my-db --username='usr' --password='pwd' --collection profiles --csv --out /home/data/usernames.csv -f 'username'

Definitivamente eu prefiro a forma acima mencionada. Mas vamos considerar que você tem milhões ou bilhões de registros em uma coleção MongoDB. E você deseja exportar todos estes.
Provavelmente, dependendo da configuração dos seus servidores ou até mesmo de seu desktop, este processo poderá levar horas ou até mesmo travar. Foi então que a uma solução alternativa para contornar esta situação veio a tona: Criar um script que irá criar vários blocos de dados ao exportar.

var size = 1000000;
var maxCount = 1;
for (x=0;x<maxCount;x=x+1)
{
 var recToSkip = x*size;
 db.profiles.find().skip(recToSkip).limit(size).forEach( function(record){
 var username = record.username;
 print(record.username);
 })
}

E claro para executar o script (se acima javascript está em arquivo chamado - 'usernames.js')

isso só vai travar. Bem, eu não sei o que acontece no seu computador, mas na minha máquina foi apenas preso por horas e, em seguida, I terminou o processo. E veio com solução scripting - onde eu criei vários arquivos (blocos) dos dados exportados.

mongo 127.0.0.1/my-db --username='username' --password='pwd'export-usernames.js > output.txt

O comando shell acima irá prestar toda a saída (de exportação-usernames.js) para o arquivo output.txt. Calma, eu tenho plena consciência de que se trata de um único arquivo onde você receberá todos os dados exportados. Mas se você quiser dividir isso , basta escrever seu script para que faça o wrapper ou executar várias vezes. Isto é com você.

Read More

MongoDB Import And Export

Neste post, vamos ver como fazer e restaurar backups utilizando os comandos mongoexport e mongoimport

1. Efetuando um Backup com o mongoexport

A seguir um exemplo simples de como realizar um Backup de seu banco de dados utilizando o comando mongoexport

Antes vamos rever algumas opções :

$ mongoexport
Export MongoDB data to CSV, TSV or JSON files.
 
options:
  -h [ --host ] arg         mongo host to connect to ( <set name>/s1,s2 for 
  -u [ --username ] arg     username
  -p [ --password ] arg     password
  -d [ --db ] arg           database to use
  -c [ --collection ] arg   collection to use (some commands)
  -q [ --query ] arg        query filter, as a JSON string
  -o [ --out ] arg          output file; if not specified, stdout is used

Read More

Exportando resultados de Agrupamentos de dados para CSV ou JSON

Muitas vezes, temos que exportar os resultados de agrupamento em formato CSV ou JSON. Para resolvê-lo, basta inserir os resultados do grupo em uma nova coleção e exportar a nova coleção via mongoexport.

Abaixo um exemplo de como podemos fazer :

1. Defina os resultados do grupo em uma variável. Neste caso, o nome da variável é "groupdata".

> var groupdata = db.website.aggregate(
    { 
	$group : {_id : "$hosting", total : { $sum : 1 }}
    },
    {
	$sort : {total : -1}
    }
  );

2. Inserts "groupdata.result" em uma nova coleção.

> db.websitegroup.insert(groupdata.result);
 
> db.websitegroup.find().pretty()
{ "_id" : "aws.amazon.com", "total" : 4 }
{ "_id" : "hostgator.com", "total" : 3 }
{ "_id" : "cloud.google.com", "total" : 2 }
{ "_id" : "godaddy.com", "total" : 1 }
>

3. Exportando a Collection "websitegroup" para um arquivo CSV.

c:\> mongoexport -d testdb -c websitegroup -f _id,total -o group.csv --csv
connected to: 127.0.0.1
exported 4 records

group.csv

_id,total
"aws.amazon.com",4.0
"cloud.google.com",2.0
"godaddy.com",1.0
"hostgator.com",3.0

4.Exportando a Collection "websitegroup" para um arquivo JSON.

c:\> mongoexport -d testdb -c websitegroup -o group.json
connected to: 127.0.0.1
exported 4 records

group.json

{ "_id" : "aws.amazon.com", "total" : 4 }
{ "_id" : "cloud.google.com", "total" : 2 }
{ "_id" : "godaddy.com", "total" : 1 }
{ "_id" : "hostgator.com", "total" : 3 }

Feito!!!

Read More