[ssupkowski]

#programujzwykopem #mongodb #nosql

Pytanie takie: czy istnieje możliwość w mongodb ściąganie plików .txt lub .csv ze stron internetowych i dodanie ich bezpośrednio do kolekcji?

Przykład: książki z Project Gutenberg
https://www.gutenberg.org/ebooks/2638
https://www.gutenberg.org/ebooks/1720

Czy też nie jest to możliwe i raczej trzeba ręcznie ściągać?

[macrusher]

@ssupkowski w samym mongo bezpośrednio nie, ale możesz sobie napisać prosty skrypt np. w node.js który pobierze co chcesz i wstawi do bazy.

[ssupkowski]

@macrusher: Dzięki za pomysł. Myślę, że ogarnę wget'a
Natomiast pozostaje jeszcze jeden problem: oczyszczenie plików.
Jakiś pomysł czym i jak to zrobić?

Przed oczyszczeniem
https://zapodaj.net/f7087a4bbd4d4.jpg.html

Po oczyszczeniu
https://zapodaj.net/e807de50b1387.jpg.html

[macrusher]

@ssupkowski w sensie chcesz mieć w mongo osobne dokumenty na paragrafy czy jak to widzisz? jak chcesz to wszystko robić w bashu (pewnie dlatego wget?) to nada się sed albo awk, ale powodzenia w pisaniu reguł na to ;)
Chyba że wszystkie książki mają taką samą strukturę.

[ssupkowski]

@macrusher: wyglad przykladowego dokumentu

{
 "n": 8, // akapit #8
 "title": "The Man Who Knew Too Much", // z tej książki
 "author": "Chesterton, Gilbert K", // tego autora
 "p": "\"A scientific interest, I suppose?\" observed March."
}

Czy mają taką samą strukturę to nie spr jeszcze.