Webvampiro

• Exportador que lea un hilo (o tal vez un subforo entero, o una categoría) del foro antiguo y guarde todos los mensajes con sus respectivos usuarios en un archivo.
• Importador que lea ese archivo y cree los mismos mensajes en el nuevo foro.

• En vez de imprimir por pantalla, guardar los datos en un archivo formato JSON.
• Leer no sólo esa página, sino también las subsiguientes para guardar todo el hilo entero.

Casemir escribió: ↑17 Jul 2019, 09:36 Ya lo he comentado varias veces, pero usaré este tema para hablar del estado de esto.

Mi idea es suplir la carencia de funcionalidad de exportación de los foros de mi@ con unos programas que se encarguen de esta exportación e importación. Estos programas son dos, uno por cada una de estas operaciones.

• Exportador que lea un hilo (o tal vez un subforo entero, o una categoría) del foro antiguo y guarde todos los mensajes con sus respectivos usuarios en un archivo.
• Importador que lea ese archivo y cree los mismos mensajes en el nuevo foro.

Por ahora sólo he empezado con el exportador. El estado actual es un programa que lee una página del foro antiguo e imprime en pantalla el contenido del mensaje y el nombre del usuario que lo escribió. El mayor esfuerzo de esta parte ha sido desfrizar el código de mi@ para poder extraer los mensajes y los nombres de usuario.

Próximos pasos:

• En vez de imprimir por pantalla, guardar los datos en un archivo formato JSON.
• Leer no sólo esa página, sino también las subsiguientes para guardar todo el hilo entero.

#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
from html2bbcode.parser import HTML2BBCode
import urllib2
import ssl
from bs4 import BeautifulSoup
import codecs
ssl._create_default_https_context = ssl._create_unverified_context

paginahilo = []

hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}
parser = HTML2BBCode()

#Primero recuperamos la pagina del hilo
hilo = 'https://webvampiro.mforos.com/464527/11512289-taller-de-magia/'
paginas = 1

for i in range(1,paginas+1):
    pagina = '%s?pag=%d' % (hilo,i)
    req = urllib2.Request(pagina, headers=hdr)
    page = urllib2.urlopen(req).read()
    soup = BeautifulSoup(page.decode('utf-8', 'ignore'), 'html.parser')
    mensajes = soup.find('table',id='ForoMensajes')
    for mensaje in soup.select('tr[class*="tabla_texto"]'):
        autor = mensaje.find('span',{'itemprop':'name'})
        if autor:
            nick = str(autor.contents[0])
            texto = mensaje.find("div", id=lambda value: value and value.startswith("e_msg_"))
            
            for cita in texto.findAll("div", {"class": "cite"}):
                cita.decompose()
            for cita in texto.findAll("div", {"class": "mia_cite"}):
                cita.decompose()
                
            texto = str(texto)
            print texto
                
            inicio = texto.find('google_ad_section_start -->') + 27
            fin = texto.find('<!-- google_ad_section_end')
            textofinal = texto[inicio:fin]
            textofinal = textofinal.replace('data-src=','src=')
            bbcode = parser.feed(textofinal)
            mensajefinal = '[quote=%s]%s[/quote]' % (nick,bbcode)
            paginahilo.append(mensajefinal)

with open('paginahilo.txt','w') as file:
    for mensaje in paginahilo:
        file.write(mensaje)
       

Lothar escribió: ↑17 Jul 2019, 10:47 ¿Y esto de la importación a lo bruto cómo deja el tema de los usuarios?

¿Cómo vais a gestionar los autores de los comentarios que no estén dados de alta como usuario en la base de datos de este foro?

Sebastian_Leroux escribió: ↑17 Jul 2019, 13:46

- ¿importan/importarán imágenes? ¿tanto las enlazadas desde url como las cargadas desde el PC (que eran las dos formas que te permitía subir fotos mi@?
- ¿importan/importarán formato de texto (tipo de letra, colores, párrafos, estilo)?
- ¿importan/importarán videos incrustados?

Casemir escribió: ↑17 Jul 2019, 13:52 No creo que pasar los mensajes sea problemático de cara a la GDPR, puesto que no hay información personal, al menos ninguna que pueda ser procesada como tal.