6. Refactorizar

Nivel de dificultad:4 sobre 5

``Después de haber tocado una vasta cantidad de notas y más notas.
es la simplicidad la que emerge como la recompensa coronada del arte.''
--Frédéric Chopin

6.1 Inmersión

A pesar tus mejores esfuerzos para escribir un conjunto amplio de pruebas unitarias, tendrás errores (bugs). ¿Qué significa que haya un error? Que nos falta un caso de prueba por escribir.

»> import roman7 »> roman7.from_roman('') 0

Línea 2: Esto es un error. Una cadena vacía debería elevar la excepción InvalidRomanNumeralError, como cualquier otra secuencia de caracteres que no represente a un número romano válido.

Después de reproducir el error, y antes de arreglarlo, deberías escribir un caso de prueba que falle para ilustrar el error.

class FromRomanBadInput(unittest.TestCase): . . . def testBlank(self): '''from_roman should fail with blank string''' self.assertRaises(roman6.InvalidRomanNumeralError, roman6.from_roman, '')

Línea 7: Es muy simple. La llamada a from_roman() con una cadena vacía debe asegurar que eleva la excepción InvalidRomanNumeralError. La parte más difícil fue encontrar el error; ahora que lo conoces, crear una prueba que lo refleje es lo fácil.

Puesto que el código tiene un fallo, y dispones de un caso de prueba que comprueba que existe, el caso de prueba fallará:

you@localhost: /diveintopython3/examples$ python3 romantest8.py -v from_roman should fail with blank string ... FAIL from_roman should fail with malformed antecedents ... ok from_roman should fail with repeated pairs of numerals ... ok from_roman should fail with too many repeated numerals ... ok from_roman should give known result with known input ... ok to_roman should give known result with known input ... ok from_roman(to_roman(n))==n for all n ... ok to_roman should fail with negative input ... ok to_roman should fail with non-integer input ... ok to_roman should fail with large input ... ok to_roman should fail with 0 input ... ok
====================================================================== FAIL: from_roman should fail with blank string ----------------------------------- Traceback (most recent call last): File "romantest8.py", line 117, in test_blank self.assertRaises(roman8.InvalidRomanNumeralError, roman8.from_roman, '') AssertionError: InvalidRomanNumeralError not raised by from_roman
----------------------------------- Ran 11 tests in 0.171s
FAILED (failures=1) Now you can fix the bug.
skip over this code listing
[hide] [open in new window]

Ahora puedes arreglar el fallo.

def from_roman(s): '''convert Roman numeral to integer''' if not s: raise InvalidRomanNumeralError('Input can not be blank') if not re.search(romanNumeralPattern, s): raise InvalidRomanNumeralError( 'Invalid Roman numeral: '.format(s))
result = 0 index = 0 for numeral, integer in romanNumeralMap: while s[index:index+len(numeral)] == numeral: result += integer index += len(numeral) return result

Línea 3: Solamente se necesitan dos líneas de código: una comprobación explícita por la cadena de texto vacía y la sentencia raise.
Línea 6: Creo que no lo he mencionado en ninguna otra parte del libro, por lo que te puede servir como tu última lección en formateo de cadenas de texto. Desde Python 3.1 puedes dejar de poner los valores numéricos cuando utilizas índices posicionales en el especificador de formatos. En lugar de utilizar el especificador de formato {0} para indicar el primer parámetro del método format(), puedes utilizar directamente {} y Python lo sustituirá por el índice posicional apropiado. Esto funciona para cualquier número de parámetros; el primer {} equivale a {0}, el segundo {} a {1} y así sucesivamente.

you@localhost: /diveintopython3/examples$ python3 romantest8.py -v from_roman should fail with blank string ... ok from_roman should fail with malformed antecedents ... ok from_roman should fail with repeated pairs of numerals ... ok from_roman should fail with too many repeated numerals ... ok from_roman should give known result with known input ... ok to_roman should give known result with known input ... ok from_roman(to_roman(n))==n for all n ... ok to_roman should fail with negative input ... ok to_roman should fail with non-integer input ... ok to_roman should fail with large input ... ok to_roman should fail with 0 input ... ok
----------------------------------- Ran 11 tests in 0.156s
OK

Ahora la prueba de la cadena vacía pasa sin problemas, por lo que el error está arreglado. Además, todas las demás pruebas siguen funcionando, lo que significa que la reparación del error no rompe nada de lo que ya funcionaba, para lo que disponemos de pruebas previas. Se ha acabado el trabajo.

Codificar de esta forma no hace que sea más sencillo arreglar los errores. Los errores sencillos (como este caso) requieren casos de prueba sencillos: los errores complejos requerirán casos de prueba complejos. A primera vista, puede parecer que llevará más tiempo reparar un error en un entorno de desarrollo orientado a pruebas, puesto que necesitas expresar en código aquello que refleja el error (para poder escribir el caso de prueba) y luego arreglar el error propiamente dicho. Lo luego si el caso de prueba no pasa satisfactoriamente necesitas arreglar lo que sea que esté roto o sea erróneo o, incluso, que el caso de prueba tenga un error en sí mismo. Sin embargo, a largo plazo, esta forma de trabajar entre el código y la prueba resulta rentable, porque hace más probable que los errores sean arreglados correctamente sin romper otra cosa. Una caso de prueba escrito hoy, es una prueba de regresión para el día de mañana.

6.2 Gestionar requisitos cambiantes

A pesar de tus mayores esfuerzos para ``clavar'' a la tierra a tus clientes e identificar los requisitos exactos a fuerza de hacerles cosas horribles con tijeras y cera caliente, los requisitos cambiarán. La mayoría de los clientes no saben lo que quieren hasta que lo ven, e incluso aunque lo supieran, no es fácil para ellos articular de forma precisa lo que quieren de forma que nos sea útil a los desarrolladores. E incluso en ese caso, querrán más cosas para la siguiente versión del proyecto. Por eso, prepárate para actualizar los casos de prueba según van cambiando los requisitos.

Imagina, por ejemplo, que querías ampliar el rango de las funciones de conversión de números romanos. Normalmente, ningún carácter de un número romano se puede repetir más de tres veces seguidas. Pero los romano estaban deseando hacer una excepción a a la regla para poder reflejar el número 4000 con cuatro M seguidas. Si haces este cambio, será posible ampliar el rango de valores válidos en romano del 1..3999 al 1..4999. Pero primero, necesitas modificar los casos de prueba.

class KnownValues(unittest.TestCase): known_values = ( (1, 'I'), . . . (3999, 'MMMCMXCIX'), (4000, 'MMMM'), (4500, 'MMMMD'), (4888, 'MMMMDCCCLXXXVIII'), (4999, 'MMMMCMXCIX') )
class ToRomanBadInput(unittest.TestCase): def test_too_large(self): '''to_roman should fail with large input''' self.assertRaises(roman8.OutOfRangeError, roman8.to_roman, 5000)
. . .
class FromRomanBadInput(unittest.TestCase): def test_too_many_repeated_numerals(self): '''from_roman should fail with too many repeated numerals''' for s in ('MMMMM', 'DD', 'CCCC', 'LL', 'XXXX', 'VV', 'IIII'): self.assertRaises(roman8.InvalidRomanNumeralError, roman8.from_roman, s)
. . .
class RoundtripCheck(unittest.TestCase): def test_roundtrip(self): '''from_roman(to_roman(n))==n for all n''' for integer in range(1, 5000): numeral = roman8.to_roman(integer) result = roman8.from_roman(numeral) self.assertEqual(integer, result)

Línea 7: Los valores existentes no cambian (aún son valores razonables para probar), pero necesitas añadir unos cuantos en el rango de 4000. He incluido el 4000 (el más corto), 4500 (el segundo más corto), 4888 (el más largo) y el 4999 (el mayor).
Línea 15: La definición de la ``entrada mayor'' ha cambiado. Esta prueba se usaba para probar la función to_roman() con el número 4000 y esperar un error; ahora que los números del rango 4000-4999 son válidos, necesitamos subir el valor de la prueba al 5000.
Línea 24: La definición de ``demasiados caracteres repetidos'' también ha cambiado. Esta prueba llamaba a la función from_roman() con la cadena ``M'' y esperaba un error; ahora que MMMM se considera un número romano válido, necesitamos elevar el valor a ``MMMMM''.
Línea 35: El ciclo de prueba a través del rango completo de valores del número 1 al 3999 también hay que cambiarlo. Puesto que el rango se ha expandido es necesario actualizar el bucle para que llegue hasta el 4999.

Ahora los casos de prueba están actualizados con los nuevos requisitos; pero el código no lo está, por lo que hay que esperar que los casos de prueba fallen.

you@localhost: /diveintopython3/examples$ python3 romantest9.py -v from_roman should fail with blank string ... ok from_roman should fail with malformed antecedents ... ok from_roman should fail with non-string input ... ok from_roman should fail with repeated pairs of numerals ... ok from_roman should fail with too many repeated numerals ... ok from_roman should give known result with known input ... ERROR to_roman should give known result with known input ... ERROR from_roman(to_roman(n))==n for all n ... ERROR to_roman should fail with negative input ... ok to_roman should fail with non-integer input ... ok to_roman should fail with large input ... ok to_roman should fail with 0 input ... ok
====================================================================== ERROR: from_roman should give known result with known input ----------------------------------- Traceback (most recent call last): File "romantest9.py", line 82, in test_from_roman_known_values result = roman9.from_roman(numeral) File "C:309.py", line 60, in from_roman raise InvalidRomanNumeralError('Invalid Roman numeral: 0'.format(s)) roman9.InvalidRomanNumeralError: Invalid Roman numeral: MMMM
====================================================================== ERROR: to_roman should give known result with known input ----------------------------------- Traceback (most recent call last): File "romantest9.py", line 76, in test_to_roman_known_values result = roman9.to_roman(integer) File "C:309.py", line 42, in to_roman raise OutOfRangeError('number out of range (must be 0..3999)') roman9.OutOfRangeError: number out of range (must be 0..3999)
====================================================================== ERROR: from_roman(to_roman(n))==n for all n ----------------------------------- Traceback (most recent call last): File "romantest9.py", line 131, in testSanity numeral = roman9.to_roman(integer) File "C:309.py", line 42, in to_roman raise OutOfRangeError('number out of range (must be 0..3999)') roman9.OutOfRangeError: number out of range (must be 0..3999)
----------------------------------- Ran 12 tests in 0.171s
FAILED (errors=3)

Línea 6: La prueba de from_roman() sobre valores conocidos falla en cuanto encuentra MMMM, puesto que from_roman() aún cree que este número no es válido.
Línea 7: La prueba de valores conocidos de to_roman() falla en cuanto encuentra 4000, puesto que to_roman() aún piensa que este valor está fuera de rango.
Línea 8: La prueba completa de ``ida y vuelta'' también fallará en cuanto encuentre el valor 4000, porque to_roman() aún piensa que está fuera de rango.

Ahora que tienes casos de prueba que fallan debido a los nuevos requisitos, puedes abordar la modificación del código para incorporar los mismos de forma que se superen los casos de prueba (Cuando comienzas a trabajar de forma orientada a pruebas, puede parecer extraño al principio que el código que se va a probar nunca va ``por delante'' de los casos de prueba. Mientras está ``por detrás'' te queda trabajo por hacer, en cuanto el código alcanza a los casos de prueba, has terminado de codificar. Una vez te acostumbres, de preguntarás cómo es posible que hayas estado programando en el pasado sin pruebas).

roman_numeral_pattern = re.compile(''' ^ # beginning of string M0,4 # thousands - 0 to 4 Ms (CM|CD|D?C0,3) # hundreds - 900 (CM), 400 (CD), 0-300 (0 to 3 Cs), # or 500-800 (D, followed by 0 to 3 Cs) (XC|XL|L?X0,3) # tens - 90 (XC), 40 (XL), 0-30 (0 to 3 Xs), # or 50-80 (L, followed by 0 to 3 Xs) (IX|IV|V?I0,3) # ones - 9 (IX), 4 (IV), 0-3 (0 to 3 Is), # or 5-8 (V, followed by 0 to 3 Is) $ # end of string ''', re.VERBOSE)
def to_roman(n): '''convert integer to Roman numeral''' if not (0 < n < 5000): raise OutOfRangeError('number out of range (must be 1..4999)') if not isinstance(n, int): raise NotIntegerError('non-integers can not be converted')
result = '' for numeral, integer in roman_numeral_map: while n >= integer: result += numeral n -= integer return result
def from_roman(s): . . .

Línea 3: No necesitas hacer ningún cambio a la función from_roman(). Lo único que hay que modificar es roman_numeral_pattern. Si observas detenidamente, lo primero que notarás es que he cambiado el valor máximo de caracteres M opcionales, para poner 4 donde antes había 3. Esto permitirá la existencia de valores romanos de 4999. La función from_roman() es totalmente genérica. Simplemente busca caracteres romanos y los va acumulando, sin preocuparse sobre las veces que se repite. La única razón por la que no permitía MMMM es que lo impedíamos expresamente en la comprobación contra la expresión regular.
Línea 15: La función to_roman() solamente necesita un pequeño cambio en el rango de validación. Donde se comprobaba que el valor se encontrase en 0 < n < 4000, ahora se comprueba que se cumpla 0 < n < 5000. Y se modifica el mensaje de error que se eleva para reflejar el nuevo rango (1...4999 en lugar de 1...3999). No necesitas realizar más cambios a la función (Es capaz de añadir una M por cada millar que encuentra. La única razón por la que antes no funcionaba con 4000 es que la validación del rango de valores válidos lo impedía explícitamente).

Puede ser que estés algo escéptico sobre que estos dos pequeños cambios sean todo lo que necesitas. Vale, no me creas, obsérvalo por ti mismo.

Pasan todas las pruebas, paramos de codificar.

Un conjunto amplio y exhaustivo de pruebas significa que nunca tienes que depender de un programador que dice ``Confía en mi''.

6.3 Refactorización

Lo mejor de disponer de un conjunto de pruebas exhaustivo no es la sensación agradable que se obtiene cuando todas las pruebas pasan satisfactoriamente,ni la sensación de éxito cuando alguien te culpa de romper su código y pruebas que no has sido tú. Lo mejor de las pruebas unitarias es que te dan la libertad de refactorizar el código sin ``piedad''.

La refactorización es el proceso por el que se toma código que funciona correctamente y se le hace funcionar mejor. Normalmente ``mejor'' significa ``más rápido'', aunque también puede significar ``usando menos memoria'' o ``usando menos disco'' o simplemente ``de forma más elegante''. Independientemente de lo que signifique para ti en tu entorno, refactorizar es importante para la salud a largo plazo de un programa.

Aquí ``mejor'' significa dos cosas a la vez: ``más rápido'' y ``más fácil de mantener''. Específicamente, la función from_roman() es más lenta y compleja de lo que me gustaría debido a la fea expresión regular que se utiliza para validar los números romanos. Podrías pensar ``de acuerdo, la expresión regular es grande y compleja, pero cómo si no voy a validar que una cadena arbitraria es un número romano válido.

Respuesta, únicamente existen 5000, ¿porqué no construir una tabla de búsqueda? Esta idea se hace cada vez más evidente cuando se observa que así no hay que utilizar expresiones regulares. Según se construye una tabla de búsqueda de números romanos para convertir enteros en romanos, se puede construir una tabla inversa para convertir de romanos a enteros. Así, cuando tengas que comprobar si una cadena de texto es un número romano válido ya dispondrás de los números válidos y ``validar'' queda reducido a mirar en un diccionario de búsqueda.

Y lo mejor de todo es que ya dispones de un buen conjunto de pruebas unitarias. Puedes modificar la mitad del código del módulo, pero las pruebas seguirán siendo las mismas. Esto significa que puedes comprobar --a ti mismo y a los demás-- que el nuevo código funciona tan bien como el original.

class OutOfRangeError(ValueError): pass class NotIntegerError(ValueError): pass class InvalidRomanNumeralError(ValueError): pass
roman_numeral_map = (('M', 1000), ('CM', 900), ('D', 500), ('CD', 400), ('C', 100), ('XC', 90), ('L', 50), ('XL', 40), ('X', 10), ('IX', 9), ('V', 5), ('IV', 4), ('I', 1))
to_roman_table = [ None ] from_roman_table =
def to_roman(n): '''convert integer to Roman numeral''' if not (0 < n < 5000): raise OutOfRangeError('number out of range (must be 1..4999)') if int(n) != n: raise NotIntegerError('non-integers can not be converted') return to_roman_table[n]
def from_roman(s): '''convert Roman numeral to integer''' if not isinstance(s, str): raise InvalidRomanNumeralError('Input must be a string') if not s: raise InvalidRomanNumeralError('Input can not be blank') if s not in from_roman_table: raise InvalidRomanNumeralError( 'Invalid Roman numeral: 0'.format(s)) return from_roman_table[s]
def build_lookup_tables(): def to_roman(n): result = '' for numeral, integer in roman_numeral_map: if n >= integer: result = numeral n -= integer break if n > 0: result += to_roman_table[n] return result
for integer in range(1, 5000): roman_numeral = to_roman(integer) to_roman_table.append(roman_numeral) from_roman_table[roman_numeral] = integer
build_lookup_tables()

Vamos a trocear el código anterior en partes fáciles de digerir. La línea más importante es la última.

build_lookup_tables()

Se trata de una llamada a función pero no está rodeada de una sentencia if. No es un bloque if __name__ == ``__main__'', esta función se llama cuando el módulo se importa (Es importante conocer que los módulos únicamente se importan una vez, cuando se cargan en memoria la primera vez que se usan. Si importas de nuevo un módulo ya cargado, Python no hace nada. Por eso esta función únicamente se ejecuta la primera vez que importas este módulo.

¿Qué es lo que hace la función build_lookup_tables()? Me alegro de que me lo preguntes.

to_roman_table = [ None ] from_roman_table = . . . def build_lookup_tables(): def to_roman(n): result = '' for numeral, integer in roman_numeral_map: if n >= integer: result = numeral n -= integer break if n > 0: result += to_roman_table[n] return result
for integer in range(1, 5000): roman_numeral = to_roman(integer) to_roman_table.append(roman_numeral) from_roman_table[roman_numeral] = integer

Línea 7: Este es un trozo muy inteligente de programa, tal vez demasiado. La función to_roman() se define en primer lugar; busca valores en la tabla de búsqueda y las retorna. Pero la función build_lookup_tables() redefine la función para que haga algo (como en el ejemplo anterior, antes de que añadieras una tabla de búsqueda). Dentro de la función build_lookup_tables() se llama a la función to_roman(9 redefinida en la función. Una vez la función build_lookup_tables() finaliza, la versión redefinida desaparece --solamente se define en el ámbito local de la función build_lookup_tables().
Línea 19: Esta línea de código llamará a la función to_roman() redefinida, la que realmente calcula el número romano.
Línea 20: Una vez dispones del resultado (de la función to_roman() redefinida), añades el valor entero y su equivalente romano a las dos tablas de búsqueda.

Una vez construidas ambas tablas, el resto del código es simple y rápido.

def to_roman(n): '''convert integer to Roman numeral''' if not (0 < n < 5000): raise OutOfRangeError('number out of range (must be 1..4999)') if int(n) != n: raise NotIntegerError('non-integers can not be converted') return to_roman_table[n]
def from_roman(s): '''convert Roman numeral to integer''' if not isinstance(s, str): raise InvalidRomanNumeralError('Input must be a string') if not s: raise InvalidRomanNumeralError('Input can not be blank') if s not in from_roman_table: raise InvalidRomanNumeralError( 'Invalid Roman numeral: 0'.format(s)) return from_roman_table[s]

Línea 7: Después de efectuar las validaciones de rango, la función to_roman() únicamente tiene que encontrar el valor apropiado en la tabla de búsqueda y devolverlo.
Línea 17: De forma similar, la función from_roman() queda reducida a algunas validaciones de límites y una línea de código. No hay expresiones regulares. No hay bucles. Solamente la conversión desde y hacia números romanos.

Pero ¿funciona?, sí, sí, funciona. Y puedo probarlo.

you@localhost: /diveintopython3/examples$ python3 romantest10.py -v from_roman should fail with blank string ... ok from_roman should fail with malformed antecedents ... ok from_roman should fail with non-string input ... ok from_roman should fail with repeated pairs of numerals ... ok from_roman should fail with too many repeated numerals ... ok from_roman should give known result with known input ... ok to_roman should give known result with known input ... ok from_roman(to_roman(n))==n for all n ... ok to_roman should fail with negative input ... ok to_roman should fail with non-integer input ... ok to_roman should fail with large input ... ok to_roman should fail with 0 input ... ok
----------------------------------- Ran 12 tests in 0.031s
OK

Línea 16: Sé que no lo has preguntado pero, ¡también es rápido! Como diez veces más que antes. Por supuesto, no es una comparación totalmente justa, puesto que esta versión tarda más en importarse (cuando construye las tablas de búsqueda). Pero como el import se realiza una única vez, el coste de inicio se amortiza en las llamadas a las funciones from_roman() y to_roman(). Puesto que las pruebas hacen varios miles de llamadas a las funciones (la prueba de ciclo hace diez mil) se compensa enseguida.

¿La moraleja del cuento?

La simplicidad es una virtud.
Especialmente cuando se trata de expresiones regulares.
Las pruebas unitarias te dan la suficiente confianza como para hacer modificaciones a gran escala en el código.

6.4 Sumario

La prueba unitaria es un concepto muy valioso que, si se implementa de forma adecuada, puede reducir los costes de mantenimiento e incrementar la flexibilidad a largo plazo de cualquier proyecto. También es importante comprender que las pruebas unitarias no son la panacea, ni un solucionador mágico de problemas, ni un bala de plata. Escribir casos de prueba útiles es una tarea dura y mantenerlos actualizados requiere disciplina (especialmente cuando los clientes están reclamando las correcciones de fallos críticos). Las pruebas unitarias no sustituyen otras formas de prueba, incluídas las pruebas funcionales, de integración y de aceptación por parte del usuario. Pero son prácticas y funcionan y, una vez las hayas utilizado, te preguntarás cómo has podido trabajar alguna vez sin ellas.

Estos pocos capítulos han cubierto muchos aspectos, gran parte de ellos ni siquiera son específicos de Python. Existen marcos de trabajo para pruebas unitarias en muchos lenguajes de programación; todos requieren que comprendas los mismos conceptos básicos:

Diseño de casos de prueba que sean específicos, automatizados e independientes entre sí.
Escribir los casos de prueba antes del código que se está probando.
Escribir casos de prueba que tengan entradas válidas y comprobar que se produce el resultado esperado.
Escribir casos de prueba con entradas erróneas y comprobar que se produce el fallo esperado.
Escribir y actualizar los casos de prueba para reflejar nuevos requisitos.
Refactorizar ``sin piedad'' para mejorar el rendimiento, escalabilidad, legibilidad, mantenibilidad o cualquier otra ``bilidad'' que eches de menos.

José Miguel González Aguilera 2016-08-18