Antes de empezar con esta lista es importante conocer bien el término de «open source» y para ello vamos a ver a qué nos referimos cuando hablamos de «código abierto». Entendemos por herramienta de software «open source» cualquier aplicación informática cuyo código fuente está disponible públicamente para que cualquiera pueda verlo, modificarlo y distribuirlo.
Esto significa que el desarrollo de la herramienta es colaborativo y transparente, ya que la comunidad de desarrolladores puede contribuir con mejoras, correcciones de errores y nuevas características. El software open source suele estar licenciado de tal manera que permite la libre distribución y modificación del código fuente, lo que fomenta la innovación y la adaptación a las necesidades específicas de los usuarios.
Esto no solo aplica al mundo del diseño o el desarrollo, sino que tenemos miles de ejemplos conocidos con los que ilustrar lo que es un herramienta de software open source. Por ejemplo, Linux es uno de los sistemas operativos más usados a nivel mundial y a diferencia de Windows y MacOS es de código abierto. Esto ocurre igual con otras aplicaciones mundialmente famosas como pueden ser el navegador web Mozilla Firefox o la suite de oficina LibreOffice.
Top 25 recursos open source
Hoy nos vamos a centrar en las herramientas de código abierto líderes de este año para el desarrollo de software, gestión de datos, análisis, inteligencia artificial y aprendizaje automático. Hemos seleccionado 25 recursos de código abierto que consideramos top. Entre ellos encontrarás lenguajes de programación, runtimes, marcos de aplicaciones, bases de datos, librerías de código, motores de análisis, bibliotecas de aprendizaje automático, LLMs y un par de proyectos cuya descripción es algo más compleja.
Si hay algo increíble dentro del mundo open source, es que si hay algún problema importante que resolver en el software y no existe una solución puedes estar seguro de que surgirá un proyecto de código abierto para resolverlo.
1. Apache Hudi
Apache Hudi es un proyecto de código abierto de Apache Software Foundation que proporciona un marco para el almacenamiento y procesamiento de grandes volúmenes de datos en plataformas de big data como Apache Hadoop y Apache Spark. Hudi, que significa «Hadoop Upserts Deletes and Incrementals», se centra en la gestión eficiente de datos de forma incremental y en tiempo real, lo que lo hace especialmente útil para casos de uso de ingestión y procesamiento de datos en tiempo real, así como para análisis de datos interactivos.
Esta herramienta es especialmente interesante cuando se trabaja con grandes volúmenes de información almacenados de forma desestructurada y no uniforme. Para comprender bien esta herramienta es importante conocer qué es un «data lake», un «data warehouse» y un «data lakehouse».
¿Qué es un data lake?
Un data lake es un repositorio de almacenamiento centralizado que permite almacenar grandes volúmenes de datos estructurados y no estructurados en su formato original, sin necesidad de una estructura previa de modelado. A diferencia de los sistemas de almacenamiento tradicionales, que suelen organizar los datos en bases de datos o almacenes de datos con esquemas predefinidos, un data lake conserva los datos en su forma cruda y original hasta que se necesiten para su análisis.
En un data lake, los datos pueden provenir de diversas fuentes, como sensores IoT, registros de servidores, transacciones comerciales, redes sociales, entre otros. Estos datos se almacenan de manera escalable y económica, generalmente en sistemas distribuidos.
La flexibilidad y la capacidad de almacenamiento masivo del data lake lo hacen adecuado para casos de uso de análisis de big data y machine learning, ya que permite a los analistas y científicos de datos acceder a una amplia variedad de datos sin necesidad de moverlos o transformarlos previamente. Sin embargo, la efectividad de un data lake depende en gran medida de una correcta gestión de metadatos y de la implementación de herramientas adecuadas para el descubrimiento, la seguridad y la gobernanza de los datos.
¿Qué es un data warehouse?
Un data warehouse es un sistema de almacenamiento de datos diseñado para recopilar, almacenar y analizar grandes volúmenes de información estructurada y organizada para respaldar las actividades de toma de decisiones en una organización. Es una base de datos centralizada y optimizada para el análisis de datos históricos y actuales que provienen de diversas fuentes dentro de la empresa.
Las características principales de un data warehouse incluyen:
- Consolidación de datos: Los datos de diferentes sistemas y fuentes dentro de la organización se integran en el data warehouse para crear un repositorio único y coherente.
- Estructuración y modelado de datos: Los datos se organizan y estructuran de manera que sean aptos para el análisis y la generación de informes. Esto implica la definición de esquemas, relaciones y jerarquías que faciliten las consultas y el análisis de los datos.
- Histórico de datos: El data warehouse almacena datos históricos a lo largo del tiempo, lo que permite realizar análisis retrospectivos y tendenciales.
- Optimización para consultas complejas: Los sistemas de data warehouse están optimizados para realizar consultas complejas y análisis de datos a gran escala de manera eficiente. Esto puede lograrse mediante técnicas como la indexación, la partición de datos y el uso de herramientas de procesamiento de datos optimizadas.
- Seguridad y control de acceso: Los data warehouses suelen tener medidas de seguridad y control de acceso robustas para proteger los datos sensibles y garantizar la privacidad y la integridad de la información.
¿Qué es un data lakehouse?
El término «data lakehouse» es una combinación de los dos anteriores conceptos: «data lake» y «data warehouse». Un data lakehouse es una arquitectura de datos que combina las capacidades de almacenamiento y procesamiento escalables de un data lake con las características de modelado y consultas optimizadas de un data warehouse.
En un data lakehouse, los datos se almacenan inicialmente en su forma cruda y original en un data lake, lo que permite la ingestión de grandes volúmenes de datos de diversas fuentes. Luego, estos datos se transforman y se procesan según las necesidades del análisis y se organizan en estructuras más definidas, como tablas o esquemas, típicas de un data warehouse. Esta estructuración puede realizarse mediante herramientas de procesamiento de datos.
La combinación de un data lake con características de un data warehouse permite aprovechar la flexibilidad y el almacenamiento masivo del primero, junto con la capacidad de consultas optimizadas y modelado de datos del segundo. Esto facilita el análisis de datos a gran escala, la generación de informes y la implementación de aplicaciones de inteligencia empresarial, al tiempo que se conserva la integridad y calidad de los datos. Además, el concepto de data lakehouse se alinea con la tendencia de unificar el almacenamiento y análisis de datos en una sola plataforma, lo que simplifica la infraestructura de datos y reduce la complejidad operativa.
¿Cuándo es buena idea usar Apache Hudi?
Al construir un data lake o un data lakehouse , muchas industrias requieren una plataforma más evolutiva y mutable. Tomemos como ejemplo las plataformas publicitarias que usan los editores, anunciantes y compradores de medios. Los análisis rápidos que realizan estas plataformas no son lo suficientemente interesantes o potentes. En este sentido, Apache Hudi no solo proporciona un formato de datos rápido, tablas y soporte sobre bases SQL, sino que también permite realizar análisis en tiempo real y de baja latencia.
Una de sus funcionalidades más interesantes en la posibilidad de integrarse con Apache Spark , Apache Flink y herramientas como Presto , StarRocks y Amazon Athena. En resumen, si quieres realizar análisis en tiempo real sobre grandes volúmenes de información recopilados en datalakes o similares, Hudi es una muy buena opción.
2. Apache Iceberg
Apache Iceberg es un proyecto de código abierto de Apache Software Foundation que proporciona un formato de tabla y un conjunto de herramientas para el almacenamiento y el procesamiento eficiente de grandes conjuntos de datos estructurados en plataformas de big data, como Apache Hadoop y Apache Spark. Iceberg está diseñado para abordar varios desafíos comunes asociados con el almacenamiento y el procesamiento de datos a gran escala, incluida la gestión de versiones, la eficiencia en la lectura y la escritura, y la compatibilidad con operaciones de análisis en tiempo real.
Las características principales de Apache Iceberg incluyen:
- Formato de tabla transaccional: Iceberg utiliza un formato de tabla transaccional que permite operaciones de escritura atómicas y consistentes en las tablas de datos. Esto garantiza la integridad y la coherencia de los datos, incluso en entornos distribuidos y en presencia de operaciones concurrentes.
- Gestión de versiones y snapshots: Iceberg facilita la gestión de versiones de los conjuntos de datos, lo que permite a los usuarios realizar instantáneas de los datos en cualquier punto en el tiempo. Esto permite realizar análisis retrospectivos y garantiza la reproducibilidad de los resultados.
- Optimización para lecturas eficientes: Iceberg utiliza técnicas de optimización para acelerar las operaciones de lectura de datos, incluida la eliminación de lecturas innecesarias y la minimización del tiempo de espera. Esto permite realizar consultas y análisis de datos de manera eficiente, incluso en grandes conjuntos de datos.
- Soporte para tablas particionadas y ordenadas: Iceberg admite tablas particionadas y ordenadas, lo que permite organizar y estructurar los datos de manera que faciliten las consultas y el procesamiento analítico.
- Compatibilidad con múltiples motores de procesamiento: Iceberg es compatible con varios motores de procesamiento de datos, incluidos Apache Spark, Apache Hive y Presto, lo que permite a los usuarios acceder y procesar los datos utilizando las herramientas de su elección.
¿Cuándo es buena idea usar Apache Hudi?
¿A quién le importa si algo “escala bien” si el resultado tarda una eternidad en generarse? Este es un problema que podemos encontrar con HDFS y Hive, ya que son demasiado lentos cuando trabajan con grandes cantidades de información. Por lo que aquí es donde cobra fuerza Apache Iceberg, aunque funciona con Hive, también se puede usar directamente con Apache Spark y Apache Flink, así como con otros sistemas como ClickHouse, Dremio y StarRocks.
Iceberg es un componente clave para trabajar con muchos datalakes ya que proporciona un formato de tabla de alto rendimiento para todos estos sistemas y al mismo tiempo permite la evolución completa del esquema, la compactación de datos y la reversión de versiones.
3. Apache Superset
Apache Superset es un proyecto de código abierto de Apache Software Foundation que proporciona una plataforma de visualización de datos interactiva y escalable. Se utiliza para crear paneles de control y visualizaciones de datos a partir de diversas fuentes de datos, como bases de datos SQL, data warehouses, data lakes y servicios en la nube.
Las características principales de Apache Superset incluyen:
- Interfaz de usuario intuitiva: Superset ofrece una interfaz de usuario fácil de usar que permite a los usuarios crear y personalizar visualizaciones de datos sin necesidad de conocimientos profundos de programación.
- Conectividad con diversas fuentes de datos: Superset admite la conexión con una amplia variedad de fuentes de datos, incluidas bases de datos SQL como MySQL, PostgreSQL y SQLite, así como data warehouses como Amazon Redshift, Google BigQuery y Snowflake, entre otros.
- Amplia gama de visualizaciones: Superset ofrece una amplia gama de tipos de visualización, como gráficos de barras, gráficos circulares, diagramas de dispersión, mapas geoespaciales y tablas dinámicas, que permiten a los usuarios explorar y analizar datos de manera efectiva.
- Interactividad y filtrado de datos: Los paneles de control y visualizaciones creados con Superset son interactivos, lo que permite a los usuarios explorar y filtrar datos de manera dinámica para obtener información detallada.
- Seguridad y control de acceso: Superset ofrece funciones avanzadas de seguridad y control de acceso que permiten a los administradores controlar quién puede acceder a qué datos y funciones dentro de la plataforma.
- Escalabilidad y rendimiento: Superset está diseñado para ser escalable y ofrecer un rendimiento óptimo incluso con grandes volúmenes de datos y un gran número de usuarios concurrentes.
Durante muchos años, Apache Superset ha sido un monstruo de la visualización de datos. Superset es prácticamente la única opción para cualquiera que desee implementar análisis de autoservicio, de forma escalada para un gran número de usuarios finales. Superset proporciona una forma sencilla de visualizar prácticamente cualquier escenario de análisis, incluyendo cualquier tipo de elemento visual, desde gráficos circulares hasta gráficos geoespaciales complejos.
¿Cuándo es buena idea usar Apache Superset?
Si vas a realizar un proyecto donde hay un alto componente de visualización de datos, no dudes en echar un vistazo a Superset. Además de todas sus prestaciones y características, cabe destacar su capacidad de comunicarse con la mayoría de bases de datos SQL y proporciona tanto un generador drag and drop, así como un IDE de SQL.
Además: ¿Qué es la IA? Descubre cómo funciona
4. Bun
Justo cuando pensaba que el código JavaScript se estaba adaptando a una rutina predecible, llega Bun. Tras este corte y amable nombre se oculta un objetivo muy serio: reunir todo lo que necesita para JS del lado del servidor (runtimes, administración de paquetes, empaquetador, etc) en una sola herramienta.
Bun puede servir perfectamente como un sustituto directo de Node.js y NPM, con la diferencia de que es radicalmente más rápido. Esta simple propuesta parece haber convertido a Bun en el fragmento de JavaScript más disruptivo desde que Node dio la vuelta al mundo hace un par de años.
Bun le debe parte de su velocidad a Zig, pero el resto se lo debe a la obsesión de su fundador (Jared Sumner) por el rendimiento. Y es que si no lo has probado, te recomiendo que lo apliques en alguno de tus proyectos ya que podrás ver de primera mano la diferencia de tiempos inmediatamente en la línea de comandos. En cualquier caso, más allá del rendimiento, el simple hecho de tener todas las herramientas en un paquete integrado convierte a Bun en una alternativa convincente para Node como para Deno.
5. Claude 2
Este asistente conversacional llamado Claude 2 pertenece a Anthropic acepta hasta 100.000 tokens (unas 70.000 palabras) en un solo mensaje y puede generar historias de hasta unos pocos miles de tokens. Esta herramienta puede editar, reescribir, resumir, clasificar, extraer datos estructurados, realizar preguntas y respuestas según el contenido y más. Tiene la mayor formación en inglés, pero también se desempeña bien en una gran variedad de otros idiomas. Claude también tiene un amplio conocimiento de lenguajes de programación comunes, por lo que no solo entiende el lenguaje natural sino que también entiende código por lo que es un buen IT partner.
Además: ¿Es posible dominar la IA sin habilidades tecnológicas?
Claude fue entrenado constitucionalmente para ser servicial, honesto e inofensivo (HHH), por lo que con respecto a otras herramientas similares es mucho más inofensivo y difícil de incitar a producir resultados ofensivos o peligrosos. Claude está disponible para los usuarios de EE. UU. y el Reino Unido como versión beta gratuita y ha sido adoptado por socios comerciales como Jasper , Sourcegraph y AWS. Es importante destacar que no se entrena con sus datos ni consulta Internet para obtener respuestas.
6. CockroachDB
CockroachDB es una base de datos distribuida SQL de código abierto desarrollada por Cockroach Labs. Se diseñó para ofrecer una alta disponibilidad, escalabilidad horizontal y consistencia en entornos distribuidos, lo que la convierte en una opción popular para aplicaciones que requieren datos altamente disponibles y resistentes a fallos.
Algunas características clave de CockroachDB incluyen:
- Escalabilidad horizontal: CockroachDB se basa en el modelo de escalabilidad horizontal, lo que significa que puede escalar agregando más nodos al clúster para manejar un mayor volumen de datos y solicitudes.
- Alta disponibilidad y tolerancia a fallos: CockroachDB está diseñado para ser altamente disponible y tolerante a fallos. Los datos se replican automáticamente en múltiples nodos del clúster, lo que garantiza que la base de datos siga siendo accesible incluso en caso de fallos de hardware o nodos individuales.
- Consistencia ACID: CockroachDB garantiza la consistencia ACID (Atomicidad, Consistencia, Aislamiento, Durabilidad) en transacciones distribuidas, lo que garantiza la integridad de los datos y la fiabilidad de las operaciones.
- Compatibilidad con SQL: CockroachDB es compatible con el lenguaje de consulta estructurado (SQL), lo que facilita la migración de aplicaciones existentes y el desarrollo de nuevas aplicaciones utilizando un lenguaje familiar para los desarrolladores.
- Diversos modelos de despliegue: CockroachDB puede implementarse en entornos locales, en la nube o en entornos híbridos, lo que brinda flexibilidad a las organizaciones para implementar la base de datos según sus necesidades y requisitos.
¿Cuándo es buena idea usar CockroachDB?
Al ser una base de datos SQL distribuida que permite transacciones ACID altamente consistentes, resuelve un problema clave de escalabilidad para aplicaciones de alto rendimiento y con muchas transacciones al permitir la escalabilidad horizontal de lecturas y escrituras de bases de datos.
CockroachDB también admite implementaciones en múltiples regiones y nubes para reducir la latencia y cumplir con las regulaciones de datos. Entre sus casos de éxito podemos encontrar la infraestructura de datos de Netflix, con más de 100 clústeres de producción de CockroachDB que admiten aplicaciones multimedia y la administración de dispositivos. Enrte sus clientes también podemos encontrar grandes compañías como Hard Rock Sportsbook, JPMorgan Chase, Santander y DoorDash.
En resumen, CockroachDB puede ser una buena elección cuando necesitas una base de datos distribuida que ofrezca alta disponibilidad, escalabilidad horizontal, consistencia de datos y compatibilidad con SQL en entornos distribuidos. Es particularmente útil para aplicaciones críticas para el negocio que requieren datos altamente disponibles y resistentes a fallos.
7. CPython
Aprendizaje automático, ciencia de datos, automatización de tareas, desarrollo web, escribir código… existen innumerables razones para amar el lenguaje de programación Python. Desgraciadamente, el rendimiento en tiempo de ejecución no es uno de ellos, pero eso está cambiando. En las dos últimas versiones, Python 3.11 y Python 3.12 , el equipo central de desarrollo de Python ha presentado una serie de actualizaciones transformadoras para CPython, la implementación de referencia del intérprete de Python.
El resultado es un tiempo de ejecución de Python que es más rápido para todos, no sólo para los pocos que optan por utilizar nuevas bibliotecas o sintaxis de vanguardia. Y se ha preparado el escenario para mejoras aún mayores con planes para eliminar el bloqueo global del intérprete, un obstáculo desde hace mucho tiempo para el verdadero paralelismo multiproceso en código Python.
Además: ¿Quieres trabajar en IA? Cómo dar un giro a tu carrera en 5 pasos
8. DuckDB
DuckDB es un motor de bases de datos de código abierto de alto rendimiento diseñado para consultas analíticas interactivas y procesamiento de datos. Se destaca por su eficiencia y su capacidad para manejar grandes conjuntos de datos en tiempo real, lo que lo hace ideal para aplicaciones que requieren análisis de datos rápidos y exploratorios.
Algunas características clave de DuckDB incluyen:
- Rendimiento rápido: DuckDB está diseñado para ofrecer un rendimiento excepcional en consultas analíticas complejas. Utiliza técnicas de optimización avanzadas, como la ejecución de consultas basadas en columnas y la ejecución paralela, para acelerar el procesamiento de datos.
- Bajo consumo de recursos: DuckDB está optimizado para minimizar el consumo de recursos, lo que lo hace adecuado para ejecutarse en entornos con recursos limitados, como computadoras portátiles y sistemas integrados.
- Facilidad de integración: DuckDB se puede integrar fácilmente en aplicaciones existentes mediante bibliotecas de cliente disponibles para varios lenguajes de programación, como Python, R y Java.
- Compatibilidad con SQL estándar: DuckDB es compatible con el lenguaje de consulta estructurado (SQL), lo que permite a los usuarios interactuar con la base de datos utilizando un lenguaje familiar y estándar.
- Soporte para transacciones ACID: DuckDB ofrece soporte para transacciones ACID (Atomicidad, Consistencia, Aislamiento, Durabilidad), lo que garantiza la integridad y la consistencia de los datos en entornos transaccionales.
¿Cuándo es buena idea usar DuckDB?
DuckDB es una opción muy interesante cuando se necesitan consultas analíticas interactivas, procesamiento de datos en tiempo real, bajo consumo de recursos y fácil integración con aplicaciones existentes. Es particularmente útil en entornos donde se requiere un rendimiento rápido y eficiente en consultas analíticas sobre grandes conjuntos de datos.
Algo muy interesante es que DuckDB ofrece todas las funciones conocidas de RDBMS (consultas SQL, transacciones ACID, índices secundarios), pero agrega también funciones analíticas como uniones y agregados en grandes conjuntos de datos. Además de que también puede ingerir y consultar directamente formatos de big data comunes como Parquet .
9. HTMX e Hyperscript
Probablemente pensaste que el código HTML nunca cambiaría. HTMX toma el HTML que conoces y amas y lo amplía con mejoras que facilitan la escritura de aplicaciones web modernas. HTMX elimina gran parte del JavaScript estándar utilizado para conectar los front-ends web con los back-ends. En cambio, utiliza propiedades HTML intuitivas para realizar tareas como emitir solicitudes AJAX y completar elementos con datos.
Un proyecto hermano, Hyperscript, introduce una sintaxis similar a HyperCard para simplificar muchas tareas de código JavaScript, incluidas operaciones asincrónicas y manipulaciones DOM. En conjunto, HTMX e Hyperscript ofrecen una visión alternativa audaz a la tendencia actual en marcos reactivos.
10. Istio
Istio, que simplifica las redes y las comunicaciones para microservicios basados en contenedores, es una malla de servicios que proporciona enrutamiento, monitoreo, registro y observabilidad del tráfico, al tiempo que mejora la seguridad con capacidades de cifrado, autenticación y autorización.
Además es importante destacar que Istio separa las comunicaciones y sus funciones de seguridad de la aplicación y la infraestructura, lo que permite una configuración más segura y consistente. La arquitectura consta de un plano de control implementado en clústeres de Kubernetes y un plano de datos para controlar las políticas de comunicación.
En 2023, Istio se graduó de la incubación de CNCF con una tracción significativa en la comunidad nativa de la nube, incluido el respaldo y las contribuciones de Google, IBM, Red Hat, Solo.io y otros.