En un altozano, a la entrada del pueblo, se sitúa el castillo de Olmillos, una de las joyas de la arquitectura medieval burgalesa de carácter no religioso. El castillo de Olmillos de Sasamón fue construido durante la primera mitad del siglo XV por Pedro de Cartagena. Cuando el mayorazgo de los Cartagena se constituyó definitivamente, el 29 de enero de 1448, ante Alvar García de Santa María, el citado Pedro ya moraba en él. Perteneció al señorío de los Cartagena (siglos XV-XVI) y posteriormente, por falta de descendencia masculina, pasó a los vizcondes de Valoria (XVII y XVIII) y a los duques de Gor (XIX). A comienzos del siglo XIX, en concreto el 22 de julio de 1812, los guerrilleros de Santos Padilla le prendieron fuego porque para ellos era un símbolo de colaboración con los invasores franceses. En la actualidad está totalmente restaurado y es de propiedad particular. El castillo de Olmillos, el más bello castillo de la provincia; constó de un recinto exterior con tres pequeñas torres en las esquinas y otras dos mayores al Sur, entre las cuales se hallaba la entrada. De este recinto no se conserva nada. Hoy en día, podemos observar cómo el recinto interior consta de una barbacana con dos cubos muy fuertes, bien conservados y poco salientes, al Norte, mientras que al Sur hay dos torres cuadradas, siendo una de ellas muy saliente, abovedada, de época algo posterior y utilizada como caballeriza Por toda su superficie se abren abundantes saeteras y troneras con el fin de iluminar el interior.
El castillo propiamente dicho consta de un cuadrado ligeramente prolongado hacia el Norte, que se encuentra dividido en dos partes iguales por un muro, siendo una de ellas un patio de armas con entrada desde la barbacana y comunicado con la torre-caballeriza. Al interior se accede por una puerta ojival abierta en el lienzo sur y defendida por un balcón amatacanado. La otra mitad, la verdadera residencia señorial, tiene varios pisos, hoy desaparecidos. La estructura era la siguiente: semisótano, primer piso, segundo piso, a partir del cual se estrecha la pared, y, encima, la terraza y el paseo de ronda. La techumbre era de madera labrada. Al Oeste había una escalera de caracol (husillo) que comunicaba las diferentes plantas. Todo el conjunto posee almenado, unos bonitos matacanes circulares coronando sus cubos y unos airosos garitones volados en dos de sus esquinas, que servían para observar y hostigar al enemigo. Estos garitones se apoyan en triple modillón con canes que ensanchan el adarve, pero no dejan espacio para la apertura de aspilleras (aberturas largas y estrechas en un muro para disparar por ellas). El castillo era un símbolo del dominio señorial, una manifestación del poder político y militar de los magnates, en este caso de la familia de los Cartagena, cuyo blasón, la flor de lis, aparece profusamente labrado en sus paramentos.El castillo está construido con sillarejo, siendo los bloques de gran tamaño en la base con el fin de aumentar la estabilidad del edificio. El sillarejo de los cubos es el de mejor calidad. Aunque evidentemente es un castillo-palacio, según C. Bardeci sus dueños no lo habitaron, sino que sirvió de almacén y, sobre todo, de referencia simbólica de autoridad a la hora de hacer efectivo el poder señorial sobre las gentes del pueblo.
En la actualidad existe un proyecto de restauración y adaptación del mismo para hospedería del Camino de Santiago.