Para esto tiramos de CSS3, y mas concretamente de la instruccion Webkit.
Esta es la estructura:
-webkit-scrollbar-track: Estilo de la barra guia sobre la que se desplaza la barrita.
-webkit-scrollbar: Este es el estilo del contenedor del scrollbar.
-webkit-scrollbar-thumb: Este es el estilo de la barrita que se desplaza.
Y como un ejemplo vale mas que mil palabras:
http://cssdeck.com/labs/css3-webkit-vertical-scrollbars/