İşletim sistemi sürümünü bilmeden, size burada çok fazla söyleyemem.
Windows 7 ve üstü için (Sanırım?): Ancak bir web sitesine kısayol yapmayı ve ardından kısayola sağ tıkladıktan sonra "görev çubuğuna sabitle" yi denediniz mi?
Windows Vista - XP için:
Hızlı Başlatma özelliğini kullanma: Eklemek istediğiniz programın simgesini tıklayın (Başlat menüsündeki veya masaüstündeki çoğu program simgesini bulabilirsiniz) ve ardından Hızlı Başlatma araç çubuğuna sürükleyin.
Not: Hızlı Başlat araç çubuğunu göremiyorsanız, görev çubuğunun boş bir alanını sağ tıklatın, Araç Çubukları'nı ve ardından Hızlı Başlat'ı tıklatın.
Bunlardan hiçbiri size yardım etmediyse, sorunuzu yanlış okudum, bu durumda bu var:
"Başlat Menüsü" ne gidin.
"Varsayılan Programlar" üzerine tıklayın.
"Bir dosya türünü veya protokolü bir programla ilişkilendir" e tıklayın.
"Protokoller" bölümüne gidin (listenin en altında).
Seçtiğiniz programı HTTP protokolü ile ilişkilendirir.

Sadece bir tahmin ama bunun sorununuzu çözebileceğini düşünüyorum.
HTTP ilişkilendirmesi için kullanılan son kaynak. Yedi Forum