Отгадка оказалось простой. Мой кристалл на 24Mhz оказался кристаллом 3-й гармоники.
Соответственно, он дает 24Mhz только на 3-й гармонике, а на первой он 8Mhz, что моя atmega8 и ловит. Так как другого не оказалось под другой, а был 24Mhz керамический резонатор, то поставил его – все заработало на 24Mhz. Вот это разгон: 16Mhz atmega8 пашет на 24Mhz и ни чуть не греется. Проработала весь день на управлении по ШИМ светодиодной матрицей (об этом позже напишу) – проблем не обнаружено. ADC и др. не проверял, но ноги дергаются как надо.
Интересно, что на самом деле ногу GND от керамического резонатора можно на GND и не бросать – все пашет как надо.