Pixelation and blocky artifacts in video

[UltraBorg]

Hi everybody,

I setup my Jellyfin installation recently. I am using a mini pc with Intel Alder Lake-N100 CPU for my Ubuntu (noble) server. I've setup hardware encoding (HEVC) and decoding using Intel QSV. Everything works well in that regard. I have some videos which look very bad on Jellyfin with significant amount pixelated blocks and other artifacts showing up in video. I am also finding the video to have less contrast. Turning on tone mapping doesn't seem to help. The video in the original format is AV1 which is getting transcoded to HEVC.

Video on Jellyfin:
   

Video on VLC:
   

I understand due to transcoding and streaming there will be some compression artifacts but this seems a bit much? My encoder preset is on veryslow

Here is the mediainfo:
General
Format                                  : Matroska
Format version                          : Version 4
File size                                : 1.89 GiB
Duration                                : 1 h 0 min
Overall bit rate                        : 4 517 kb/s
Frame rate                              : 23.976 FPS
Encoded date                            : 2024-08-08 15:23:46 UTC
Writing application                      : mkvmerge v82.0 ('I'm The President') 64-bit
Writing library                          : libebml v1.4.5 + libmatroska v1.7.1 / Lavf61.1.100

Video
ID                                      : 1
Format                                  : AV1
Format/Info                              : AOMedia Video 1
Format profile                          : Main@L4.0
Codec ID                                : V_AV1
Duration                                : 1 h 0 min
Bit rate                                : 3 865 kb/s
Width                                    : 1 920 pixels
Height                                  : 1 080 pixels
Display aspect ratio                    : 16:9
Frame rate mode                          : Constant
Frame rate                              : 23.976 (24000/1001) FPS
Color space                              : YUV
Chroma subsampling                      : 4:2:0
Bit depth                                : 10 bits
Bits/(Pixel*Frame)                      : 0.078
Stream size                              : 1.62 GiB (86%)
Default                                  : Yes
Forced                                  : No
Color range                              : Limited
Color primaries                          : BT.709
Transfer characteristics                : BT.709
Matrix coefficients                      : BT.709

Audio #1
ID                                      : 2
Format                                  : Opus
Codec ID                                : A_OPUS
Duration                                : 1 h 0 min
Bit rate                                : 299 kb/s
Channel(s)                              : 6 channels
Channel layout                          : L R C Lb Rb LFE
Sampling rate                            : 48.0 kHz
Frame rate                              : 50.000 FPS (960 SPF)
Compression mode                        : Lossy
Stream size                              : 128 MiB (7%)
Title                                    : OPUS 5.1
Language                                : English
Default                                  : Yes
Forced                                  : No

Audio #2
ID                                      : 3
Format                                  : Opus
Codec ID                                : A_OPUS
Duration                                : 1 h 0 min
Bit rate                                : 171 kb/s
Channel(s)                              : 2 channels
Channel layout                          : L R
Sampling rate                            : 48.0 kHz
Frame rate                              : 50.000 FPS (960 SPF)
Compression mode                        : Lossy
Stream size                              : 73.2 MiB (4%)
Title                                    : Commentary by creator David Chase and actor Peter Bogdanovich
Language                                : English
Default                                  : No
Forced                                  : No

Text #1
ID                                      : 4
Format                                  : PGS
Muxing mode                              : zlib
Codec ID                                : S_HDMV/PGS
Codec ID/Info                            : Picture based subtitle format used on BDs/HD-DVDs
Duration                                : 56 min 37 s
Bit rate                                : 39.2 kb/s
Frame rate                              : 0.492 FPS
Count of elements                        : 1672
Stream size                              : 15.9 MiB (1%)
Title                                    : English
Language                                : English
Default                                  : No
Forced                                  : No

Text #2
ID                                      : 5
Format                                  : PGS
Muxing mode                              : zlib
Codec ID                                : S_HDMV/PGS
Codec ID/Info                            : Picture based subtitle format used on BDs/HD-DVDs
Duration                                : 57 min 0 s
Bit rate                                : 40.8 kb/s
Frame rate                              : 0.520 FPS
Count of elements                        : 1778
Stream size                              : 16.6 MiB (1%)
Title                                    : English (SDH)
Language                                : English
Default                                  : No
Forced                                  : No

Menu
00:00:00.000                            : Chapter 1
00:01:39.725                            : Chapter 2
00:18:33.112                            : Chapter 3
00:25:59.808                            : Chapter 4
00:33:21.333                            : Chapter 5
00:41:46.921                            : Chapter 6
00:49:58.496                            : Chapter 7
00:59:08.545                            : Chapter 8

[bitmap]

Are you using hardware acceleration? If so, the preset doesn't matter according to documentation. I'd hope you're using quicksync with a supported iGPU like that, but I'm not entirely clear on what you're hoping to achieve...

[UltraBorg]

I have setup hardware acceleration for encoding and decoding using Intel QSV. I've verified it is working properly. As for what I am trying to achieve, I just don't like seeing those blocks of colors that you can see on the first image (Try turning up your brightness and contrast maybe?). It may not look bad on screenshot but it is extremely distracting when watching the stream. Hoping there is some way to get rid of it

[nyanmisaka]

JF 10.11 has improvements for QSV encoding quality. You can try it when it is released.

If it doesn't improve, you'll need to wait until we switch to 10-bit HEVC/AV1 encoding in the future, which will significantly improve encoding efficiency.

[UltraBorg]

Is there any other configuration I can tweak to make it better? I am ok with a bit of buffering if required. The newer media seems to be fine but the old ones with film grain are unwatchable