DEVOPSLIB Telegram 82
🚨 Непредсказуемый баг из-за таймаута DNS в Kubernetes

На днях столкнулся с очень странным поведением: один из микросервисов начал периодически отваливаться по таймауту при обращении к другому сервису через DNS. Причём — только в кластере, локально всё ок.

🧩 Разгадка оказалась в CoreDNS и его настройках. По умолчанию, в kubelet --resolv-conf указывает на /etc/resolv.conf, где могут стоять опции типа options timeout:5 attempts:3. Это значит, что при проблемах с DNS один запрос может занимать до 15 секунд (!) прежде чем вернётся ошибка. А если у тебя таймаут в приложении стоит 10 секунд — получай баг с мордой из ниоткуда.

🔍 Что помогло:

🔹Проверил настройки resolv.conf в Pod'ах (cat /etc/resolv.conf)
🔹Установил timeout:1 attempts:1 — теперь ошибки быстрее, но предсказуемо
🔹В некоторых случаях можно использовать dnsPolicy: "None" и задать dnsConfig вручную

💡 Совет: всегда проверяйте, какие настройки DNS попадают внутрь Pod'а, особенно если ловите баги «иногда и непонятно почему».

Подпишись 👉@devopslib
👍6



tgoop.com/devopslib/82
Create:
Last Update:

🚨 Непредсказуемый баг из-за таймаута DNS в Kubernetes

На днях столкнулся с очень странным поведением: один из микросервисов начал периодически отваливаться по таймауту при обращении к другому сервису через DNS. Причём — только в кластере, локально всё ок.

🧩 Разгадка оказалась в CoreDNS и его настройках. По умолчанию, в kubelet --resolv-conf указывает на /etc/resolv.conf, где могут стоять опции типа options timeout:5 attempts:3. Это значит, что при проблемах с DNS один запрос может занимать до 15 секунд (!) прежде чем вернётся ошибка. А если у тебя таймаут в приложении стоит 10 секунд — получай баг с мордой из ниоткуда.

🔍 Что помогло:

🔹Проверил настройки resolv.conf в Pod'ах (cat /etc/resolv.conf)
🔹Установил timeout:1 attempts:1 — теперь ошибки быстрее, но предсказуемо
🔹В некоторых случаях можно использовать dnsPolicy: "None" и задать dnsConfig вручную

💡 Совет: всегда проверяйте, какие настройки DNS попадают внутрь Pod'а, особенно если ловите баги «иногда и непонятно почему».

Подпишись 👉@devopslib

BY Библиотека девопса | DevOps, SRE, Sysadmin


Share with your friend now:
tgoop.com/devopslib/82

View MORE
Open in Telegram


Telegram News

Date: |

During the meeting with TSE Minister Edson Fachin, Perekopsky also mentioned the TSE channel on the platform as one of the firm's key success stories. Launched as part of the company's commitments to tackle the spread of fake news in Brazil, the verified channel has attracted more than 184,000 members in less than a month. Polls Activate up to 20 bots To edit your name or bio, click the Menu icon and select “Manage Channel.” A few years ago, you had to use a special bot to run a poll on Telegram. Now you can easily do that yourself in two clicks. Hit the Menu icon and select “Create Poll.” Write your question and add up to 10 options. Running polls is a powerful strategy for getting feedback from your audience. If you’re considering the possibility of modifying your channel in any way, be sure to ask your subscribers’ opinions first.
from us


Telegram Библиотека девопса | DevOps, SRE, Sysadmin
FROM American