Jacó amava e preferia José do que os outros filhos e mandou-lhe fazer uma túnica de várias cores. Por isso, os mais velhos começaram a invejá-lo.
Um dia praticaram uma ação muito má e José os acusou ao pai. Desde então seus irmãos tomaram-lhe ódio e começaram a falar-lhe com maus modos.
Uma vez, José disse-lhes: "Ouçam um sonho que tive: estávamos no campo a atar feixes. O meu feixe ergueu-se de pé e os vossos puseram-se em volta e prostraram-se diante dele". Os irmãos replicaram-lhe: "Porventura serás nosso rei?". E o odiavam cada vem mais.
José contou-lhes ainda outro sonho dizendo: "Vi em sonhos o sol, a lua e onze estrelas inclinarem-se diante de mim". O pai repreendeu-o: "O que significa esse sonho que tiveste? Acaso eu, tua mãe e teus irmãos haveremos de nos prostar diante de ti?". E a inveja e o ódio dos irmãos aumentava cada vez mais.
Um dia, os irmãos de José tinham ido para muito longe com os rebanhos. E o pai disse a José: "Vai ver se os teus irmãos estão bem". Assim que eles o avistaram, disseram: "Lá vem o sonhador. Matemo-lo e depois diremos que uma fera o devorou".
Logo que José chegou até eles, seus irmãos o despiram da túnica de várias cores e o lançaram numa cisterna velha. Por acaso passava por ali uma caravana de mercadores estrangeiros que seguia para o Egito. E eles, então, tiraram José da cisterna e o venderam por vinte moedas de prata. Em seguida, tingiram a túnica com o sangue de um cabrito e mandaram-na ao pai com este recado: "Encontramos esta túnica. Não será a de vosso filho?". O pai a reconheceu e disse: "A túnica é do meu filho! Uma fera devorou José". E nunca mais deixou de chorar pelo filho.
A caravana que levou José era dos Ismaelitas.